JP2016126410A - 撮像認知システム - Google Patents
撮像認知システム Download PDFInfo
- Publication number
- JP2016126410A JP2016126410A JP2014264730A JP2014264730A JP2016126410A JP 2016126410 A JP2016126410 A JP 2016126410A JP 2014264730 A JP2014264730 A JP 2014264730A JP 2014264730 A JP2014264730 A JP 2014264730A JP 2016126410 A JP2016126410 A JP 2016126410A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- recognition system
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】車内の運転者等の認知を容易化できる、新規な撮像認知システムを実現する。
【解決手段】車両を撮像し、車内情報を認知する撮像認知システムであって、撮像システム10と、認知システム20とを有し、前記撮像システム10は、偏光フィルタ画像と通常の輝度画像を併せて取得可能な撮像カメラ11を有し、前記認知システム20は、前記撮像カメラにより撮像された対象画像に基づき、前記車内情報を認知する機能を持ち、前記認知システムにより認知される車内情報は、撮像された対象画像のうちの車内画像における人物画像と1以上の対象物である。
【選択図】図1
【解決手段】車両を撮像し、車内情報を認知する撮像認知システムであって、撮像システム10と、認知システム20とを有し、前記撮像システム10は、偏光フィルタ画像と通常の輝度画像を併せて取得可能な撮像カメラ11を有し、前記認知システム20は、前記撮像カメラにより撮像された対象画像に基づき、前記車内情報を認知する機能を持ち、前記認知システムにより認知される車内情報は、撮像された対象画像のうちの車内画像における人物画像と1以上の対象物である。
【選択図】図1
Description
この発明は撮像認知システムに関する。
交通違反者や違反車両の特定のために、走行する車両のナンバプレート等とともに当該車両内の運転者等を「撮像対象」として撮像する撮像システムが、有料道路料金所の通行料自動収集システムや、速度取締システムなどとして知られている。
以下、撮像システムにより撮像された撮像対象の画像を「対象画像」と称する。
撮像対象は、上記の如く「走行する車両のナンバプレート等」とともに「車両内の運転者等(運転者本人と同乗者)」を含んでいる。
ナンバプレートのように「車体の外部」を構成する撮像対象を、以下において「車外情報」と称する。これに対して「車両内の運転者等」は車両内部の情報であり、以下「車内情報」と称する。
以下、撮像システムにより撮像された撮像対象の画像を「対象画像」と称する。
撮像対象は、上記の如く「走行する車両のナンバプレート等」とともに「車両内の運転者等(運転者本人と同乗者)」を含んでいる。
ナンバプレートのように「車体の外部」を構成する撮像対象を、以下において「車外情報」と称する。これに対して「車両内の運転者等」は車両内部の情報であり、以下「車内情報」と称する。
撮像された対象画像に写されている運転者を「認知」する特定作業を行って、交通違反者として特定する。
このような認知が適正に行われるためには、撮像画像に車内情報の一部として写っている運転者の画像が良好なものでなければならない。
運転者と「これを撮像する撮像機器」との間には通常「フロントガラス」が介在する。
このような認知が適正に行われるためには、撮像画像に車内情報の一部として写っている運転者の画像が良好なものでなければならない。
運転者と「これを撮像する撮像機器」との間には通常「フロントガラス」が介在する。
このフロントによる反射光は、撮像画像においてノイズ成分として作用する。
「反射光」には、太陽光や照明灯からの光が反射されたもの、撮像対象を取り巻く環境である道路や建物による反射光による「建物や道路、街路樹等の像」や、撮像を行なうための照明光の反射光が、含まれる。
「反射光」には、太陽光や照明灯からの光が反射されたもの、撮像対象を取り巻く環境である道路や建物による反射光による「建物や道路、街路樹等の像」や、撮像を行なうための照明光の反射光が、含まれる。
反射光によるノイズにより画質が劣化した対象画像は、運転者の認知の妨げとなり特定作業を困難にする。
また、撮像された対象画像自体は良好でも、運転者がサングラスやマスクをつけている場合や、帽子を冠っている場合には、認知の作業は必ずしも容易でない。
撮像システムは、従来から種々のものが知られている(例えば、特許情報1等)。
また、撮像された対象画像自体は良好でも、運転者がサングラスやマスクをつけている場合や、帽子を冠っている場合には、認知の作業は必ずしも容易でない。
撮像システムは、従来から種々のものが知られている(例えば、特許情報1等)。
この発明は、車内にいる運転者等の認知を容易化できる、新規な撮像認知システムの実現を課題とする。
この発明の撮像認知システムは、車両を撮像し、車内情報を認知する撮像認知システムであって、撮像システムと、認知システムとを有し、前記撮像システムは、偏光フィルタ画像と通常の輝度画像を併せて取得可能な撮像カメラを有し、前記認知システムは、前記撮像カメラにより撮像された対象画像に基づき、前記車内情報を認知する機能を持ち、前記認知システムにより認知される車内情報は、撮像された対象画像のうちの車内画像における人物画像と1以上の対象物である。
この発明の撮像認知システムによれば、車内にいる運転者等の認知を容易化できる。
以下、実施の形態を説明する。
図1は、撮像認知システムの実施の1形態を説明図的に示す図である。
図において、符号10は「撮像システム」、符号20は「認知システム」を示す。
図において、符号10は「撮像システム」、符号20は「認知システム」を示す。
撮像システム10は、偏光カメラ11、照明装置13、速度測定装置15、サーバコンピュータ17、制御部19を有する。
偏光カメラ11、照明装置13、速度測定装置15、サーバコンピュータ17、制御部19は、ケーシング内に装備されている。
偏光カメラ11、照明装置13、速度測定装置15、サーバコンピュータ17、制御部19は、ケーシング内に装備されている。
以下では、偏光カメラ11、照明装置13、速度測定装置15、サーバコンピュータ17および制御部19をケーシング内に装備された状態の撮像システムを、簡単に「キャビン」とも言う。
偏光カメラ11は「撮像カメラ」の具体的な1例である。「偏光カメラ」は、特許文献2等により知られているが、説明中の実施の形態において用いる具体例は、後述する。
照明装置13は、必要に応じて、偏光カメラ11の撮影領域に照明光を照射して撮像対象を照明する装置であり、周知の適宜のものを用いることができる。
即ち、偏光カメラ11の撮影領域が十分に明るく、人工の照明を必要としない場合であれば、照明装置13による照明は行われない。
偏光カメラ11は「撮像カメラ」の具体的な1例である。「偏光カメラ」は、特許文献2等により知られているが、説明中の実施の形態において用いる具体例は、後述する。
照明装置13は、必要に応じて、偏光カメラ11の撮影領域に照明光を照射して撮像対象を照明する装置であり、周知の適宜のものを用いることができる。
即ち、偏光カメラ11の撮影領域が十分に明るく、人工の照明を必要としない場合であれば、照明装置13による照明は行われない。
速度測定装置15は「撮像対象の速度を測定する装置」であり、例えば特許文献3により知られている「光のドップラー効果」を利用したものや、周知のレーザ光を用いる「レーザレーダ」を適宜に用いることができる。
サーバコンピュータ17は、「送信部」の1例である。
制御部19は、実体的にはコンピュータやCPUとして構成されており、その機能部として、機器制御部191、画像処理部192、記憶部193を有する。
機器制御部191は、偏光カメラ11、照明装置13、速度測定装置15やサーバコンピュータ17の制御を行う。
画像処理部192、記憶部193については後述する。
なお、サーバコンピュータ17は「サーバソフト」として、コンピュータ等として構成された制御部19に組み込まれていてもよい。
サーバコンピュータ17は、「送信部」の1例である。
制御部19は、実体的にはコンピュータやCPUとして構成されており、その機能部として、機器制御部191、画像処理部192、記憶部193を有する。
機器制御部191は、偏光カメラ11、照明装置13、速度測定装置15やサーバコンピュータ17の制御を行う。
画像処理部192、記憶部193については後述する。
なお、サーバコンピュータ17は「サーバソフト」として、コンピュータ等として構成された制御部19に組み込まれていてもよい。
認知システム20は、撮像システム10のサーバコンピュータ17と、電子通信回線INTにより接続され、撮像システム10から送信される画像情報を受けて「撮像された撮像対象」を特定する特定機能を有する。
認知システム20は、一般にはコンピュータを含む「データ処理システム」として構成されている。
図1に示す「撮像認知システム」は、「速度違反取締システム」を想定しており、以下、該システムによる「速度違反取締」を説明する。
認知システム20は、一般にはコンピュータを含む「データ処理システム」として構成されている。
図1に示す「撮像認知システム」は、「速度違反取締システム」を想定しており、以下、該システムによる「速度違反取締」を説明する。
図2は「速度違反取締システムの概略」を示す説明図である。
図2において符号RDは「道路」、符号CRは「道路RDを走行中の車両」を示す。
従って、撮像対象となるのは、速度違反車両として特定された車両CR(車外情報)とその運転者等(車内情報)である。
図2において符号RDは「道路」、符号CRは「道路RDを走行中の車両」を示す。
従って、撮像対象となるのは、速度違反車両として特定された車両CR(車外情報)とその運転者等(車内情報)である。
車内情報には「車両内にいる運転者以外の人物(同乗者)や、運転者や同乗者の着衣、メガネ、帽子等や、車内に置かれている物品(傘、鞄等)」も含まれる。
撮像の際には「運転者等の車内情報」は、フロントガラスを介して撮像される。
この場合、特定されるべきは「車両および運転者等」であり、車両の特定のための情報は、車両ナンバや特徴(車種、形状、傷、改造状況)等の外形的情報、即ち「車外情報」である。
また、運転者等の特定には、車内の運転者等の顔の情報を初めとする上記「車内情報」が用いられる。
車外情報のうちで重要なのは「車両ナンバ」であり、車内情報のうちで重要なのは「運転者等の形姿(特に顔の部分)」である。
これら情報のうち「車内情報」は、フロントガラスを介して撮像された対象画像に基づき運転者の特定が行われる。
この場合、特定されるべきは「車両および運転者等」であり、車両の特定のための情報は、車両ナンバや特徴(車種、形状、傷、改造状況)等の外形的情報、即ち「車外情報」である。
また、運転者等の特定には、車内の運転者等の顔の情報を初めとする上記「車内情報」が用いられる。
車外情報のうちで重要なのは「車両ナンバ」であり、車内情報のうちで重要なのは「運転者等の形姿(特に顔の部分)」である。
これら情報のうち「車内情報」は、フロントガラスを介して撮像された対象画像に基づき運転者の特定が行われる。
図2を参照すると、符号10−1、10−2、10−3、・・10−i・・は、図1に即して説明した「撮像システム」であり、以下、これらをキャビン10−1、10−2等と言う。
キャビン10−1、10−2等は、道路RDに沿って適宜の位置に配置され、個々のキャビン10−iは、インタネット等の電子通信回線INTにより認知システム20と接続されている。
認知システム20は、例えば「道路交通センタ」のように、車両や運転者の特定に必要な情報を保有しており、キャビン10−iから送信される対象画像に基づき、車両や運転者の特定を行う。
図2の状況で、車両CRがキャビン10−iに近づき、キャビン10−iの「受け持ち領域」内に入ると、キャビン10−iが動作する。
キャビン10−1、10−2等は、道路RDに沿って適宜の位置に配置され、個々のキャビン10−iは、インタネット等の電子通信回線INTにより認知システム20と接続されている。
認知システム20は、例えば「道路交通センタ」のように、車両や運転者の特定に必要な情報を保有しており、キャビン10−iから送信される対象画像に基づき、車両や運転者の特定を行う。
図2の状況で、車両CRがキャビン10−iに近づき、キャビン10−iの「受け持ち領域」内に入ると、キャビン10−iが動作する。
図1に戻ると、上記受け持ち領域内への車両CRの侵入により、制御部19は、機器制御部191により速度測定装置15を制御して、侵入車両の速度(「車両速度」と言う。)を測定する。
制御部19の記憶部193には、道路RD上での車両の制限速度(「車両制限速度」と言う。)が記憶されており、制御部19は、測定された車両速度が車両制限速度を超えているか否かを判定する。
車両速度が車両制限速度を超えている場合は、当該車両CRを「速度違反車両」とし、これを撮像対象として特定する。
制御部19は、機器制御部191により偏光カメラ11を制御し、速度違反車両CRの撮像を行う。
その際、撮像が行われる状況が、例えば「夜間で自然光では撮像に十分な光量が得られない」場合は、機器制御部191により照明装置13を制御して、撮像対象を照明する。照明装置13による照明は、例えば、偏光カメラ11の撮像タイミングに合わせた「フラッシュ光」による照明とすることができる。
「照明装置13による照明を行うか否か」の条件も、記憶部193に記憶されている。
制御部19の記憶部193には、道路RD上での車両の制限速度(「車両制限速度」と言う。)が記憶されており、制御部19は、測定された車両速度が車両制限速度を超えているか否かを判定する。
車両速度が車両制限速度を超えている場合は、当該車両CRを「速度違反車両」とし、これを撮像対象として特定する。
制御部19は、機器制御部191により偏光カメラ11を制御し、速度違反車両CRの撮像を行う。
その際、撮像が行われる状況が、例えば「夜間で自然光では撮像に十分な光量が得られない」場合は、機器制御部191により照明装置13を制御して、撮像対象を照明する。照明装置13による照明は、例えば、偏光カメラ11の撮像タイミングに合わせた「フラッシュ光」による照明とすることができる。
「照明装置13による照明を行うか否か」の条件も、記憶部193に記憶されている。
偏光カメラ11により撮像された撮像対象の対象画像は、偏光カメラ11とサーバコンピュータ17内で「画像処理」を受け、撮像システム10の送信部であるサーバコンピュータ17から認知システム20に「対象画像」として送信される。
認知システム20では、キャビン10−iから送信させてきた「対象画像の画像情報」に基づき、速度違反車両とその運転者等の特定を行う。
認知システム20では、キャビン10−iから送信させてきた「対象画像の画像情報」に基づき、速度違反車両とその運転者等の特定を行う。
ここで、図3を参照して、偏光カメラ11による撮像から、サーバコンピュータ17を介しての認知システムへのデータの流れを説明する。
図3(a)に示すように、偏光カメラ11は撮像処理部111と、画像処理部112とを有する。
撮像処理部111は、撮像対象の撮像を行なう部分であり、固体撮像素子と結像光学系と、データ処理部とを有する。
撮像処理部111は、結像光学系により撮像対象の像を、固体撮像素子の受光面上に結像させる。固体撮像素子は、微小な光電変換要素を2次元的に配列し、この2次元的な配列により受光面を構成している。微小な光電変換要素を「画素」と呼ぶ。
図3(b)の左側の図は、同一形状の4つの画素PX11〜PX22が「正方形状に配列した状態」を示している。4つの画素PX11、PX12、PX21、PX22のこのような配列を、「基本画素マトリックスELU」と呼ぶ。
固体撮像素子の受光面は、このような基本画素マトリックスELUが、互いに直交する2方向(図の上下左右方向)に繰り返して配列された面である。
偏光カメラ11の撮像処理部111は「カラー画像を読み取る」ことができ、この目的のために「カラーフィルタ」を有している。
図3(a)に示すように、偏光カメラ11は撮像処理部111と、画像処理部112とを有する。
撮像処理部111は、撮像対象の撮像を行なう部分であり、固体撮像素子と結像光学系と、データ処理部とを有する。
撮像処理部111は、結像光学系により撮像対象の像を、固体撮像素子の受光面上に結像させる。固体撮像素子は、微小な光電変換要素を2次元的に配列し、この2次元的な配列により受光面を構成している。微小な光電変換要素を「画素」と呼ぶ。
図3(b)の左側の図は、同一形状の4つの画素PX11〜PX22が「正方形状に配列した状態」を示している。4つの画素PX11、PX12、PX21、PX22のこのような配列を、「基本画素マトリックスELU」と呼ぶ。
固体撮像素子の受光面は、このような基本画素マトリックスELUが、互いに直交する2方向(図の上下左右方向)に繰り返して配列された面である。
偏光カメラ11の撮像処理部111は「カラー画像を読み取る」ことができ、この目的のために「カラーフィルタ」を有している。
図3(b)の真中の図は「4個のフィルタR11、G12、G21、B22の配列による基本カラーフィルタマトリックスCFLU」を示している。
基本カラーフィルタマトリックスCFLUは「4個のフィルタR11、G12、G21、B22」を図の如く、基本画素マトリックスELUにおける4個の画素PX11〜PX22と同配列に配列したものである。
カラーフィルタは、このような基本カラーフィルタマトリックスCFLUが、互いに直交する2方向に繰り返して配列して構成されている。
4個のフィルタR11〜B22の個々は、同一形状で、画素PX11等と同サイズである。基本カラーフィルタマトリックスCFLUは、1個の赤色のフィルタR11、1個の青色のフィルタB22と、2個の緑色のフィルタG12、G21を有する。
これら4個のフィルタR11、G12、G21、B22は、図3(b)の基本画素マトリックスELUの4つの画素PX11、PX12、PX21、PX22の個々と1:1に対応させて重ねられる。
基本カラーフィルタマトリックスCFLUは「4個のフィルタR11、G12、G21、B22」を図の如く、基本画素マトリックスELUにおける4個の画素PX11〜PX22と同配列に配列したものである。
カラーフィルタは、このような基本カラーフィルタマトリックスCFLUが、互いに直交する2方向に繰り返して配列して構成されている。
4個のフィルタR11〜B22の個々は、同一形状で、画素PX11等と同サイズである。基本カラーフィルタマトリックスCFLUは、1個の赤色のフィルタR11、1個の青色のフィルタB22と、2個の緑色のフィルタG12、G21を有する。
これら4個のフィルタR11、G12、G21、B22は、図3(b)の基本画素マトリックスELUの4つの画素PX11、PX12、PX21、PX22の個々と1:1に対応させて重ねられる。
偏光カメラ11の撮像処理部111はまた「偏光フィルタ」を有している。
図3(b)の右図は、4個のフィルタC11、C12、V21、C22の図示の如き配列による「基本偏光フィルタマトリックスPFLU」を示している。
偏光フィルタは、このような基本偏光フィルタマトリックスPFLUが、互いに直交する2方向(図の上下左右方向)に繰り返して配列することにより構成されている。
基本偏光フィルタマトリックスPFLUを構成する4つのフィルタC11、C12、V21、C22は、同一形状・同一サイズで、画素PX11等と同サイズである。
これら4個のフィルタC11、C12、V21、C22は、図3(b)の基本画素マトリックスELUの4つの画素PX11、PX12、PX21、PX22の個々と1:1に対応させて重ねられる。
図3(b)の右図は、4個のフィルタC11、C12、V21、C22の図示の如き配列による「基本偏光フィルタマトリックスPFLU」を示している。
偏光フィルタは、このような基本偏光フィルタマトリックスPFLUが、互いに直交する2方向(図の上下左右方向)に繰り返して配列することにより構成されている。
基本偏光フィルタマトリックスPFLUを構成する4つのフィルタC11、C12、V21、C22は、同一形状・同一サイズで、画素PX11等と同サイズである。
これら4個のフィルタC11、C12、V21、C22は、図3(b)の基本画素マトリックスELUの4つの画素PX11、PX12、PX21、PX22の個々と1:1に対応させて重ねられる。
カラーフィルタと偏光フィルタは、固体撮像素子の受光面上で互いに重なり合うが、この重なり合いは、偏光フィルタが「受光面とカラーフィルタにより挟まれる」ようにしてもよいし「受光面と共にカラーフィルタを挟む」ようにしてもよい。
説明中の例において、基本偏光フィルタマトリックスPFLUを構成する4個のフィルタのうち、3個のフィルタC11、C12、C22は「光を偏光させることなく透過」させるフィルタであり、フィルタV21は「鉛直方向の偏光成分」のみを透過させるフィルタである。
従って、受光面における基本画素マトリックスELUでみると、4個の画素PX11〜P22のうち、画素PX21には「フィルタG21で緑色に色分解され、フィルタV21で鉛直方向の偏光となった光」が入射する。
残りの3つの画素PX11、PX12、PX22には、それぞれフィルタR11、G12、B22により色分解された光が「偏光化されず」に入射する。
従って、受光面における全ての基本画素マトリックスの画素PX11、PX12、PX22からの受光信号は「通常のカラー輝度画像」を構成するデータであり、これが、図3(a)に示す「輝度画像データ」として出力される。
説明中の例において、基本偏光フィルタマトリックスPFLUを構成する4個のフィルタのうち、3個のフィルタC11、C12、C22は「光を偏光させることなく透過」させるフィルタであり、フィルタV21は「鉛直方向の偏光成分」のみを透過させるフィルタである。
従って、受光面における基本画素マトリックスELUでみると、4個の画素PX11〜P22のうち、画素PX21には「フィルタG21で緑色に色分解され、フィルタV21で鉛直方向の偏光となった光」が入射する。
残りの3つの画素PX11、PX12、PX22には、それぞれフィルタR11、G12、B22により色分解された光が「偏光化されず」に入射する。
従って、受光面における全ての基本画素マトリックスの画素PX11、PX12、PX22からの受光信号は「通常のカラー輝度画像」を構成するデータであり、これが、図3(a)に示す「輝度画像データ」として出力される。
受光面における全ての基本画素マトリックスの画素PX21からの受光信号は「偏光フィルタで偏光状態となった画像」を構成するデータであり、これが、図3(a)に示す「偏光フィルタ画像データ」として出力される。
即ち、偏光カメラ11の撮像処理部111からは、偏光フィルタ画像データと、輝度画像データと言う、2種の画像データが分離して出力される。
これら2種の画像データは画像処理部112により画像処理され、カラーの「可視画像情報」として、サーバコンピュータ17に入力する。
サーバコンピュータ17は、入力された「カラーの可視画像情報」を、JPG、BMP等の汎用画像形式にエンコードし、電気通信回線INTを介して認知システム20に伝送される。このようにサーバコンピュータ17から認知システム20に伝送される情報により構成される画像が「対象画像」であり、認知システム20での認知の対象となる。
即ち、偏光カメラ11の撮像処理部111からは、偏光フィルタ画像データと、輝度画像データと言う、2種の画像データが分離して出力される。
これら2種の画像データは画像処理部112により画像処理され、カラーの「可視画像情報」として、サーバコンピュータ17に入力する。
サーバコンピュータ17は、入力された「カラーの可視画像情報」を、JPG、BMP等の汎用画像形式にエンコードし、電気通信回線INTを介して認知システム20に伝送される。このようにサーバコンピュータ17から認知システム20に伝送される情報により構成される画像が「対象画像」であり、認知システム20での認知の対象となる。
カラーの可視画像情報から対象画像への「画像処理」は、制御部19の画像処理部192により行われる。
認知システム20では伝送された情報に基づき、車外情報および車内情報から「運転者」を認知し、特定する。
前述の如く、偏光カメラ11により速度違反車両が撮像される際、車内情報である運転者と偏光カメラ11との間には通常「フロントガラス」が介在する。
このフロントによる反射光は、対称画像においてノイズ成分として作用する。
このようなノイズにより画質を劣化された対象画像は、運転者を認知する際の妨げとなり特定作業を困難にする。
偏光カメラ11は、上述の如く、偏光フィルタ画像データと輝度画像データとの2種の画像データが分離して出力される。
よく知られたように、偏光フィルタは「反射光を低減させる性質」を持つ。従って、撮像処理部111から出力される「偏光フィルタ画像データ」では、反射光によるノイズ成分が有効に低減されている。
前述の如く、偏光カメラ11により速度違反車両が撮像される際、車内情報である運転者と偏光カメラ11との間には通常「フロントガラス」が介在する。
このフロントによる反射光は、対称画像においてノイズ成分として作用する。
このようなノイズにより画質を劣化された対象画像は、運転者を認知する際の妨げとなり特定作業を困難にする。
偏光カメラ11は、上述の如く、偏光フィルタ画像データと輝度画像データとの2種の画像データが分離して出力される。
よく知られたように、偏光フィルタは「反射光を低減させる性質」を持つ。従って、撮像処理部111から出力される「偏光フィルタ画像データ」では、反射光によるノイズ成分が有効に低減されている。
このようにノイズ成分を低減された「偏光フィルタ画像データ」と「通常のカラーの輝度画像データ」を用い、画像処理部112で「画像処理」が行われる。
例えば、偏光フィルタ画像データを用いて、カラーの輝度画像データを修正する等の処理を行なうことによって、反射光によるノイズを有効に低減させた可視画像情報を得ることができる。
このようにして、反射光のノイズが行こうに低減された「車内情報」を得ることができるので、運転者の認知・特定が容易となる。
例えば、偏光フィルタ画像データを用いて、カラーの輝度画像データを修正する等の処理を行なうことによって、反射光によるノイズを有効に低減させた可視画像情報を得ることができる。
このようにして、反射光のノイズが行こうに低減された「車内情報」を得ることができるので、運転者の認知・特定が容易となる。
認知システム20は、「車両ナンバ」の特定を行う車両ナンバ特定手段201、「人物情報」の特定を行う人物情報特定手段202、「車内情報」の特定を行う車内情報特定手段203を有する。
認知システム20は、サーバコンピュータ17から伝送されてくるカラーの可視画像情報(対象画像)に基づき、車両ナンバ特定手段201が「車両ナンバ」を認知して特定し「車両特定情」報を出力する。
また、上記可視画像情報に基づき、人物情報特定手段202と車内情報特定手段203からは「人物特定補助情報」が出力される。
車両ナンバ特定手段201で行われる「車両ナンバの認知・特定」は、前記可視画像情報である対象画像に対し、従来から知られている「テンプレートマッチング等の手法」を用い、撮像された速度違反車両の「車両ナンバ」を認知し特定することにより行われる。 認知・特定の結果として、車両ナンバを「車両特定情報」として出力する。
認知システム20は、サーバコンピュータ17から伝送されてくるカラーの可視画像情報(対象画像)に基づき、車両ナンバ特定手段201が「車両ナンバ」を認知して特定し「車両特定情」報を出力する。
また、上記可視画像情報に基づき、人物情報特定手段202と車内情報特定手段203からは「人物特定補助情報」が出力される。
車両ナンバ特定手段201で行われる「車両ナンバの認知・特定」は、前記可視画像情報である対象画像に対し、従来から知られている「テンプレートマッチング等の手法」を用い、撮像された速度違反車両の「車両ナンバ」を認知し特定することにより行われる。 認知・特定の結果として、車両ナンバを「車両特定情報」として出力する。
車内情報特定手段203では、可視画像情報における車内情報の詳細な情報を認知し、特定する。
車内情報は「撮像された対象画像のうちの車内画像における人物画像と、1以上の対象物」である。
1以上の対象物は、運転者の人物特定に有効と思われるものを種々、適宜に選択できるが、例えば、身体着衣画像、身体装備品画像、車内物品画像の1以上を対象物として用いることができる。
具体的な1例として、以下の物を挙げる。
車内情報は「撮像された対象画像のうちの車内画像における人物画像と、1以上の対象物」である。
1以上の対象物は、運転者の人物特定に有効と思われるものを種々、適宜に選択できるが、例えば、身体着衣画像、身体装備品画像、車内物品画像の1以上を対象物として用いることができる。
具体的な1例として、以下の物を挙げる。
着衣:身体着衣画像における「着衣の色」を認知・特定の対象として用いる。
身体装備:身体装備品画像における「帽子」、「眼鏡の有無」、「マスクの有無」を認知・特定の対象とする。
車内物品:車内物品画像における車内置物として「傘の有無、傘の色、傘の長さ」、「鞄の有無、鞄の色」を認知・特定の対象とする。
身体装備:身体装備品画像における「帽子」、「眼鏡の有無」、「マスクの有無」を認知・特定の対象とする。
車内物品:車内物品画像における車内置物として「傘の有無、傘の色、傘の長さ」、「鞄の有無、鞄の色」を認知・特定の対象とする。
車内情報特定手段203は、これらの対象物の認知・特定を以下の如く行い、その結果を「車内詳細情報」として出力する。
図4に情報処理のフローを示す。
前記「対象画像であるカラーの可視画像情報」の画像データ入力(ステップ:S1)に基づき、人物顔面の認識が行われ、概ねの人物顔面位置が特定される(ステップ:S2)。
この認知については、従来からある「眼球位置を基準としてテンプレートとの照合を行う手法」などを用いることができる。
「人物顔面位置」が特定されたら、人物の着衣状態の認知(ステップ:S31)、身体装備の認知(ステップ:S32)、及び車内置物状態の認知(ステップ:S33)が行われる。
前記「対象画像であるカラーの可視画像情報」の画像データ入力(ステップ:S1)に基づき、人物顔面の認識が行われ、概ねの人物顔面位置が特定される(ステップ:S2)。
この認知については、従来からある「眼球位置を基準としてテンプレートとの照合を行う手法」などを用いることができる。
「人物顔面位置」が特定されたら、人物の着衣状態の認知(ステップ:S31)、身体装備の認知(ステップ:S32)、及び車内置物状態の認知(ステップ:S33)が行われる。
その際、人物顔面の位置と、別途行われる車両ナンバ位置に基き、対称画像内における身体エリア、車両エリアが設定され、そのエリア内にて、従来からあるテンプレートマッチングにより、上記着衣状態、身体装備状態、車内置物状態が認知・処理される。
上記各情報は集計され(ステップ:S4)、上記認知結果が車内詳細情報として出力される(ステップ:S5)。
「車内詳細情報」の内容は、行動情報の補助的情報として「運転者の特定」、「助手席の同乗者の特定」に役立てられる。
上記各情報は集計され(ステップ:S4)、上記認知結果が車内詳細情報として出力される(ステップ:S5)。
「車内詳細情報」の内容は、行動情報の補助的情報として「運転者の特定」、「助手席の同乗者の特定」に役立てられる。
人物情報特定手段202における情報処理のフローを図5に示す。
対象画像が入力されると(ステップ:S11)、人物顔面の認知が行われ「凡その人物顔面位置」が特定される(ステップ:S12)。この認知については、従来からある「眼球位置を基準としてテンプレートとの照合を行う手法など」を用いることができる。
人物顔面位置の特定ができた時点で、顔面の画像に基き、人物特定のための認知処理が行われる(ステップ:S13)。
そのために、認知に用いられる情報の集計が行われる(ステップ:S14)。
対象画像が入力されると(ステップ:S11)、人物顔面の認知が行われ「凡その人物顔面位置」が特定される(ステップ:S12)。この認知については、従来からある「眼球位置を基準としてテンプレートとの照合を行う手法など」を用いることができる。
人物顔面位置の特定ができた時点で、顔面の画像に基き、人物特定のための認知処理が行われる(ステップ:S13)。
そのために、認知に用いられる情報の集計が行われる(ステップ:S14)。
即ち、車両ナンバ特定手段により前述の「車両特定情報」を予め取得しておき、特定された車両の所有者として登録されている人物、及びその家族等関連者の顔画像情報をテンプレートとして選定する。
これを用い、従来からある「テンプレートマッチングなどの手法」により、人物情報認知結果を「人物情報」として出力する(ステップ:S15)。
人物情報認知結果には、テンプレートとの一致度、即ち、認知の成否度合いから選定された上位3人程度の高一致度の人物が含まれている。
また上記顔画像のマッチングの際は、予め前述の身体装備情報を取得しておき、テンプレート画像との相違(例えば、眼鏡、マスクの有無など)があれば、それを反映した認識処理を行うこともできる。
例えば、人物がマスクをしている画像に対しては、人物のマスクで被覆されている部位については「テンプレートマッチングの対象外」として処理を行うことにより、誤認識の影響を低減できる。
上記の如く、人物情報特定手段202、車内情報特定手段203により「人物特定補助情報」が出力される。
これを用い、従来からある「テンプレートマッチングなどの手法」により、人物情報認知結果を「人物情報」として出力する(ステップ:S15)。
人物情報認知結果には、テンプレートとの一致度、即ち、認知の成否度合いから選定された上位3人程度の高一致度の人物が含まれている。
また上記顔画像のマッチングの際は、予め前述の身体装備情報を取得しておき、テンプレート画像との相違(例えば、眼鏡、マスクの有無など)があれば、それを反映した認識処理を行うこともできる。
例えば、人物がマスクをしている画像に対しては、人物のマスクで被覆されている部位については「テンプレートマッチングの対象外」として処理を行うことにより、誤認識の影響を低減できる。
上記の如く、人物情報特定手段202、車内情報特定手段203により「人物特定補助情報」が出力される。
前述の通り、「人物特定補助情報」には、人物情報特定手段202から出力された「運転者候補となる人物情報」と、車内情報特定手段203から出力された「身体装備情報、着衣情報、車内置物情報」が含まれる。
これらの情報は「運転者を特定するための補助的情報」として用いることができる。
人物情報特定における一致度が高く、結果の確度が高ければ「人物を断定して特定する断定的情報」として用いることもできる。
上述の如く、この発明の撮像認知システムでは、偏光フィルタ画像と通常の輝度画像を用いることにより「車内情報においてノイズとなり得るフロントガラスによる反射光の影響」を軽減するので、撮像対象の良好な認知・特定が容易となる。
また、認知・特定の主たる対象である「運転者」の認知・特定に、運転している人物の画像のみならず「撮像された対象画像のうちの車内画像における人物(運転者および同乗者)の画像と、着衣や置物等をも認知の対象として、運転者の特定に補助的に寄与させる。
これらの情報は「運転者を特定するための補助的情報」として用いることができる。
人物情報特定における一致度が高く、結果の確度が高ければ「人物を断定して特定する断定的情報」として用いることもできる。
上述の如く、この発明の撮像認知システムでは、偏光フィルタ画像と通常の輝度画像を用いることにより「車内情報においてノイズとなり得るフロントガラスによる反射光の影響」を軽減するので、撮像対象の良好な認知・特定が容易となる。
また、認知・特定の主たる対象である「運転者」の認知・特定に、運転している人物の画像のみならず「撮像された対象画像のうちの車内画像における人物(運転者および同乗者)の画像と、着衣や置物等をも認知の対象として、運転者の特定に補助的に寄与させる。
従って、運転者の認知・特定の精度を高めることができる。
上に説明した実施の形態では、撮像認知システムは、撮像システム10と認知システム20が別体で、電気通信回線を通じてデータ情報の通信が可能であるが、これに限らず、
「撮像システムと、認知システムの少なくとも一部が、同一の装置ユニット内に装備」されていることもできる。
以上の如く、この発明によれば、以下の如き、撮像認知システムを実現できる。
「撮像システムと、認知システムの少なくとも一部が、同一の装置ユニット内に装備」されていることもできる。
以上の如く、この発明によれば、以下の如き、撮像認知システムを実現できる。
[1]
車両を撮像し、車内情報を認知する撮像認知システムであって、撮像システム10と、認知システム20とを有し、前記撮像システム10は、偏光フィルタ画像と通常の輝度画像を併せて取得可能な撮像カメラ11を有し、前記認知システム20は、前記撮像カメラ11により撮像された対象画像に基づき、前記車内情報を認知する機能を持ち、前記認知システム20により認知される車内情報は、撮像された対象画像のうちの車内画像における人物画像と1以上の対象物である撮像認知システム。
車両を撮像し、車内情報を認知する撮像認知システムであって、撮像システム10と、認知システム20とを有し、前記撮像システム10は、偏光フィルタ画像と通常の輝度画像を併せて取得可能な撮像カメラ11を有し、前記認知システム20は、前記撮像カメラ11により撮像された対象画像に基づき、前記車内情報を認知する機能を持ち、前記認知システム20により認知される車内情報は、撮像された対象画像のうちの車内画像における人物画像と1以上の対象物である撮像認知システム。
[2]
[1]記載の撮像認知システムであって、車内情報が、人物画像以外に、身体着衣画像、身体装備品画像、車内物品画像の1以上を対象物として含む撮像認知システム。
[1]記載の撮像認知システムであって、車内情報が、人物画像以外に、身体着衣画像、身体装備品画像、車内物品画像の1以上を対象物として含む撮像認知システム。
[3]
[1]または[2]記載の撮像認知システムであって、撮像システム10の撮像カメラ11が、偏光フィルタ画像とカラー輝度画像を併せて取得し、これら偏光フィルタ画像とカラーの輝度画像に対して画像処理を行ってカラーの可視画像情報を出力できるものである撮像認知システム。
[1]または[2]記載の撮像認知システムであって、撮像システム10の撮像カメラ11が、偏光フィルタ画像とカラー輝度画像を併せて取得し、これら偏光フィルタ画像とカラーの輝度画像に対して画像処理を行ってカラーの可視画像情報を出力できるものである撮像認知システム。
[4]
[1]ないし[3]の何れか1に記載の撮像認知システムであって、撮像システムと、認知システムの少なくとも一部が、同一の装置ユニット内に装備されている撮像認知システム。
[1]ないし[3]の何れか1に記載の撮像認知システムであって、撮像システムと、認知システムの少なくとも一部が、同一の装置ユニット内に装備されている撮像認知システム。
[5]
[1]ないし[3]の何れか1に記載の撮像認知システムであって、撮像システム10と、認知システム20が別体で、電気通信回線INTを通じてデータ情報の通信が可能である撮像認知システム。
[1]ないし[3]の何れか1に記載の撮像認知システムであって、撮像システム10と、認知システム20が別体で、電気通信回線INTを通じてデータ情報の通信が可能である撮像認知システム。
[6]
[5]記載の撮像認知システムであって、撮像システムは複数で、認知システム20は複数の撮像システム10−1、10−2、・・10−i・・の個々に共通し、個々の撮像システム10−iから電気通信回線を通じてデータ情報の通信が可能である撮像認知システム。
[5]記載の撮像認知システムであって、撮像システムは複数で、認知システム20は複数の撮像システム10−1、10−2、・・10−i・・の個々に共通し、個々の撮像システム10−iから電気通信回線を通じてデータ情報の通信が可能である撮像認知システム。
以上、発明の好ましい実施の形態について説明したが、この発明は上述した特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された発明の趣旨の範囲内において、種々の変形・変更が可能である。
例えば、車両ナンバ特定手段201、人物情報特定手段202、車内情報特定手段203は、図3においては認知システム内に含まれているが、偏光カメラ11あるいはサーバコンピュータ17に含まれていることもできる。
例えば、車両ナンバ特定手段201、人物情報特定手段202、車内情報特定手段203は、図3においては認知システム内に含まれているが、偏光カメラ11あるいはサーバコンピュータ17に含まれていることもできる。
また、撮像処理部111の説明における「カラーフィルタや偏光フィルタ」は、例示であって、これらの例に限定される訳ではない。
この発明の実施の形態に記載された効果は、発明から生じる好適な効果を列挙したに過ぎず、発明による効果は「実施の形態に記載されたもの」に限定されるものではない。
10 撮像システム
20 認知システム
11 撮像カメラとしての偏光カメラ
17 サーバコンピュータ
201 車両ナンバ特定手段
202 人物情報特定手段
203 車内情報特定手段
20 認知システム
11 撮像カメラとしての偏光カメラ
17 サーバコンピュータ
201 車両ナンバ特定手段
202 人物情報特定手段
203 車内情報特定手段
Claims (6)
- 車両を撮像し、車内情報を認知する撮像認知システムであって、
撮像システムと、認知システムとを有し、
前記撮像システムは、偏光フィルタ画像と通常の輝度画像を併せて取得可能な撮像カメラを有し、
前記認知システムは、前記撮像カメラにより撮像された対象画像に基づき、前記車内情報を認知する機能を持ち、
前記認知システムにより認知される車内情報は、撮像された対象画像のうちの車内画像における人物画像と1以上の対象物である撮像認知システム。 - 請求項1記載の撮像認知システムであって、
車内情報が、人物画像以外に、身体着衣画像、身体装備品画像、車内物品画像の1以上を対象物として含む撮像認知システム。 - 請求項1または2記載の撮像認知システムであって、
撮像システムの撮像カメラが、偏光フィルタ画像とカラー輝度画像を併せて取得し、これら偏光フィルタ画像とカラーの輝度画像に対して画像処理を行ってカラーの可視画像情報を出力できるものである撮像認知システム。 - 請求項1ないし3の何れか1項に記載の撮像認知システムであって、
撮像システムと、認知システムの少なくとも一部が、同一の装置ユニット内に装備されている撮像認知システム。 - 請求項1ないし4の何れか1項に記載の撮像認知システムであって、
撮像システムと、認知システムが別体で、電気通信回線を通じてデータ情報の通信が可能である撮像認知システム。 - 請求項5記載の撮像認知システムであって、
撮像システムは複数で、認知システムは複数の撮像システムの個々に共通し、個々の撮像システムから電気通信回線を通じてデータ情報の通信が可能である撮像認知システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014264730A JP2016126410A (ja) | 2014-12-26 | 2014-12-26 | 撮像認知システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014264730A JP2016126410A (ja) | 2014-12-26 | 2014-12-26 | 撮像認知システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016126410A true JP2016126410A (ja) | 2016-07-11 |
Family
ID=56359398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014264730A Pending JP2016126410A (ja) | 2014-12-26 | 2014-12-26 | 撮像認知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016126410A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018092540A1 (ja) | 2016-11-15 | 2018-05-24 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US11425314B2 (en) * | 2018-10-04 | 2022-08-23 | Audi Ag | Method for suppression of representations of reflections in at least one camera image of a camera of an environment sensor device of a motor vehicle and the corresponding environment sensor device |
-
2014
- 2014-12-26 JP JP2014264730A patent/JP2016126410A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018092540A1 (ja) | 2016-11-15 | 2018-05-24 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US10812735B2 (en) | 2016-11-15 | 2020-10-20 | Sony Corporation | Image processing device and image processing method |
US11425314B2 (en) * | 2018-10-04 | 2022-08-23 | Audi Ag | Method for suppression of representations of reflections in at least one camera image of a camera of an environment sensor device of a motor vehicle and the corresponding environment sensor device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7414869B2 (ja) | 固体撮像装置、電子機器及び固体撮像装置の制御方法 | |
CN104512411B (zh) | 车辆控制系统及图像传感器 | |
JP3214195B2 (ja) | 運転者撮影装置 | |
CN102447911B (zh) | 图像获取单元、其方法以及相关控制单元 | |
CN108460734A (zh) | 车辆驾驶员辅助模块进行图像呈现的系统和方法 | |
WO2018110575A1 (en) | Data processing device, data processing method, program, and electronic device | |
JP5867807B2 (ja) | 車両識別装置 | |
US10748952B2 (en) | Sensor chip and electronic apparatus | |
CN108196366A (zh) | 一种调节显示亮度的方法和装置 | |
JP5321735B2 (ja) | 移動体用スペクトル測定装置および移動体用スペクトル測定方法 | |
CN102971776B (zh) | 障碍物检测系统以及方法、障碍物检测装置 | |
CN106461387B (zh) | 立体相机设备和设置有立体相机的车辆 | |
JP2006190198A (ja) | ポータブル型車両番号認識装置およびポータブル型車両番号認識装置による車両番号認識方法 | |
CN103370224A (zh) | 具有用于监控车辆周边环境的装置的车辆 | |
KR101723401B1 (ko) | 야간 카메라 영상 저장 장치 및 그 영상 저장 방법 | |
JP2012084121A (ja) | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
KR20160034064A (ko) | 차량 번호 인식 장치 및 그 방법 | |
CN107199943A (zh) | 用于机动车辆的智能灯组件和智能照明系统 | |
US11146715B2 (en) | Camera system, driver/passenger monitoring system, moving vehicle, image capturing method, and non-transitory storage medium | |
JP2016126410A (ja) | 撮像認知システム | |
CN205249392U (zh) | 一种辅助驾驶设备的视频采集系统 | |
EP3182453A1 (en) | Image sensor for a vision device and vision method for a motor vehicle | |
JP2015195489A (ja) | 衝突防止システム、衝突防止方法およびコンピュータプログラム | |
DE102017217541B4 (de) | Abbildungsmesswertgeber | |
US11589028B2 (en) | Non-same camera based image processing apparatus |