JP2021135558A

JP2021135558A - ナンバープレート読取装置、ナンバープレート読取方法、および、ナンバープレート読取プログラム

Info

Publication number: JP2021135558A
Application number: JP2020029064A
Authority: JP
Inventors: 晃士石村; Koji Ishimura
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2021-09-13

Abstract

【課題】フロントガラスにおける反射光の影響を受けることなく、車両内部の情報を取得することができるナンバープレート読取装置を実現することを目的とする。【解決手段】ナンバープレート読取装置１００は、撮像領域を走行する車両の前面を撮像する偏光カメラ９６０を備える。また、ナンバープレート読取装置１００は、偏光カメラ９６０により撮像された偏光カメラ画像１０を取得する偏光カメラ画像取得部１１０を備える。さらに、ナンバープレート読取装置１００は、偏光カメラ画像１０から車両のナンバープレートの情報であるナンバー情報３１と、車両の内部の情報である車内情報３２とを抽出する画像処理部１２０とを備える。【選択図】図１

Description

本開示は、車両のナンバープレートおよび車内情報を読み取るナンバープレート読取装置、ナンバープレート読取方法、および、ナンバープレート読取プログラムに関する。

従来のナンバープレート読取装置では、一般的なカメラを使用している。一般的なカメラでは、フロントガラスにおける光の反射により車両の内部が写りにくく、運転手および助手席の状況を確認することができなかった。よって、従来のナンバープレート読取装置では、運転手あるいは同乗者の顔情報、性別、服装、および年代といった情報による、指名手配犯の有無、シートベルト着用の有無、および、ながら運転実施の有無といった判別が難しくなっていた。

特許文献１には、異なる露出量で撮像した２つの撮像画像をもちいて、少なくともいずれかの撮像画像から運転者の顔画像を抽出する技術が開示されている。

特開２００８−３０６３７３号公報

特許文献１の技術では、光量の不足により車内が暗い場合でも運転者の顔画像を抽出することができる。しかし、フロントガラスにおける反射光がある場合には、露出量を変更しても車内の情報を抽出し難いという課題がある。

本開示では、フロントガラスにおける反射光の影響を受けることなく、車両内部の情報を取得することができるナンバープレート読取装置を実現することを目的とする。

本開示に係るナンバープレート読取装置は、
撮像領域を走行する車両の前面を撮像する偏光カメラと、
前記偏光カメラにより撮像された偏光カメラ画像を取得する偏光カメラ画像取得部と、
前記偏光カメラ画像から前記車両のナンバープレートの情報であるナンバー情報と、前記車両の内部の情報である車内情報とを抽出する画像処理部とを備えた。

本開示に係るナンバープレート読取装置では、偏光カメラで車両の前面を撮像するので、フロントガラスにおける反射光の影響を受けることなく、車両内部の情報を取得することができる。

実施の形態１に係るナンバープレート読取装置の構成例。実施の形態１に係るナンバープレート読取装置の動作を示すフロー図。実施の形態１の比較例に係るナンバープレート読取装置によるナンバープレート読取処理を表す模式図。実施の形態１に係るナンバープレート読取装置によるナンバープレート読取処理を表す模式図。実施の形態１に係る車両画像情報の一例を示す図。実施の形態１の変形例に係るナンバープレート読取装置の構成例。

以下、本実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。また、以下の図では各構成部材の大きさの関係が実際のものとは異なる場合がある。また、実施の形態の説明において、上、下、左、右、前、後、表、裏といった向きあるいは位置が示されている場合がある。これらの表記は、説明の便宜上の記載であり、装置、器具、あるいは部品等の配置、方向および向きを限定するものではない。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を用いて、本実施の形態に係るナンバープレート読取装置１００の構成例について説明する。
ナンバープレート読取装置１００は、撮像領域を通過する車両を撮像し、撮像した車両の画像を処理する装置である。例えば、ナンバープレート読取装置１００は、車両のナンバープレートの情報であるナンバー情報３１と、車両の内部の情報である車内情報３２とを記憶する。

ナンバープレート読取装置１００は、コンピュータである。ナンバープレート読取装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、出力インタフェース９４０、通信装置９５０、および偏光カメラ９６０といった他のハードウェアを備える。プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

ナンバープレート読取装置１００は、機能要素として、偏光カメラ画像取得部１１０と画像処理部１２０と記憶部１３０とを備える。記憶部１３０には、ナンバー情報３１と車内情報３２とを含む車両画像情報３０が記憶される。画像処理部１２０は、ナンバー抽出部２１と車内情報抽出部２２を備える。

偏光カメラ画像取得部１１０と画像処理部１２０の機能は、ソフトウェアにより実現される。記憶部１３０は、メモリ９２１に備えられる。なお、記憶部１３０は、補助記憶装置９２２に備えられていてもよいし、メモリ９２１と補助記憶装置９２２に分散して備えられていてもよい。

プロセッサ９１０は、ナンバープレート読取プログラムを実行する装置である。ナンバープレート読取プログラムは、偏光カメラ画像取得部１１０と画像処理部１２０の機能を実現するプログラムである。
プロセッサ９１０は、演算処理を行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、あるいはＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬の記憶媒体であってもよい。なお、ＨＤＤは、ＨａｒｄＤｉｓｋＤｒｉｖｅの略語である。ＳＤ（登録商標）は、ＳｅｃｕｒｅＤｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋの略語である。

入力インタフェース９３０は、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートである。入力インタフェース９３０は、具体的には、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）と接続されるポートであってもよい。

出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）である。出力インタフェース９４０は、表示器インタフェースともいう。

通信装置９５０は、レシーバとトランスミッタを有する。通信装置９５０は、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置９５０は、具体的には、通信チップまたはＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）である。

ナンバープレート読取プログラムは、ナンバープレート読取装置１００において実行される。ナンバープレート読取プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、ナンバープレート読取プログラムだけでなく、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。プロセッサ９１０は、ＯＳを実行しながら、ナンバープレート読取プログラムを実行する。ナンバープレート読取プログラムおよびＯＳは、補助記憶装置９２２に記憶されていてもよい。補助記憶装置９２２に記憶されているナンバープレート読取プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、ナンバープレート読取プログラムの一部または全部がＯＳに組み込まれていてもよい。

ナンバープレート読取装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、ナンバープレート読取プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、ナンバープレート読取プログラムを実行する装置である。

ナンバープレート読取プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。

偏光カメラ画像取得部１１０と画像処理部１２０の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えてもよい。ナンバープレート読取プログラムは、偏光カメラ画像取得処理と画像処理を、コンピュータに実行させる。偏光カメラ画像取得処理と画像処理の「処理」を「プログラム」、「プログラムプロダクト」、「プログラムを記憶したコンピュータが読み取り可能な記憶媒体」、または「プログラムを記録したコンピュータが読み取り可能な記録媒体」に読み替えてもよい。また、ナンバープレート読取方法は、ナンバープレート読取装置１００がナンバープレート読取プログラムを実行することにより行われる方法である。

ナンバープレート読取プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、ナンバープレート読取プログラムは、プログラムプロダクトとして提供されてもよい。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るナンバープレート読取装置１００の動作について説明する。ナンバープレート読取装置１００の動作手順は、ナンバープレート読取方法に相当する。また、ナンバープレート読取装置１００の動作を実現するプログラムは、ナンバープレート読取プログラムに相当する。

図２は、本実施の形態に係るナンバープレート読取装置１００の動作を示すフロー図である。
図３は、本実施の形態の比較例に係るナンバープレート読取装置によるナンバープレート読取処理を表す模式図である。
図４は、本実施の形態に係るナンバープレート読取装置１００によるナンバープレート読取処理を表す模式図である。

ステップＳ１０１において、偏光カメラ９６０は、撮像領域５０を走行する車両２００の前面を撮像する。具体的には、偏光カメラ９６０は、撮像領域５０を走行する車両２００の前方から、車両２００の前面を撮像する。車両２００の前面には、フロントガラス２０１とナンバープレート２０３の領域が含まれる。

ステップＳ１０２において、偏光カメラ画像取得部１１０は、偏光カメラ９６０により撮像された偏光カメラ画像１０を取得する。偏光カメラ画像取得部１１０は、偏光カメラ画像１０を画像処理部１２０に出力する。

偏光カメラ９６０は、異なる複数方向の偏光画像を撮影し、偏光カメラ画像１０として出力するカメラである。
図３の比較例に示すように、一般的なカメラの場合、フロントガラス２０１に光が反射していると、反射光２０２により車両２００内の情報が取得できないことが多い。
一方、図４に示すように、複数方向の偏光画像を取得できる偏光カメラ９６０を使用することで、フロントガラス２０１の反射光を除去することができ、車両２００の車内２０４の情報が取得可能となる。

ステップＳ１０３およびステップＳ１０４において、画像処理部１２０は、偏光カメラ画像１０から車両２００のナンバープレート２０３の情報であるナンバー情報３１と、車両２００の内部の情報である車内情報３２とを抽出する。具体的には、以下の通りである。
ステップＳ１０３において、画像処理部１２０のナンバー抽出部２１は、偏光カメラ画像１０からナンバー情報３１を抽出して記憶部１３０に記憶する。
ステップＳ１０４において、画像処理部１２０の車内情報抽出部２２は、偏光カメラ画像１０から車内情報３２を抽出し、車内情報３２をナンバー情報３１に対応付けて車両画像情報３０として記憶部１３０に記憶する。

具体的には、車内情報抽出部２２は、車両２００に乗車している乗車人２０５について、顔情報、性別、服装、および年代の少なくともいずれかを、車内情報３２として抽出する。また、車内情報抽出部２２は、車両２００に乗車している乗車人２０５について、シートベルト着用の有無を含む情報を、車内情報３２として抽出する。車内情報抽出部２２は、車両２００に乗車している乗車人２０５について、ながら運転実施の有無を含む情報を、車内情報３２として抽出する。
図４では、乗車人２０５として運転者を例に記載しているが、助手席に座っている同乗者も乗車人２０５として車内情報３２を抽出してもよい。これにより、同乗者についても、顔情報、性別、服装、および年代、および、シートベルト着用の有無を判定できる。

図５は、本実施の形態に係る車両画像情報３０の一例を示す図である。
図５に示すように、車両画像情報３０には、ナンバー情報３１と車内情報３２とが対応付けられている。車内情報３２は、例えば、顔情報、性別、服装、年代、シートベルト着用の有無、および、ながら運転実施の有無といった情報である。車内情報３２のうち、情報が抽出できなかった場合には、情報が抽出できなかったことを示すハイフン等を設定する。車両画像情報３０には、ナンバー情報３１と車内情報３２とが画像の状態で設定されていてもよい。あるいは、図５に示すように、車両画像情報３０には、画像処理部１２０による解析結果が設定されていてもよい。また、１つのナンバー情報３１に対して、運転者と同乗者の複数人についての情報が設定されていてもよい。

ステップＳ１０５において、ナンバープレート読取装置１００は、撮像領域５０に次の車両を検知すると、処理をステップＳ１０１に戻す。

＊＊＊他の構成＊＊＊
本実施の形態では、偏光カメラ画像取得部１１０と画像処理部１２０の機能がソフトウェアで実現される。変形例として、偏光カメラ画像取得部１１０と画像処理部１２０の機能がハードウェアで実現されてもよい。
具体的には、ナンバープレート読取装置１００は、プロセッサ９１０に替えて電子回路９０９を備える。

図６は、本実施の形態の変形例に係るナンバープレート読取装置１００の構成を示す図である。
電子回路９０９は、偏光カメラ画像取得部１１０と画像処理部１２０の機能を実現する専用の電子回路である。電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、ＧａｔｅＡｒｒａｙの略語である。ＡＳＩＣは、ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙの略語である。

偏光カメラ画像取得部１１０と画像処理部１２０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。

別の変形例として、偏光カメラ画像取得部１１０と画像処理部１２０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。また、偏光カメラ画像取得部１１０と画像処理部１２０の一部またはすべての機能がファームウェアで実現されてもよい。

プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、偏光カメラ画像取得部１１０と画像処理部１２０の機能は、プロセッシングサーキットリにより実現される。

＊＊＊本実施の形態の効果の説明＊＊
以上のように、本実施の形態に係るナンバープレート読取装置１００では、複数方向の偏光画像を取得できる偏光カメラを使用しているので、フロントガラスの反射光による影響を除去でき、車両内部の情報を取得することが可能となる。よって、ナンバープレート読取装置では、運転手あるいは同乗者の顔情報、性別、服装、および年代といった情報による、指名手配犯の有無、シートベルト着用の有無、および、ながら運転実施の有無といった判別が可能となる。例えば、運転者および同乗者について、指名手配犯の判定等も可能である。

以上の実施の形態１では、ナンバープレート読取装置の各部を独立した機能ブロックとして説明した。しかし、ナンバープレート読取装置の構成は、上述した実施の形態のような構成でなくてもよい。ナンバープレート読取装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、ナンバープレート読取装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

なお、上述した実施の形態は、本質的に好ましい例示であって、本開示の範囲、本開示の適用物の範囲、および本開示の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。

１０偏光カメラ画像、２１ナンバー抽出部、２２車内情報抽出部、３０車両画像情報、３１ナンバー情報、３２車内情報、５０撮像領域、１００ナンバープレート読取装置、１１０偏光カメラ画像取得部、１２０画像処理部、１３０記憶部、２００車両、２０１フロントガラス、２０２反射光、２０３ナンバープレート、２０４車内、２０５乗車人、９０９電子回路、９１０プロセッサ、９２１メモリ、９２２補助記憶装置、９３０入力インタフェース、９４０出力インタフェース、９５０通信装置、９６０偏光カメラ。

Claims

撮像領域を走行する車両の前面を撮像する偏光カメラと、
前記偏光カメラにより撮像された偏光カメラ画像を取得する偏光カメラ画像取得部と、
前記偏光カメラ画像から前記車両のナンバープレートの情報であるナンバー情報と、前記車両の内部の情報である車内情報とを抽出する画像処理部と
を備えたナンバープレート読取装置。
前記画像処理部は、
前記偏光カメラ画像から前記ナンバー情報を抽出して記憶部に記憶するナンバー抽出部と、
前記偏光カメラ画像から前記車内情報を抽出し、前記車内情報を前記ナンバー情報に対応付けて記憶部に記憶する車内情報抽出部と
を備えた請求項１に記載のナンバープレート読取装置。
前記車内情報抽出部は、
前記車両に乗車している乗車人について、顔情報、性別、服装、および年代の少なくともいずれかを、前記車内情報として抽出する請求項２に記載のナンバープレート読取装置。
前記車内情報抽出部は、
前記車両に乗車している乗車人について、シートベルト着用の有無を含む情報を、前記車内情報として抽出する請求項２から請求項３のいずれか１項に記載のナンバープレート読取装置。
前記車内情報抽出部は、
前記車両に乗車している乗車人について、ながら運転実施の有無を含む情報を、前記車内情報として抽出する請求項２から請求項４のいずれか１項に記載のナンバープレート読取装置。
偏光カメラが、撮像領域を走行する車両の前面を撮像し、
偏光カメラ画像取得部が、前記偏光カメラにより撮像された偏光カメラ画像を取得し、
画像処理部が、前記偏光カメラ画像から前記車両のナンバープレートの情報であるナンバー情報と、前記車両の内部の情報である車内情報とを抽出するナンバープレート読取方法。
撮像領域を走行する車両の前面を撮像する偏光カメラにより撮像された偏光カメラ画像を取得する偏光カメラ画像取得処理と、
前記偏光カメラ画像から前記車両のナンバープレートの情報であるナンバー情報と、前記車両の内部の情報である車内情報とを抽出する画像処理と
をコンピュータに実行させるナンバープレート読取プログラム。