JP2022096560A - 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2022096560A JP2022096560A JP2020209742A JP2020209742A JP2022096560A JP 2022096560 A JP2022096560 A JP 2022096560A JP 2020209742 A JP2020209742 A JP 2020209742A JP 2020209742 A JP2020209742 A JP 2020209742A JP 2022096560 A JP2022096560 A JP 2022096560A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing
- vehicle
- tire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 302
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 87
- 238000009499 grossing Methods 0.000 claims description 59
- 230000001131 transforming effect Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 11
- 238000011946 reduction process Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 17
- 230000009466 transformation Effects 0.000 abstract 2
- 230000008859 change Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置、画像処理方法、画像処理プログラム及び過積載検知システムを提供する。【解決手段】過積載検知システムにおいて、画像処理装置のCPU201は、車両の側方を撮影して得られる撮像画像を取得する取得部251と、撮像画像に第1画像処理を実行し、エッジを抽出する第1処理部281と、撮像画像に第2画像処理を実行し、エッジを抽出する第2処理部283と、第1処理部により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出部271と、第2処理部により抽出されたエッジをハフ変換することにより第2の円又は楕円を抽出する第2抽出部273と、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定部255と、を備える。【選択図】図4
Description
この発明は、画像処理装置、過積載検知システム、画像処理方法および画像処理プログラムに関し、特に、車両を撮像して得られる撮像画像中で車両のタイヤに対応するタイヤ部分を特定する画像処理装置、その画像処理装置を備えた過積載検知システムおよびその画像処理装置で実行される画像処理方法およびその画像処理方法をコンピューターに実行させる画像処理プログラムに関する。
通行する車両のタイヤの形状に基づいて、タイヤの変形量から車両の過積載を判定する技術が知られている。例えば、特開2002-228423号公報には、通行車両のタイヤ付近を横斜め上から撮像装置で撮像し、得られた画像をエッジ検出してタイヤの輪郭情報を検出し、検出された前記タイヤの輪郭情報に対して楕円を検出する擬似ハフ変換処理を定義し、エッジ検出画像のエッジ点において、ハフ変換のパラメータ空間での投票処理を行ってタイヤの検出を行うことを特徴とするタイヤ検出方法が知られている。
しかしながら、撮像装置で撮像して得られた画像からエッジとして抽出される部分は、タイヤの輪郭に限らず、タイヤ以外の部分、例えば、ボディーや他の部品の輪郭が含まれる場合がある。このため、車両のボディーや他の部品がタイヤと誤って抽出されることがある。
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することである。
この発明の他の目的は、車両を撮像して得られる撮像画像から車両の過積載を検知可能な過積載検知システムを提供することである。
この発明のさらに他の目的は、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理方法を提供することである。
この発明のさらに他の目的は、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理プログラムを提供することである。
上述した目的を達成するために、この発明のある局面によれば、画像処理装置は、車両の側方を撮影して得られる撮像画像を取得する取得手段と、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理手段と、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理手段と、第1処理手段により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出手段と、第2処理手段により抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出手段と、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定手段と、を備える。
この局面に従えば、車両の側方を撮影して得られる撮像画像が取得され、撮像画像に第1画像処理が実行された画像から抽出されるエッジをハフ変換することにより第1の円または楕円が抽出され、撮像画像に第2画像処理が実行された画像から抽出されるエッジをハフ変換することにより第2の円または楕円が抽出される。そして、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分が特定される。第1画像処理と第2画像処理とは異なるので、撮像画像に第1画像処理が実行された画像から抽出されるエッジと撮像画像に第2画像処理が実行された画像から抽出されるエッジとは、同じエッジもあれば異なるエッジもある。第1画像処理を撮像画像中で車両のタイヤの外縁に対応する部分がエッジとして現れやすい処理とすれば、タイヤの外縁に対応する部分を含む第1の円または楕円が抽出され易くなる。また、第2画像処理を撮像画像中で車両のリムの外縁に対応する部分がエッジとして現れやすい処理とすれば、リムの外縁に対応する部分を含む第2の円または楕円が抽出され易くなる。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することができる。
好ましくは、第1画像処理および第2画像処理それぞれは、画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を2値化する2値化処理と、を含み、第1画像処理に含まれるスムージング処理におけるスムージングの程度が第2画像処理に含まれるスムージング処理におけるスムージングの程度よりも大きく、第1画像処理に含まれる2値化処理における2値化の閾値が第2画像処理に含まれる2値化処理における2値化の閾値よりも小さい。
この局面に従えば、第1画像処理におけるスムージングの程度が第2画像処理におけるスムージングの程度よりも大きいので、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少なくなる。第1画像処理における2値化の閾値が第2画像処理における2値化の閾値よりも小さいので、第1画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第2画像処理により生成される微分画像は第1画像処理により生成される微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。
好ましくは、第1画像処理および第2画像処理それぞれは、画像を縮小する縮小処理、縮小処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を2値化する2値化処理と、を含み、第1画像処理に含まれる縮小処理における縮小の程度が第2画像処理に含まれる縮小処理における縮小の程度より大きく、第1画像処理に含まれる2値化処理における2値化の閾値が第2画像処理に含まれる2値化処理における2値化の閾値よりも小さい。
この局面に従えば、第1画像処理における縮小の程度が第2画像処理における縮小の程度よりも大きいので、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少なくなる。第1画像処理における2値化の閾値が第2画像処理における2値化の閾値よりも小さいので、第1画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第2画像処理により生成される微分画像は第1画像処理により生成される微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。
好ましくは、第1抽出手段は、車両に装着されたタイヤのサイズに基づき定められる第1径情報が設定され、第2抽出手段は、車両に装着されたリムのサイズに基づき定められる第2径情報が設定される。
この局面に従えば、第1径情報は車両に装着されたタイヤのサイズに基づき定められるので、タイヤの外縁に相当する部分が第1の円または楕円として抽出されるようにでき、第2径情報は車両に装着されたリムのサイズに基づき定められるので、リムの外縁に相当する部分が第2の円または楕円として抽出されるようにできる。
好ましくは、第1抽出手段は、ハフ変換における投票結果と比較される閾値として第1径情報により定まる第1閾値が設定され、第1抽出手段は、ハフ変換における投票結果と比較される閾値として第2径情報により定まる第2閾値が設定される。
この局面に従えば、ハフ変換における投票結果と比較される閾値として第1径情報により定まる第1閾値が設定され、第2径情報により定まる第2閾値がハフ変換における投票結果と比較される閾値として設定される。このため、タイヤの外縁の径に対応する第1の円または楕円と、リムの外縁の径に対応する第2の円または楕円とを、撮像画像から抽出することができる。
好ましくは、特定手段により特定されたタイヤ部分に基づいて車両が過積載か否かを判断する判断手段を、さらに備える。
この局面に従えば、撮像画像から容易に車両の過積載を判断することができる。
この発明の他の局面によれば、過積載検知システムは、上述の画像処理装置と、車両を撮像して得られる画像を画像処理装置に出力する撮像手段と、を備える。
この局面に従えば、車両を撮像して得られる撮像画像から車両の過積載を検知可能な過積載検知システムを提供することができる。
この発明のさらに他の局面によれば、画像処理方法は、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、を画像処理装置に実行させる。
この局面に従えば、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理方法を提供することができる。
この発明のさらに他の局面によれば、画像処理プログラムは、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、をコンピューターに実行させる。
この局面に従えば、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理プログラムを提供することができる。
以下、本発明の実施の形態における画像処理装置、その画像処理装置を備えた過積載検知システムについて図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
図1は、本実施の形態における過積載検知システムの全体概要の一例を示す図である。過積載検知システム1は、撮像装置10と、画像処理装置20とを含む。撮像装置10は、限定するものではないが、例えば、高速道路などの自動車専用道路の進入/退出レーンの脇の固定された位置に固定された向きで設けられて、当該自動車専用道路に進入または退出する車両を撮像する。撮像装置10は、カメラ11(図2参照)を備える。カメラ11は、走行路RWを走行する車両を撮影して得られる撮像画像を出力する。
画像処理装置20は、撮像装置10から撮像画像を取得して画像処理し、車両のタイヤの変形量に基づく車両の過積載を判定する。画像処理装置20は、積載物の重量を含む車両の重量がその車両に応じた所定の基準を超過しているか否かを判断する。
なお、図1においては、車両の片側だけが撮影される場合が示されているが、計測精度を向上するために車両の両側が撮影されてもよい。
図2は、撮像装置のハードウェア構成の一例を示すブロック図である。図2を参照して、撮像装置10は、カメラ11と、制御部12と、記憶部13と、通信部14と、を備える。制御部12は、撮像装置10の全体を制御する中央演算装置(CPU)である。記憶部13は、データを不揮発的に記憶可能なハードディスクドライブ(HDD)である。なお、記憶部13は、フラッシュメモリー等の半導体メモリであってもよい。通信部14は、画像処理装置20と通信するためのインターフェースである。通信部14は、画像処理装置20と有線で接続されてもよいし、無線で接続されてもよい。また、通信部14は、インターネットなどのネットワークを介して画像処理装置20と接続されてもよい。
カメラ11は、外部から入力された可視光を各画素位置に導く光学装置と、各画素位置でRGB各色の入射光量を検出する検出部などを備える。光学装置により集光された光は検出部に結像される。検出部は、光電変換素子が2次元に配列され、受光した光を光電変換して、2次元に配列された複数の画素の画素値からなる撮像画像を出力する。撮像画像は、RGBそれぞれの色の明度からなるカラーの画像であってもよいし、1色の明度からなるモノクロの画像であってもよい。光電変換素子は、CMOS(Complementary Metal Oxide Semiconductor)センサー、CCD(Charge Coupled Device)センサー等である。
カメラ11から出力される撮像画像は、記憶部13に格納される。制御部12は、記憶部13に一時的に格納された撮像画像を適切なタイミングで通信部14を介して画像処理装置20に出力する。撮像画像は、ある時点における車両を撮像して得られる静止画であってもよいし、継続した時間の間車両を撮像して得られる動画であってもよい。
撮像画像を静止画とする場合、撮像装置10は、所定時間間隔で静止画を出力してもよい。撮像画像を動画とする場合におけるフレームレートや所定の時間間隔は、画角内を横切る各車両がそれぞれ少なくとも複数のフレーム(例えば、3~6枚など)が得られる程度であればよく、撮像装置10の設置位置やカメラ11の画角内で想定される車両の走行速度に応じて変更可能であってもよい。
図3は、画像処理装置のハードウェア構成の一例を示すブロック図である。図3を参照して、画像処理装置20は、演算処理を行うコンピューターであり、画像処理装置20の全体を制御するためのCPU201と、CPU201が実行するためのプログラムを記憶するROM(Read Only Memory)202と、CPU201の作業領域として使用されるRAM(Random Access Memory)203と、データを不揮発的に記憶するHDD204と、CPU201をネットワークに接続する通信部205と、情報を表示する表示部206と、ユーザーの操作の入力を受け付ける操作部207と、外部記憶装置210と、を含む。
通信部205は、画像処理装置20をネットワークに接続するためのインターフェースである。ネットワークは、インターネットを含む。このため、CPU201は、通信部205を介して、インターネットに接続されたコンピューターと通信可能である。また、通信部205は、外部機器と通信するためのインターフェースでもある。通信部205が通信可能に接続される外部機器としては、撮像装置10の他、例えば、過積載の車両の運転手に対して報知動作を行う報知装置、過積載の車両の通行を遮断する遮断機の動作制御装置、過積載の車両の監視員による監視装置であってもよい。
CPU201は、インターネット等のネットワークに接続されたコンピューターからプログラムをダウンロードしてHDD204に記憶する。また、ネットワークに接続されたコンピューターがプログラムをHDD204に書込みする場合に、HDD204にプログラムが記憶される。CPU201は、HDD204に記憶されたプログラムをRAM203にロードして実行する。
外部記憶装置210は、CD-ROM(Compact Disk Read Only Memory)211が装着される。本実施の形態においては、CPU201は、ROM202またはHDD204に記憶されたプログラムを実行する例を説明する。CPU201は、外部記憶装置210を制御して、CD-ROM211からCPU201が実行するためのプログラムを読出し、読み出したプログラムをRAM203に記憶して実行してもよい。
なお、CPU201が実行するためのプログラムを記憶する記録媒体としては、CD-ROM211に限られず、フレキシブルディスク、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード、光カード、マスクROM、EPROM(Erasable Programmable ROM)等の半導体メモリ等の媒体でもよい。ここでいうプログラムは、CPU201により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
HDD204は、CPU201が実行するプログラムの他、車両情報を記憶する。HDD204に記憶されるプログラムには、過積載検知プログラムが含まれる。HDD204に代えて、フラッシュメモリーなどの不揮発性メモリが用いられてもよい。また、プログラムおよび車両情報は、ROM202に記憶されていてもよい。
車両情報は、諸元データベースと、判定基準値と、を含む。諸元データベースは、タイヤの種別や車両の種別を特定するために用いられるデータを含む。具体的には、諸元データベースは、車両に装着されているタイヤの径、車両に装着されているリムの径、を含む。諸元データベースは、車両の軸数、タイヤ数、タイヤの種類、車両の乾燥重量などを含んでもよい。判定基準値は、例えば、車両に対して予め定められた最大の車重に対する変形判定量である。変形判定量は、車重の違いによりタイヤが変形する度合いを示す値である。判定基準値は、過積載の有無の判定に用いられる閾値であり、車両およびタイヤの種別ごとに定めた値である。変形判定量および判定基準値の詳細は、後述する。
HDD204は、さらに、撮像画像やその解析結果を記憶してもよい。撮像画像やその解析結果は、所定の容量内で古いデータから順番に上書き更新される。また、撮像画像やその解析結果は、HDD204に記憶されてから所定の時間が経過後に消去され、空いた領域に新たな撮像画像やその解析結果が記憶されてもよい。特に、過積載であると判定された撮像画像は、別途通信部23などを介して外部から取得されるまで保持されてもよい。
図4は、本実施の形態における画像処理装置が備えるCPUが有する機能の一例を示す図である。図4に示す機能は、画像処理装置20が備えるCPU201が、ROM202、HDD204またはCD-ROM211に記憶された過積載検知プログラムを実行することにより、CPU201により実現される機能である。図4を参照して、CPU201は、撮像装置10からカメラ11が被写体を撮像して出力する撮像画像を取得する取得部251と、被写体である車両に関する情報を検出する車両情報検出部253と、撮像画像からエッジ画像を生成するエッジ画像生成部265と、エッジ画像から円または楕円を抽出する条件を決定する条件決定部267と、エッジ画像から円または楕円の形状を抽出する形状抽出部261と、撮像画像中で被写体である車両のタイヤに対応するタイヤ部分を特定する特定部255と、車両の状態が過積載であるか否かを判断する判断部257と、過積載と判断される場合に通知する出力部259と、を含む。
取得部251は、撮像装置10が備えるカメラ11が被写体を撮像し、出力する撮像画像を撮像装置10から取得する。撮像装置10は、撮像範囲を車両が通過する間に車両を被写体として撮像する。このため、撮像装置10は、被写体としての車両を撮像するので、撮像画像は被写体である車両に対応する部分を含む。取得部251は、撮像装置10から取得された撮像画像を車両情報検出部253、特定部255、エッジ画像生成部265および条件決定部267に出力する。撮像画像は、動画であってもよいし、静止画であってもよい。取得部251は、撮像画像が動画の場合、動画に含まれる複数のフレームのうちから選択された1以上の静止画を出力する。
車両情報検出部253は、車両に関する車両情報を検出する。例えば、車両情報検出部253は、撮像画像に含まれる車両のナンバープレートに対応する部分を抽出し、抽出された部分を文字認識することによりナンバープレートに記載されている情報を抽出する。そして、車両情報検出部253は、ナンバープレートに記載されている情報を用いて、HDD204に予め記憶されている車両情報を検索し、撮像画像に被写体として含まれる車両の車両情報を取得する。また、撮像画像に含まれる車両の部分から車種が検出されてもよい。車両情報は、諸元データベースと、判定基準値と、を含む。諸元データベースは、車両に装着されているタイヤの径、車両に装着されているリムの径、を含む。判定基準値は、車両に対して予め定められた最大の車重に対する変形判定量である。車両情報検出部253は、検出された車両情報を条件決定部267および判断部257に出力する。
なお、本実施の形態においては、車両情報をHDD204に記憶する例を説明するが、車両情報は、画像処理装置20とは別のコンピューターに記憶されてもよい。例えば、画像処理装置20と通信可能にネットワークで接続されたサーバーに車両情報が記憶される場合、車両情報検出部253は、そのサーバーにナンバープレートに記されている情報を送信し、サーバーから被写体となった車両の車両情報を取得する。車両情報の諸元データベースおよび判定基準値が別のコンピューターに記憶されてもよい。例えば、諸元データベースがサーバーに記憶され、判定基準値が画像処理装置20に記憶されてもよい。
エッジ画像生成部265は、取得部251から入力される撮像画像を画像処理することによりエッジ画像を生成する。エッジ画像は、撮像画像に含まれるエッジを含む画像である。エッジ画像生成部265は、撮像画像に第1画像処理を実行することにより第1エッジ画像を生成する第1処理部281と、撮像画像に第2画像処理を実行することにより第2エッジ画像を生成する第2処理部283とを含む。第1処理部281は、第1エッジ画像を形状抽出部261に出力し、第2処理部283は、第2エッジ画像を形状抽出部261に出力する。
第1処理部281が実行する第1画像処理および第2処理部283が実行する第2画像処理それぞれは、撮像画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を2値化する2値化処理と、を含む。スムージング処理は、画像中の複数の画素それぞれについて、隣接する画素との画素値の差を小さくする処理である。例えば、スムージング処理は、平滑化フィルタを用いて、処理対象画像を畳み込み演算する処理である。異なる平滑化フィルタが用いられる場合、スムージングの程度が異なる。
微分画像生成処理は、画像中の複数の画素それぞれについて、隣接する画素との画素値の差を示す微分画像を生成する処理である。例えば、微分画像生成処理は、微分フィルタを用いて、処理対象画像を畳み込み演算する処理である。微分フィルタは、1次微分フィルタであってもよいし、2次微分フィルタであってもよい。
2値化処理は、微分画像生成処理により生成された微分画像を2値化する処理である。例えば、2値化処理は、微分画像の複数の画素の画素値を2値化の閾値と比較し、エッジ画素とエッジでない画素とに区別する処理である。2値化の閾値が異なる場合、2値化の程度が異なる。
なお、ここでは、第1画像処理および第2画像処理が、スムージング処理を含む場合を例に説明するが、スムージング処理に代えて、または、スムージング処理に加えて画像を縮小する縮小処理を含んでもよい。縮小処理によって、スムージング処理と同様の効果が得られる。
第1画像処理と第2画像処理とは、異なる処理である。図5は、第1画像処理および第2画像処理で用いられるパラメータの違いを示す図である。図5を参照して第1画像処理におけるスムージング処理と第2画像処理におけるスムージング処理とは、スムージングの程度が異なる。第1画像処理におけるスムージング処理は、第2画像処理におけるスムージング処理よりもスムージングの程度が強い。スムージングは、隣接する画素の画素値の差を小さくする処理なので、スムージングの程度が強いほど撮像画像に含まれるノイズが減少する。逆に、スムージングの程度が低いほど撮像画像に含まれるノイズが減少しない。
第1画像処理における2値化処理と第2画像処理における2値化処理とは、2値化の閾値が異なる。第1画像処理における2値化処理の閾値は、第2画像処理における2値化処理の閾値よりも低い。微分画像は、隣接する画素間における画素値の差を示す。このため、2値化処理の閾値を低くするほど、隣接する画素と画素値の差が小さい画素が抽出される。したがって、第1画像処理により、第2画像処理よりも画素値の変化の小さなエッジが検出される。逆に、2値化処理の閾値を高くするほど、隣接する画素と画素値の差が大きな画素が抽出される。したがって、第2画像処理により、第1画像処理よりも画素値の変化の大きなエッジが検出される。
第1画像処理におけるスムージングの程度が第2画像処理におけるスムージングの程度よりも強いので、第1画像処理においてスムージング処理後の画像を微分して生成される第1微分画像は第2画像処理においてスムージング処理後の画像を微分して生成される第2微分画像よりもノイズが少なくなる。このため、第1画像処理における2値化の閾値が、第2画像処理における2値化の閾値より低い値に設定されることが可能となる。その結果、第1画像処理により生成される第1微分画像からは撮像画像中で明度の変化の小さなエッジが抽出される。したがって、第1処理部281により第1微分画像が2値化処理された第1エッジ画像は、第2処理部283により第2微分画像が2値化処理された第2エッジ画像よりも明度の変化の小さなエッジを含む。
また、第2画像処理により生成される第2微分画像は第1画像処理により生成される第1微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも高いので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される第1微分画像からは撮像画像中で明度の変化の大きなエッジのみが抽出される。したがって、第2処理部283により生成される第2エッジ画像は、第1処理部281により生成される第1エッジ画像よりも明度の変化の大きなエッジを含む。
撮像画像において、車両のタイヤは、タイヤの周辺の領域と明度の差が小さいことが多い。一方、車両のリムは周辺をタイヤで囲まれているので、リムと周辺のタイヤとの明度の差が大きいことが多い。このため、第1画像処理は、撮像画像から車両のタイヤの外縁に対応する部分を抽出するのに適した第1エッジ画像を生成し、第2画像処理は、撮像画像から車両のリムの外縁に対応する部分を抽出するのに適した第2エッジ画像を生成する。
図4に戻って、形状抽出部261は、条件決定部267により決定された条件に従って、エッジ画像から円または楕円の形状を抽出する。形状抽出部261は、第1処理部281から入力される第1エッジ画像から第1の円または楕円の形状を抽出する第1抽出部271と、第2処理部283から入力される第2エッジ画像から第2の円または楕円の形状を抽出する第2抽出部273と、を含む。
条件決定部267は、第1設定部285と、第2設定部287と、を含む。第1設定部285は、車両情報に基づいて、撮像画像中で車両のタイヤの外縁に対応する部分を、第1抽出部271が第1の円または楕円として抽出するための第1抽出条件を設定する。具体的には、第1設定部285は、第1径情報と、ハフ変換における投票値の閾値と、を決定する。第1径情報は、撮像画像における車両のタイヤ部分の径から所定の範囲の径である。第1設定部285は、車両情報により定められる車両の基準となる部分の長さと車両のタイヤの径との比率から、撮像画像における車両のタイヤ部分の径を決定する。車両の基準となる部分は、撮像画像からの抽出が容易な部分として予め定めておけばよい。例えば、車両の基準となる部分は、車両の高さであってもよいし、車両の長さであってもよい。車両の基準となる部分を車両の高さとする場合、第1設定部285は、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとタイヤの径との比率とから、撮像画像に含まれるタイヤ部分の径を決定する。第1設定部285は、第1径情報を、タイヤ部分の外縁に相当する第1の円または楕円を抽出するための条件として設定する。
ハフ変換で画素ごとに投票される投票値は、円または楕円の半径が大きくなるほど多くなる。このため、条件決定部267は、第1径情報に応じた閾値を決定する。第1径情報と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定される。第1設定部285は、第1径情報を、ハフ変換で抽出されるべき第1の円または楕円の径に設定し、径に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。
ここで、楕円の中心は、楕円の長径と短径とが交わる点である。タイヤとカメラ11との位置関係により、撮像画像中のタイヤ部分が円となる場合と、楕円になる場合がある。カメラ11の光軸がタイヤの中心を通る車軸の方向と一致する場合に撮像画像中のタイヤ部分が円になり、カメラ11の光軸がタイヤの中心を通る車軸の方向と交わる場合に楕円になる。カメラ11の光軸をタイヤの中心を通る車軸と同じ高さとなるようにカメラ11が設置される場合、カメラ11の光軸とタイヤの中心を通る車軸とが水平方向で交わる。この場合、撮像画像中のタイヤ部分が楕円になるが、垂直方向の長さは変化しない。このため、楕円の径は長径とすればよい。
第2設定部287は、車両情報に基づいて、撮像画像中で車両のリムの外縁に対応する部分を、第2抽出部273が第2の円または楕円として抽出するための第2抽出条件を設定する。具体的には、第2設定部287は、第2径情報と、ハフ変換における投票値の閾値と、を決定する。第2径情報は、撮像画像における車両のリム部分の径から所定の範囲の径である。第2設定部287は、車両情報により定められる車両の基準となる部分の長さと車両のリムの径との比率から、撮像画像における車両のリム部分の径を決定する。車両の基準となる部分を車両の高さとする場合、第2設定部287は、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとリムの径との比率とから、撮像画像に含まれるリム部分の径を決定する。第2設定部287は、第2径情報を、ハフ変換で抽出されるべき第2の円または楕円の径に設定し、第2径情報に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。第2径情報と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定される。第2設定部287は、第2径情報を、ハフ変換で抽出されるべき第2の円または楕円の径に設定し、径に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。
なお、第1設定部285が撮像画像に含まれるタイヤ部分の径に応じた閾値を補正し、第2設定部287が撮像画像に含まれるリム部分の径に応じた閾値を補正してもよい。撮像画像中のタイヤ部分にタイヤの外縁のすべてが含まれるとは限られず、同様に、撮像画像中のリム部分にリムの外縁のすべてが含まれるとは限られない。このため、実験等により求められる補正値を用いて閾値が補正されてもよい。補正値は、スムージング処理の程度および2値化処理の閾値に基づいて定めるのが好ましい。
図6は、第1抽出条件と第2抽出条件との一例を示す図である。図6を参照して、第1抽出条件は、円または楕円の半径が第2抽出条件よりも大きく、閾値は第2抽出条件よりも小さい。
図4に戻って、形状抽出部261は、第1抽出部271と、第2抽出部273と、を含む。第1抽出部271は、第1設定部285により設定された第1抽出条件に従って、第1処理部281から入力される第1エッジ画像をハフ変換することにより、第1の円または楕円を抽出する。第1抽出条件は、被写体である車両のタイヤに対応するタイヤ部分を撮像画像から抽出するための値なので、第1の円または楕円は、撮像画像に含まれるタイヤ部分の外縁の候補として抽出される。第1の円または楕円は、複数が抽出される場合がある。第1抽出部271は、第1の円または楕円の中心座標と半径との組を特定部255に出力する。
第2抽出部273は、第2設定部287により設定された第2抽出条件に従って、第2処理部283から入力される第2エッジ画像をハフ変換することにより、第2の円または楕円を抽出する。第2抽出条件は、被写体である車両のリムに対応するリム部分を撮像画像から抽出するための値なので、第2の円または楕円は、撮像画像に含まれるリム部分の外縁の候補として抽出される。第2の円または楕円は、複数が抽出される場合がある。第2抽出部273は、第2の円または楕円の中心座標と半径との組を特定部255に出力する。
特定部255は、第1抽出部271から第1の円または楕円の中心座標と半径との組の1以上が入力され、第2抽出部273から第2の円または楕円の中心座標と半径との組の1以上が入力される。特定部255は、撮像画像中でタイヤ部分を特定する。具体的には、特定部255は、中心座標が所定の範囲内となる第1の円または楕円と、第2の円または楕円との組を対象組に決定する。タイヤの回転軸とリムの回転軸は一致する。このため、撮像画像中でタイヤ部分の外縁を含む第1の円または楕円の中心とリム部分の外縁を含む第2の円または楕円の中心とは一致するはずである。したがって、中心座標が所定の範囲内にある2つの円または楕円の組が、タイヤ部分の外縁を含む円または楕円とリム部分の外縁を含む円または楕円との組に相当する確率が高い。
さらに、特定部255は、半径比率が所定範囲にある2つの円または楕円の組を決定する。タイヤとリムとの半径比率は車両によって定まる。このため、中心座標の距離が所定範囲にある円または楕円が複数ある場合に、半径比率が所定の範囲にある2つの円または楕円の組を特定することができる。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する2つの円または楕円の組をより正確に抽出することができる。さらに、特定部255は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて、半径比率を決定する。このため、半径比率が正確に決定される。
特定部255は、撮像画像中で、対象組に含まれる第1の円または楕円から所定範囲に含まれるエッジをタイヤ部分の外縁の一部に特定する。また、特定部255は、特定されたタイヤ部分の外縁の一部を構成するエッジと連続するエッジを、タイヤ部分の外縁の一部に決定する。タイヤの地面に接地する部分は、撮像画像中で第1の円または楕円から所定範囲に含まれない場合がある。タイヤの地面に接地しない部分が、撮像画像中で第1の円または楕円から所定範囲に含まれるので、タイヤの地面に接地しない部分に対応するエッジと連続するエッジをタイヤ部分の外縁とすることで、タイヤの地面と接地する部分に対するタイヤ部分の外縁が決定される。特定部255は、撮像画像中のタイヤ部分の外縁を判断部257に出力する。なお、第1の円または楕円の内部で、撮像画像中で路面と平行なエッジがタイヤ部分の外縁に決定されてもよい。
図7は、撮像画像に含まれるタイヤ部分とハフ変換により抽出される円または楕円との関係の一例を示す図である。図7を参照して、撮像画像に含まれるタイヤ部分の外縁と、リム部分の外縁とが細い実線で示される。ハフ変換により抽出される円が点線または一点鎖線で示される。ハフ変換により抽出される円として、タイヤ部分の外縁に対して細い点線で示される第1の円とリム部分の外縁に対して太い点線で示される第2の円とに加えて、太い一点鎖線で示す2つの円が含まれる場合を例に示される。これら4つの円のうちで、中心座標が所定の範囲内になる2つの円の組は、細い点線で示されるタイヤ部分の外縁に対応する第1の円と、太い点線で示されるリム部分の外縁に対応する第2の円とである。なお、一点鎖線で示される2つの円は、ハフ変換により誤って検出される円である。
図4に戻って、判断部257は、特定部255から撮像画像中のタイヤ部分の外縁が入力され、車両情報検出部253から車両情報が入力される。判断部257は、タイヤ部分の外縁の形状と、車両情報とに基づいて、車両が過積載か否かを判断する。例えば、判断部257は、タイヤ部分の外縁に基づいて、タイヤ部分の中心、半径および変形判定量を決定し、変形判定量が車両の積載制限重量に対応する判定基準値を超過しているか否かを判別する。判断部257は、変形判定量が判定基準値を超過している場合に、過積載と判断し、出力部259に警告指示を出力する。
出力部259は、警告指示が入力されることに応じて、警告情報を出力する。例えば、出力部259は、表示部206に警告メッセージを表示する。また、警告音が発生されてもよい。さらに、車両の通行を妨げるように、ゲートが閉じられてもよい。
図8は、タイヤの変形判定量を説明する図である。図8を参照して、タイヤTは、車輪のホイールのリムRに取り付けられている。タイヤTは、正確には、表面に凹部等の構造を有するが、ここでは、当該タイヤTを回転軸方向から見た正面画像からこれら凹部などの構造を無視したタイヤの外縁を含む円が検出されるものとして説明する。また、ここでは、水平方向をx軸方向、垂直方向をy軸方向としている。また、タイヤが接地する路面は略水平であり、x軸方向に沿って延びているとする。なお、特には限られないが、以降では、カメラ11の撮影範囲を矩形状の領域とし、撮像画像は、縦方向および横方向がそれぞれy軸方向およびx軸方向に沿っているものとして説明する。各軸の原点位置は、例えば、画像の左下端部や画像の中心位置など、任意に定められてよい。
タイヤTは、変形していない状態で直径L2tである。タイヤTは、車両の重みによって、外縁Tsのうち路面に接地する接地部分が路面に沿って面状に変形し、圧縮幅dLyだけ垂直方向に圧縮される。正面画像で、タイヤTが路面と接地する部分を接地線という。接地線の両端点間の接地幅Lcxは、タイヤの空気圧や材質、構造が一定であれば、積載重量を含む車両の重量が大きくなるほど長くなる。これに伴って、タイヤTの回転中心である回転軸位置ORから路面までの距離Lcyや、タイヤの縦幅L2cyも短くなる。すなわち、タイヤTの形状は、底面が接地幅Lcxにわたって直線状になる接地線と、接地せずに変形が生じない円弧部分との組み合わせになる。したがって、接地部分を示すパラメータと円弧部分を示すパラメータとが得られれば、タイヤTの形状が特定される。一方、リムRは、車両の重量により真円形状から変形しないので、リム半径Lrは、x軸方向およびy軸方向のそれぞれについて変化しない。
ここでは、過積載の有無を判定するために、タイヤTの接地部分を示すパラメータとして接地幅Lcxが変形値とされ、タイヤTの円弧部分を示すパラメータとしてタイヤTの半径Lthがタイヤ基準値とされ、変形値とタイヤ基準値との比が変形判定量とされる。車両の重量が大きくなるほど変形判定量が大きくなる。タイヤTの変形判定量が、車両に対して定められた積載制限重量に対応する判定基準値を超過しているか否かが判別されることで、過積載の有無が判定される。車両に対して定められた積載制限重量は、その車両に対して予め定められた最大の重量である。
なお、変形値とタイヤ基準値との組は、車重によって変化する値と、車重によって変化しない値との組が用いられれば、他の値の組み合わせが用いられてもよい。
図9は、過積載検知処理の流れの一例を示すフローチャートである。過積載検知処理は、画像処理装置20が備えるCPU201が、ROM202、HDD204またはCD-ROM211に記憶された画像処理プログラムを実行することにより、CPU201により実行される処理である。図9を参照して、画像処理装置20が備えるCPU201は、撮像装置10を制御して、車両を被写体としてカメラ11に車両を撮像させる(ステップS01)。次のステップS02においては、カメラ11が車両を撮像して得られる撮像画像が撮像装置10から取得され、処理はステップS03に進む。そして、車両情報が検出される。撮像画像に含まれる車両のナンバープレートに記載された情報に基づいて、HDD204に記憶された車両情報のうちから車両に対応する車両情報が取得される。
ステップS04においては、タイヤ部分抽出処理が実行され、処理はステップS05に進む。タイヤ部分抽出処理の詳細は後述するが、撮像画像に含まれる車両のタイヤに対応する部分をタイヤ部分として、撮像画像から抽出する処理である。
ステップS05においては、車両が過積載か否かが判断される。ステップS04にいて抽出されたタイヤ部分の外縁の形状と、車両情報とに基づいて、車両が過積載か否かが判断される。具体的には、タイヤ部分の外縁に基づいて、タイヤ部分の半径Lthおよび接地幅Lcxから変形判定量が決定され、変形判定量が車両の積載制限重量に対応する判定基準値を超過しているか否かが判別される。変形判定量が判定基準値を超過している場合に、過積載と判断され、処理はステップS06に進むが、そうでなければ処理は終了する。
ステップS06においては、警告が出力される。例えば、表示部206に、警告メッセージが表示される。また、警告音が発生されてもよい。さらに、車両の通行を妨げるように、ゲートが閉じられてもよい。
図10は、タイヤ部分抽出処理の流れの一例を示すフローチャートである。タイヤ部分抽出処理は、過積載検知処理のステップS04において実行される処理である。図10を参照して、CPU201は、第1条件を決定する(ステップS11)。第1条件は、撮像画像中に含まれるタイヤ部分の外縁を検出するために定められる条件である。第1条件は、画像処理のパラメータと、ハフ変換に用いられるパラメータとを含む。画像処理のパラメータは、スムージング処理の程度を定めるパラメータおよび2値化処理の閾値を定めるパラメータを含む。ハフ変換に用いられるパラメータは、円または楕円の径および投票値と比較される閾値を含む。また、閾値を補正するための補正値が決定されてもよい。
ステップS12においては、第1エッジ抽出処理が実行され、処理はステップS13に進む。第1エッジ抽出処理は、ステップS11において第1条件として決定された画像処理のパラメータを用いて、後述するエッジ抽出処理が実行される。エッジ抽出処理は、スムージング処理、微分画像生成処理、2値化処理を含み、撮像画像を第1エッジ画像に変換する処理である。
ステップS13においては、第1ハフ変換が実行され、処理はステップS14に進む。ステップS12において生成された第1エッジ画像を処理対象として、ステップS11で第1条件として決定されたハフ変換に用いられるパラメータを用いて、ハフ変換が実行される。
ステップS14においては、第2条件が決定される。第2条件は、撮像画像中に含まれるリム部分の外縁を検出するために定められる条件である。第2条件は、画像処理のパラメータと、ハフ変換に用いられるパラメータとを含む。画像処理のパラメータは、スムージング処理の程度を定めるパラメータおよび2値化処理の閾値を定めるパラメータを含む。第2条件に含まれるスムージング処理のパラメータは、第1条件におけるパラメータよりもスムージングの程度が低いパラメータである。第2条件に含まれる2値化処理のパラメータは、第1条件におけるパラメータよりも2値化の程度が高いパラメータ、換言すれば値が大きなパラメータである。
ステップS15においては、第2エッジ抽出処理が実行され、処理はステップS16に進む。第2エッジ抽出処理は、ステップS14において第2条件として決定された画像処理のパラメータを用いて、後述するエッジ抽出処理が実行される。エッジ抽出処理は、スムージング処理、微分画像生成処理、2値化処理を含み、撮像画像を第2エッジ画像に変換する処理である。
ステップS16においては、第2ハフ変換が実行され、処理はステップS17に進む。ステップS16において生成された第2エッジ画像を処理対象として、ステップS14において第2条件として決定されたハフ変換に用いられるパラメータを用いて、ハフ変換が実行される。
ステップS17においては、第1形状が抽出される。ステップS13においてハフ変換が実行されることにより、撮像画像中に含まれるタイヤ部分の外縁を一部に含む円または楕円となる候補が特定されるので、撮像画像中で、特定された円または楕円内の領域に含まれるエッジに基づいて、第1形状が抽出される。タイヤ部分の外縁が抽出の対象となり、タイヤが地面接触する部分は水平方向の直線となるので、撮像画像中のエッジのうち特定された円または楕円と重なるエッジと、特定された円または楕円の最下点近傍で、最下点よりも上方に位置する水平方向のエッジと、で構成される形状が第1形状として抽出される。
ステップS18においては、第2形状が抽出され、処理はステップS19に進む。ハフ変換が実行されることにより、撮像画像中に含まれるリム部分の外縁を一部に含む円または楕円となる候補が特定されるので、撮像画像中で、特定された円または楕円内の領域に含まれるエッジに基づいて、第2形状が抽出される。リムの外縁が抽出の対象となるので、特定された円または楕円と重なるエッジで構成される形状が第2形状として抽出される。
ステップS19においては、撮像画像中のタイヤ部分が特定され、処理は過積載検知処理に戻る。具体的には、撮像画像中で、ステップS17において抽出された第1形状と、ステップS18において抽出された第2形状とで囲まれる部分がタイヤ部分に特定される。ステップS17において、撮像画像中に含まれるタイヤ部分の外縁を一部に含む円または楕円となる複数の候補が特定される場合があり、ステップS18において、撮像画像中に含まれるリム部分の外縁を一部に含む円または楕円となる複数の候補が特定される場合がある。この場合、第1形状として特定された1以上の候補と、第2形状として特定された1以上の候補とのうち、中心の距離が所定の範囲内にある第1形状の候補と第2形状の候補との組が、それぞれ第1形状および第2形状に決定される。さらに、中心座標の距離が所定範囲にある第1形状の候補と第2形状の候補の組が複数ある場合に、半径比率が所定の範囲にある第1形状の候補と第2形状の候補の組が決定される。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する2つの円または楕円の組をより正確に抽出することができる。半径比率は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて決定される。
図11は、エッジ抽出処理の流れの一例を示すフローチャートである。エッジ抽出処理は、タイヤ部分抽出処理のステップS12およびステップS15でそれぞれ実行される処理である。図11を参照して、CPU201は、撮像画像にスムージング処理を実行し(ステップS21)、処理をステップS22に進める。タイヤ部分抽出処理のステップS12が実行される場合は第1条件が設定されているので、第1条件で定められるスムージングの程度を示すパラメータ、ここでは第1平滑化フィルタを用いて、スムージング処理が実行される。タイヤ部分抽出処理のステップS15が実行される場合は第2条件が設定されているので、第2条件で定められるスムージングの程度を示すパラメータ、ここでは第2平滑化フィルタを用いて、スムージング処理が実行される。第1平滑化フィルタは、第2平滑化フィルタに比較して、スムージングの程度が強い。
ステップS22においては、微分画像生成処理が実行され、処理はステップS23に進む。スムージング処理された撮像画像を処理対象として、微分フィルタを用いて畳み込み演算されることにより微分画像が生成される。
ステップS23においては、2値化処理が実行され、処理はタイヤ部分抽出処理に戻る。タイヤ部分抽出処理のステップS12が実行される場合は第1条件が設定されているので、第1条件で定められる2値化の程度を示すパラメータ、ここでは第1閾値を用いて、2値化処理が実行される。タイヤ部分抽出処理のステップS15が実行される場合は第2条件が設定されているので、第2条件で定められる2値化の程度を示すパラメータ、ここでは第2閾値を用いて、2値化処理が実行される。第1閾値は、第2閾値に比較して、2値化の程度が低い。換言すれば、第1閾値は、第2閾値よりも小さい。
以上説明したように本実施の形態における過積載検知システム1において、画像処理装置20は、車両の側方を撮影して得られる撮像画像を取得する取得部251と、撮像画像に第1画像処理を実行し、第1画像処理が実行された画像に含まれるエッジを抽出する第1処理部281と、撮像画像に第1画像処理と異なる第2画像処理を実行し、第2画像処理が実行された画像に含まれるエッジを抽出する第2処理部283と、第1処理部281により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出部271と、第2処理部283により抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出部273と、第1の円または楕円と第2の円または楕円とに基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定部255と、を備える。第1画像処理と第2画像処理とは異なるので、撮像画像に第1画像処理が実行された画像から抽出されるエッジと撮像画像に第2画像処理が実行された画像から抽出されるエッジとは、同じエッジもあれば異なるエッジもある。第1画像処理を撮像画像中で車両のタイヤの外縁に対応する部分がエッジとして現れやすい処理とすれば、タイヤの外縁に対応する部分を含む第1の円または楕円が抽出され易くなる。また、第2画像処理を撮像画像中で車両のリムの外縁に対応する部分がエッジとして現れやすい処理とすれば、リムの外縁に対応する部分を含む第2の円または楕円が抽出され易くなる。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することができる。
また、画像処理装置20が実行する画像処理において、第1画像処理に含まれるスムージング処理におけるスムージングの程度が第2画像処理に含まれるスムージング処理におけるスムージングの程度よりも大きく、第1画像処理に含まれる2値化処理における2値化の閾値が第2画像処理に含まれる2値化処理における2値化の閾値よりも小さい。このため、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少なくなり、第1画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第1画像処理により生成される微分画像は第2画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第2画像処理により生成される微分画像は第1画像処理により生成される微分画像よりもノイズが多くなるが、第2画像処理における2値化の閾値が第1画像処理における2値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第2画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。
また、画像処理装置20が実行する画像処理において、スムージング処理に代えてまたはそれに加えて縮小処理としてもよい。
また、画像処理装置20は、車両に装着されたタイヤのサイズに基づき定められる第1径情報を第1条件として設定し、車両に装着されたリムのサイズに基づき定められる第2径情報を第2条件として設定する。このため、タイヤの外縁に相当する部分が第1の円または楕円として抽出されるようにでき、リムの外縁に相当する部分が第2の円または楕円として抽出されるようにできる。
また、画像処理装置20は、ハフ変換における投票結果と比較される閾値として第1径情報により定まる第1閾値を第1条件として設定し、ハフ変換における投票結果と比較される閾値として第2径情報により定まる第2閾値を第2条件として設定する。このため、タイヤの外縁の径に対応する第1の円または楕円と、リムの外縁の径に対応する第2の円または楕円とを、撮像画像から抽出することができる。
また、画像処理装置20は、撮像画像から特定されたタイヤ部分に基づいて車両が過積載か否かを判断するので、車両の過積載を容易に判断することができる。
なお、本実施の形態においては、撮像画像から車両情報を検出したが、車両情報を検出することなく、第1の円または楕円と、第2の円または楕円が抽出されてもよい。この場合、ハフ変換を実行するためのパラメータとして、タイヤの径およびリムの径を含む第1径情報および第2径情報が与えられないが、1以上の第1の円または楕円と、1以上の第2の円または楕円とが抽出される。この場合、中心間の距離に基づき第1の円または楕円と第2の円または楕円が特定されればよい。例えば、中心間の距離が最も短い組が特定されてもよい。
なお、本実施の形態においては、カメラ11が可視光を光電変換して得られる撮像画像を出力する例を示すが、赤外光を光電変換して得られる撮像画像を出力するようにしてもよい。車両が走行するとタイヤの温度が上昇するので、撮像画像から赤外光が所定値以上検出される部分を抽出することにより、タイヤ部分を特定し易くなる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 過積載検知システム、10 撮像装置、11 カメラ、12 制御部、13 記憶部、14 通信部、20 画像処理装置、23 通信部、201 CPU、202 ROM、203 RAM、204 HDD、205 通信部、206 表示部、207 操作部、210 外部記憶装置、211 CD-ROM、251 取得部、253 車両情報検出部、255 特定部、257 判断部、259 出力部、261 形状抽出部、265 エッジ画像生成部、267 条件決定部、271 第1抽出部、273 第2抽出部、281 第1処理部、283 第2処理部、285 第1設定部、287 第2設定部。
Claims (9)
- 車両の側方を撮影して得られる撮像画像を取得する取得手段と、
前記撮像画像に第1画像処理を実行し、前記第1画像処理が実行された画像に含まれるエッジを抽出する第1処理手段と、
前記撮像画像に前記第1画像処理と異なる第2画像処理を実行し、前記第2画像処理が実行された画像に含まれるエッジを抽出する第2処理手段と、
前記第1処理手段により抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出手段と、
前記第2処理手段により抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出手段と、
前記第1の円または楕円と前記第2の円または楕円とに基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定手段と、を備えた、画像処理装置。 - 前記第1画像処理および前記第2画像処理それぞれは、画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、前記微分画像を2値化する2値化処理と、を含み、
前記第1画像処理に含まれる前記スムージング処理におけるスムージングの程度が前記第2画像処理に含まれる前記スムージング処理におけるスムージングの程度よりも大きく、
前記第1画像処理に含まれる前記2値化処理における2値化の閾値が前記第2画像処理に含まれる前記2値化処理における2値化の閾値よりも小さい、請求項1に記載の画像処理装置。 - 前記第1画像処理および前記第2画像処理それぞれは、画像を縮小する縮小処理、縮小処理された画像を微分した微分画像を生成する微分画像生成処理、前記微分画像を2値化する2値化処理と、を含み、
前記第1画像処理に含まれる前記縮小処理における縮小の程度が前記第2画像処理に含まれる前記縮小処理における縮小の程度より大きく、
前記第1画像処理に含まれる前記2値化処理における2値化の閾値が前記第2画像処理に含まれる前記2値化処理における2値化の閾値よりも小さい、請求項1に記載の画像処理装置。 - 前記第1抽出手段は、前記車両に装着されたタイヤのサイズに基づき定められる第1径情報が設定され、
前記第2抽出手段は、前記車両に装着されたリムのサイズに基づき定められる第2径情報が設定される、請求項1~3のいずれかに記載の画像処理装置。 - 前記第1抽出手段は、ハフ変換における投票結果と比較される閾値として前記第1径情報により定まる第1閾値が設定され、
前記第1抽出手段は、ハフ変換における投票結果と比較される閾値として前記第2径情報により定まる第2閾値が設定される、請求項4に記載の画像処理装置。 - 前記特定手段により特定されたタイヤ部分に基づいて前記車両が過積載か否かを判断する判断手段を、さらに備えた請求項1~5のいずれかに記載の画像処理装置。
- 請求項1~6のいずれかに記載の画像処理装置と、
前記車両を撮像して得られる画像を前記画像処理装置に出力する撮像手段と、を備えた過積載検知システム。 - 車両の側方を撮影して得られる撮像画像を取得する取得ステップと、
前記撮像画像に第1画像処理を実行し、前記第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、
前記撮像画像に前記第1画像処理と異なる第2画像処理を実行し、前記第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、
前記第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、
前記第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、
前記第1の円または楕円と前記第2の円または楕円とに基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、を画像処理装置に実行させる画像処理方法。 - 車両の側方を撮影して得られる撮像画像を取得する取得ステップと、
前記撮像画像に第1画像処理を実行し、前記第1画像処理が実行された画像に含まれるエッジを抽出する第1処理ステップと、
前記撮像画像に前記第1画像処理と異なる第2画像処理を実行し、前記第2画像処理が実行された画像に含まれるエッジを抽出する第2処理ステップと、
前記第1処理ステップにおいて抽出されたエッジをハフ変換することにより第1の円または楕円を抽出する第1抽出ステップと、
前記第2処理ステップにおいて抽出されたエッジをハフ変換することにより第2の円または楕円を抽出する第2抽出ステップと、
前記第1の円または楕円と前記第2の円または楕円とに基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、をコンピューターに実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209742A JP7472772B2 (ja) | 2020-12-17 | 2020-12-17 | 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209742A JP7472772B2 (ja) | 2020-12-17 | 2020-12-17 | 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022096560A true JP2022096560A (ja) | 2022-06-29 |
JP7472772B2 JP7472772B2 (ja) | 2024-04-23 |
Family
ID=82163902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020209742A Active JP7472772B2 (ja) | 2020-12-17 | 2020-12-17 | 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7472772B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5091654A (en) | 1990-08-28 | 1992-02-25 | Xerox Corporation | Method of automatically setting document registration and locating calibration strip |
CN101699217B (zh) | 2009-11-03 | 2011-05-11 | 武汉大学 | 一种用于工业零件的同心圆检测方法 |
JP6458734B2 (ja) | 2013-10-09 | 2019-01-30 | 日本電気株式会社 | 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム |
CN105172494B (zh) | 2015-09-18 | 2018-06-05 | 浙江宇视科技有限公司 | 一种轮胎安全检测方法及轮胎安全检测系统 |
JP6772565B2 (ja) | 2016-06-06 | 2020-10-21 | 日本電気株式会社 | 幅計測システム、幅計測装置、方法およびプログラム |
JP7003750B2 (ja) | 2018-03-12 | 2022-01-21 | コニカミノルタ株式会社 | タイヤ形状算出方法、タイヤ形状算出装置及び過積載検出システム |
JP7073891B2 (ja) | 2018-05-02 | 2022-05-24 | コニカミノルタ株式会社 | 過積載検出処理装置、過積載検出システム及びプログラム |
JP6996415B2 (ja) | 2018-05-10 | 2022-02-04 | コニカミノルタ株式会社 | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム |
JP2019211223A (ja) | 2018-05-31 | 2019-12-12 | コニカミノルタ株式会社 | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム |
-
2020
- 2020-12-17 JP JP2020209742A patent/JP7472772B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7472772B2 (ja) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
KR101935399B1 (ko) | 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 | |
EP2662827B1 (en) | Video analysis | |
JP7234538B2 (ja) | 画像処理装置、車軸数検出システム、料金設定装置、料金設定システム及びプログラム | |
CN104143098B (zh) | 基于远红外线摄像头的夜间行人识别方法 | |
US20130265424A1 (en) | Reconfigurable clear path detection system | |
WO2014002692A1 (ja) | ステレオカメラ | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
US9030559B2 (en) | Constrained parametric curve detection using clustering on Hough curves over a sequence of images | |
JP2019211223A (ja) | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム | |
JP4864043B2 (ja) | 画像処理装置、方法及びプログラム | |
JP6907513B2 (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
KR101236223B1 (ko) | 차선 검출 방법 | |
US9189701B2 (en) | Object detection apparatus, object detection method, storage medium, and integrated circuit | |
US9955136B2 (en) | Distance measuring device and vehicle provided therewith | |
JPH1186185A (ja) | 車種判別装置 | |
JP6996415B2 (ja) | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム | |
JP2018142828A (ja) | 付着物検出装置および付着物検出方法 | |
JP2022096560A (ja) | 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム | |
JP2022096477A (ja) | 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム | |
JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
CN114166132A (zh) | 一种车辆高度抓拍测量方法及装置 | |
WO2017017140A1 (en) | Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same | |
JP7062904B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
CN115909254B (zh) | 一种基于摄像头原始图像的dms系统及其图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7472772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |