JP2022142515A - 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム - Google Patents
移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022142515A JP2022142515A JP2021042711A JP2021042711A JP2022142515A JP 2022142515 A JP2022142515 A JP 2022142515A JP 2021042711 A JP2021042711 A JP 2021042711A JP 2021042711 A JP2021042711 A JP 2021042711A JP 2022142515 A JP2022142515 A JP 2022142515A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- captured image
- information processing
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 description 46
- 238000012545 processing Methods 0.000 description 46
- 230000006399 behavior Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/42—Devices characterised by the use of electric or magnetic means
- G01P3/50—Devices characterised by the use of electric or magnetic means for measuring linear speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】簡便かつ冗長な方法で移動体の挙動を推定する。【解決手段】取り付けられた移動体の移動量を推定するための情報処理装置であって、移動体の外界を撮像した撮像画像を取得する撮像手段と、第1時刻に撮像された第1撮像画像と、第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、移動体の移動量を推定する推定手段と、を有する。ここで、推定手段は、互いに異なる予測移動量に基づいて第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動量を推定する。【選択図】図6
Description
本発明は、移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラムに関する。
近年、車両(移動体ともいう)の内部に設置して車両の前方や後方を撮像し、車両の事故発生時及びその直前の様子を記録媒体に記録するドライブレコーダが普及している。ドライブレコーダには、事故発生時の映像を記録媒体に記録するだけでなく、ふらつき走行といった、事故発生には至らなかったものの危険な状態に陥った状態を検出し、当該状態の検出をトリガとして映像を記録するものも提案されている(特許文献1)。特許文献1では、車両前方の撮像情報から認識された道路の白線の位置を用いて車両の走行位置を検出し、検出した車両の位置に基づいてふらつき走行を検出する。
ところで、ドライブレコーダには、車両の購入後に別途車両に取り付けられ、車両のシステムとは通信することなく、単独で動作するものがある。このようなドライブレコーダにおいて車両の特定の挙動を乗員に通知するような運転支援機能を提供するためには、撮像した画像情報に基づいて車両の挙動を推定する技術が有用である。
ドライブレコーダによる運転支援機能を実現するために、道路上の特定の対象(例えば白線)の存在を前提としない、簡便かつ冗長な方法で移動体の挙動(例えば移動量)を検出する技術が望まれている。
本発明は、上記課題に鑑みてなされ、その目的は、簡便かつ冗長な方法で移動体の挙動を推定可能な技術を実現することである。
本発明によれば、
取り付けられた移動体の移動量を推定するための情報処理装置であって、
前記移動体の外界を撮像した撮像画像を取得する撮像手段と、
第1時刻に撮像された第1撮像画像と、前記第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、前記移動体の移動量を推定する推定手段と、を有し、
前記推定手段は、互いに異なる予測移動量に基づいて前記第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理装置が提供される。
取り付けられた移動体の移動量を推定するための情報処理装置であって、
前記移動体の外界を撮像した撮像画像を取得する撮像手段と、
第1時刻に撮像された第1撮像画像と、前記第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、前記移動体の移動量を推定する推定手段と、を有し、
前記推定手段は、互いに異なる予測移動量に基づいて前記第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理装置が提供される。
本発明によれば、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
(実施形態1)
本実施形態は、取り付けられた移動体の移動量を検出するための情報処理装置に関する。以下の実施形態では、情報処理装置が例えば移動体に取り付けられたドライブレコーダである場合を例に説明する。しかし、情報処理装置は、移動体に取り付けられ、移動体の外界を撮像可能な装置であれば他の装置であってもよい。また、以下の実施形態では、移動体が例えば車両である場合を例に説明する。車両は典型的には四輪車であるが、本実施形態は、他のタイプの車両に適用されてもよい。
本実施形態は、取り付けられた移動体の移動量を検出するための情報処理装置に関する。以下の実施形態では、情報処理装置が例えば移動体に取り付けられたドライブレコーダである場合を例に説明する。しかし、情報処理装置は、移動体に取り付けられ、移動体の外界を撮像可能な装置であれば他の装置であってもよい。また、以下の実施形態では、移動体が例えば車両である場合を例に説明する。車両は典型的には四輪車であるが、本実施形態は、他のタイプの車両に適用されてもよい。
図1を参照して、ドライブレコーダの取り付け位置の例について説明する。車両100に、ドライブレコーダ101が取り付けられている。ドライブレコーダ101は、車両100のフロントガラスの運転者の視界を妨げない位置であってルームミラーの近傍、或いは車両100のルームミラーに取り付けられる。ドライブレコーダ101の取り付け位置はこれに限られず、車両100の外界を撮像可能な任意の位置であってもよい。
ドライブレコーダ101は、単体として動作可能であるが、ドライブレコーダ101は車両100から電力の供給を受けてもよい。
<ドライブレコーダの機能構成例>
図2を参照して、ドライブレコーダ101の機能構成例について説明する。ドライブレコーダ101は、例えば、制御部201と、記憶装置202と、撮像装置203と、入力装置204と、出力装置205と、通信装置206とを備える。
図2を参照して、ドライブレコーダ101の機能構成例について説明する。ドライブレコーダ101は、例えば、制御部201と、記憶装置202と、撮像装置203と、入力装置204と、出力装置205と、通信装置206とを備える。
制御部201は、例えばCPU(Central Processing Unit)を含み、ドライブレコーダ101全体の動作を制御する。制御部201は、例えばCPUが記憶装置202に格納されたプログラムを展開、実行することによって実現されてもよい。制御部201は、CPUのほか、GPU(Graphics Processing Unit)や、画像処理や機械学習などのための専用回路を更に含んでもよい。
記憶装置202は、ドライブレコーダ101の動作に関連するデータやプログラムを記憶する装置である。例えば、記憶装置202は、ドライブレコーダ101の動作を規定したプログラム、このプログラムの実行時の一時データ、撮像装置203で撮像された画像、マイクで収音された環境音などを記憶してもよい。記憶装置202は、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリによって実現されてもよい。さらに、記憶装置202は、SSD(Solid State Drive)などの補助記憶装置を含んでもよい。
撮像装置203は、車両100の前方の外界(例えば風景)を撮像するためのカメラを含む。撮像装置203は、例えば広角カメラであってもよい。このカメラは、ドライブレコーダ101の前側(車両100前方側)に位置する。また、撮像装置203は、車両100の前方側を撮像するカメラのほか、車両100の後方、左右の側方を撮像可能なカメラを更に備えていてよい。この場合、後方を撮像するカメラはドライブレコーダの後ろ側(車両の後方側)に配置され、側方を撮像するカメラはドライブレコーダの側面に配置されてもよい。複数の方向を撮像するカメラの一部は、ドライブレコーダと別体であってもよい。或いは、撮像装置203は、例えば魚眼カメラを備えていてもよい。
入力装置204は、車両100の乗員からの指示を入力するための装置である。入力装置204は、例えばボタンやタッチパネルを含む。また、入力装置204は、乗員の音声や外界の音を入力するマイクを含んでよい。
出力装置205は、車両100の乗員に向けて情報を出力するための装置である。出力装置205は、視覚情報を提供する表示装置(例えば、液晶ディスプレイやインジケータ)であってもよいし、聴覚情報を提供する音響装置(例えば、スピーカ)であってもよいし、これらの両方を含んでもよい。
通信装置206は、ドライブレコーダ101が他の装置(例えば、不図示のユーザのスマートフォン)と通信するための装置である。通信装置206は、例えば、記憶装置202に記憶した画像や音声をユーザのスマートフォンに送信してもよい。通信装置206は、他の装置と有線で通信してもよいし、他の装置と無線で通信してもよい。無線通信は、短距離通信(例えば、Bluetooth(登録商標))などのプロトコルに準拠した通信であってもよい。通信装置206は、車両100の制御ECUと有線又は無線で通信可能に構成されてもよい。通信装置206は省略可能であってもよい。
<ドライブレコーダにおける車両の移動量推定処理の概要>
次に、ドライブレコーダ101が取り付けられている車両の移動量を推定する処理について、図3から図5を参照して説明する。なお、図3から図5を参照して説明する処理は、一例として撮像装置203が車両100の前方を撮像した撮像画像を用いて処理を行う場合を例に説明する。以下の例は、例えば、制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。
次に、ドライブレコーダ101が取り付けられている車両の移動量を推定する処理について、図3から図5を参照して説明する。なお、図3から図5を参照して説明する処理は、一例として撮像装置203が車両100の前方を撮像した撮像画像を用いて処理を行う場合を例に説明する。以下の例は、例えば、制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。
まず、図3を参照して、車両の移動量(停止状態)を判定する処理について説明する。ドライブレコーダ101は、撮像装置203により、例えば所定の時間間隔で撮像画像を取得する。制御部201は、例えば、ある時刻(例えば現在時刻。この時間をkとする)に撮像された撮像画像301と、時刻kより前の時刻(例えばk-1)に撮像された撮像画像302とを取得して、撮像画像301と撮像画像302の画素値の差分を算出し、差分画像を生成する。
制御部201は、得られた差分画像を2値化し、2値化画像303を生成する。2値化は、画像を白と黒の2階調に変換する処理であり、差分画像を2値化することで差分画像を鮮明にすることができる。2値化に用いる閾値は予め実験等により適切な値が設定されればよい。なお、本実施形態では、差分画像を2値化する場合を例に説明するが、差分画像を2値化する代わりに他の画像処理を施してもよい。また、制御部201は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調するなどの所定の画像処理を行ってよい。
制御部201は、2値化画像の画素値を用いて画素値の総和を算出し、算出した総和が予め定めた閾値以下であるかどうかを判定する。制御部201は、算出した総和が予め定めた閾値以下であると判定した場合、車両が停止した状態であると判定する。このとき、制御部201は、例えば、所定の車両状態パラメータ(例えばVstate)に車両停止状態を示す「0」を設定する。一方、制御部201は、算出した総和が予め定めた閾値より大きいと判定した場合、車両が走行中或いは周辺の交通参加者の移動量が大きい状態であると判定する。このとき、制御部201は、例えば、車両状態パラメータ(Vstate)に、車両状態が車両走行中或いは交通参加者の移動大を示す「1」を設定する。
すなわち、制御部201は、時刻kに撮像された画像と以前に撮像された画像との差分をとり、差分画像において白の画素値が多い場合には両画像の類似度が高いものとして、車両が停止していると判定する。但し、画素の色の値の正負の取り方により、類似度が高い場合を示す色が白でなくてもよい。本実施形態では、差分画像において白の画素値が多い場合に両画像の類似度が高いと判定する場合を例に説明するが、類似度が高い場合に差分画像に黒の画素値が現れるようにしてもよい。
次に、図4を参照して、車両の移動量(速度レベル)を推定する処理について説明する。なお、速度レベルは車両の移動速度をいう。しかし、予め移動速度に対応付けられた速度の程度(例えば高速、中速、低速など)を表してもよい。ドライブレコーダ101は、撮像装置203により、例えば所定の時間間隔で撮像画像を取得する。制御部201は、例えば、ある時刻(例えばk)に撮像された撮像画像401と、時刻kより前の時刻(例えばk-1)に撮像された撮像画像とを取得する。制御部201は、時刻k-1に撮像された撮像画像に対し、互いに異なる複数の倍率で拡大又は縮小した変倍画像を生成する。例えば、時刻k-1に撮像された撮像画像を、段階的に異なる変倍率{En、Em、・・・、1、・・・、Rm、Rn}(ここで、En>Em>・・・>1>・・・>Rm>Rn>0)で変倍した変倍画像(例えば変倍画像411~415)を生成する。そして、制御部201は、生成した変倍画像411~415と撮像画像401のそれぞれの所定領域421を切り出す。このとき、切り出される各所定領域は、同一サイズであり、時刻k及びk-1で撮像された撮像画像の中心と同一の中心を有する。変倍率{En、Em、・・・、1、・・・、Rm、Rn}はそれぞれ、車両がどの速度レベルで前進又は後退するかに関連付けられている。このため、ある変倍率で変倍された画像は、関連付けられた速度で車両が走行する際に、次のタイミング(つまり時刻k)で撮像される画像と類似する。
制御部201は、時刻kの撮像画像301から切り出した所定領域の画素値と、撮像画像302を変倍した変倍画像411~415のそれぞれの所定領域の画素値との差分を算出し、複数の差分画像を生成する。
制御部201は、得られた複数の差分画像のそれぞれを2値化した2値化画像を生成し、2値化画像の画素値の総和を算出する。制御部201は、各変倍率に対応する画素値の総和のうち、画素値の総和が最小となる変倍率を選択する。例えば、En、Em、1、Rm、Rnで時刻k-1の撮像画像を変倍し、そのうち、Emで変倍した変倍画像を用いた画素値の総和が最小となる場合、制御部201は、変倍率Emを選択する。上述のように、それぞれの変倍率は車両の速度レベルと関連付けられているため、変倍率Emに関連付けられている速度レベルが車両100の速度レベル(移動量)として推定される。
なお、2値化は、図3を参照して説明した処理における2値化処理と同様であってよい。本実施形態では、差分画像を2値化する場合を例に説明するが、差分画像を2値化する代わりに他の画像処理を施してもよい。また、制御部201は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調するなどの所定の画像処理を行ってよい。
更に、図5を参照して、車両の移動量(水平方向の移動量)を推定する処理について説明する。上述のように、ドライブレコーダ101は、撮像装置203により、例えば所定の時間間隔で撮像画像を取得する。制御部201は、例えば、ある時刻(例えばk)に撮像された撮像画像501と、時刻kより前の時刻(例えばk-1)に撮像された撮像画像とを取得する。制御部201は、時刻k-1に撮像された撮像画像から、画像の中心から互いに異なる複数のシフト量で水平方向にシフトした所定領域を切り出す。例えば、時刻k-1に撮像された撮像画像から、段階的に異なるシフト量{-Sn、-Sm、・・・、0、・・・、Sm、Sn}(ここで、Sn>Sm>・・・>0)でシフトした所定領域(例えば所定領域521~525)を切り出す。また、制御部201は、撮像画像501の所定領域520を切り出す。シフト量{-Sn、-Sm、・・・、0、・・・、Sm、Sn}はそれぞれ、車両がどの移動量で左側又は右側に移動するかに関連付けられている。このため、あるシフト量で切り出された領域は、関連付けられた移動量で車両が移動する際に撮像される画像の中央部を切り出した所定領域と類似する。
制御部201は、時刻kの撮像画像501から切り出した所定領域520の画素値と、撮像画像511から切り出した所定領域521~525のそれぞれの画素値との差分を算出し、複数の差分画像を生成する。
制御部201は、得られた複数の差分画像のそれぞれを2値化した2値化画像を生成し、2値化画像の画素値の総和を算出する。制御部201は、各シフト量に対応する画素値の総和のうち、画素値の総和が最小となるシフト量を選択する。例えば、時刻k-1の撮像画像において-Sn、-Sm、0、Sm、Snのシフト量で移動させた所定領域のうち、Smでシフトした所定領域を用いた画素値の総和が最小となる場合、制御部201は、シフト量Smを選択する。上述のように、それぞれのシフト量は車両の移動量と関連付けられているため、シフト量Smに関連付けられている移動量が車両100の水平方向の移動量として推定される。
なお、2値化は、図3を参照して説明した処理における2値化処理と同様であってよい。本実施形態では、差分画像を2値化する場合を例に説明するが、差分画像を2値化する代わりに他の画像処理を施してもよい。また、制御部201は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調するなどの所定の画像処理を行ってよい。
<移動量推定処理の一連の動作>
次に、図6を参照して、ドライブレコーダ101における移動量推定処理の一連の動作について説明する。なお、本処理は、例えば、ドライブレコーダ101の制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。本処理は、車両100の走行中の任意のタイミングで開始されてよく、後述するS601~S608の処理が繰り返し実行されてよい。
次に、図6を参照して、ドライブレコーダ101における移動量推定処理の一連の動作について説明する。なお、本処理は、例えば、ドライブレコーダ101の制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。本処理は、車両100の走行中の任意のタイミングで開始されてよく、後述するS601~S608の処理が繰り返し実行されてよい。
S601において、制御部201は、車両状態を判定する。具体的には、制御部201は、図3を参照して説明した、車両の移動量(停止状態)を判定する処理を実行する。上述したように、制御部201は、例えば、ある時刻k(現在であってもよい)に撮像された撮像画像と、時刻kより前の時刻(例えばk-1)に撮像された撮像画像とを取得して、撮像画像間の差分を求める。制御部201は、得られた差分の2値化画像を用いて画素値の総和を算出し、算出した総和に応じて車両が停止状態であるか、その他の状態(車両が走行中或いは周辺の交通参加者の移動量が大きい状態)であるかを判定する。制御部201は、車両が静止状態であると判定した場合、例えば、車両状態パラメータに車両停止状態を示す「0」を設定し、そうでない場合には、当該車両状態パラメータに「1」を設定する。
S602において、制御部201は、車両状態が停止状態であるかを判定する。制御部201は、例えば、S601で設定した車両状態パラメータの値を参照して、当該車両状態パラメータが0に設定されているかを判定する。車両状態が停止状態であると判定した場合、本一連の動作を終了する。一方、制御部201は、車両状態が停止状態で無いと判定した場合、処理をS603に進める。
S603において、制御部201は、車両の速度レベルを推定する。具体的には、制御部201は、図4を参照して説明した、車両の移動量(速度レベル)を推定する処理を実行する。上述したように、制御部201は、例えば、ある時刻kに撮像された撮像画像と、時刻kより前の時刻(例えばk-1)に撮像された撮像画像とを取得する。2つの撮像画像は、S601の処理において取得された撮像画像でよい。
制御部201は、時刻k-1に撮像された撮像画像を段階的に異なる変倍率で変倍した複数の変倍画像を生成し、それぞれの変倍画像から中心が同一である所定領域(変倍画像の所定領域ともいう)を切り出す。また、制御部201は、時刻kの撮像画像からも同一サイズの所定領域を切り出す。制御部201は、時刻kの撮像画像から切り出した所定領域と、変倍画像から切り出した所定領域のそれぞれとの差分画像を生成し、2値化した差分画像の画素値の総和を算出する。制御部201は、それぞれの2値化した差分画像の画素値の総和から、当該総和が最小となる変倍率を特定する。上述したように、特定された変倍率は、車両が前進又は後退する際の速度レベルに対応付けられているため、制御部201は、特定された変倍率から車両の速度レベルを推定することができる。制御部201は、例えば、記憶装置202に予め記憶されている速度レベル用テーブルを参照することにより、変倍率に対応する速度レベルを取得する。
S604において、制御部201は、求めた速度レベルが所定の速度閾値以上であるかを判定する。所定の速度閾値は、例えば、車両の水平方向の移動量を推定する処理を行うか否かを判定するための閾値である。制御部201は、車両の速度レベルが所定の速度閾値以上であると判定した場合、車両の水平方向の移動量を推定する処理を行うことなく、S607に処理を進める。一方、車両の速度レベルが所定の速度閾値より小さいと判定した場合、処理をS606に進めて、車両の水平方向の移動量を推定する処理を実行する。
なお、図6に示す処理では、速度レベルの推定処理と水平方向の移動量推定処理とを別個の処理とし、速度レベルが所定の速度閾値以下である場合に水平方向の移動量推定処理を行う例を説明している。しかし、速度レベルの推定と水平方向の移動量推定とを同時に推定するようにしてもよい。
例えば、制御部201は、まず、時刻k-1に撮像された撮像画像を、段階的に異なる変倍率{En、Em、・・・、1、・・・、Rm、Rn}(ここで、En>Em>・・・>1>・・・>Rm>Rn>0)で変倍した変倍画像を生成する。そして、制御部201は、生成した変倍画像のそれぞれから、更に、-Sn、-Sm、0、Sm、Snのシフト量で移動させた所定領域を切り出す。制御部201は、時刻k-1の撮像画像に基づいて切り出された所定領域と、時刻kの撮像画像の所定領域との差分の画素値が最小となる変倍率及びシフト量の組み合わせを特定する。このようにすれば、車両100が一定以上の速度で前進又は後退しながら、水平方向に移動する場合の移動量を推定することができる。
S606において、制御部201は、車両の水平方向の移動量を推定する。具体的には、制御部201は、図5を参照して説明した、車両の移動量(水平方向の移動量)を推定する処理を実行する。上述したように、制御部201は、例えば、ある時刻kに撮像された撮像画像と、時刻kより前の時刻(例えばk-1)に撮像された撮像画像とを取得する。2つの撮像画像は、S601の処理において取得された撮像画像でよい。
制御部201は、時刻k-1に撮像された撮像画像から、段階的に異なるシフト量で水平方向にシフトした所定領域(シフト画像の所定領域ともいう)を切り出す。また、制御部201は、時刻kの撮像画像からも位置のシフトされていない所定領域を切り出す。制御部201は、時刻kの撮像画像から切り出した所定領域と、時刻k-1の撮像画像に基づいて切り出した所定領域のそれぞれとの差分画像を生成し、2値化した差分画像の画素値を総和を算出する。制御部201は、それぞれの2値化した差分画像の画素値の総和から、当該総和が最小となるシフト量を特定する。上述したように、特定されたシフト量は、車両が水平方向に移動する際の移動量に対応付けられているため、制御部201は、特定されたシフト量から車両の水平方向の移動量を推定することができる。制御部201は、例えば、記憶装置202に予め記憶されている横移動量テーブルを参照することにより、シフト量に対応する水平方向の移動量を取得する。
S607において、制御部201は、車両の速度レベル又は水平方向の移動量が通知条件を満たすかを判定する。通知条件は、例えば、所定の単位時間あたりの水平移動量が閾値以上であるか、或いは、車両の速度レベルが、予め定めた速度超過を示す速度以上であるか等の条件を含んでよい。例えば、所定の単位時間あたりの水平移動量が閾値以上である場合、車両のふれが大きいことを乗員に通知することができる。また、車両の速度レベルが速度超過を示す速度以上である場合、乗員に対して速度超過を通知することができる。速度超過を示す速度は、段階的に異ならせた複数の閾値を設定してもよく、速度レベルに応じて、段階的に異なる通知を行うようにしてもよい。
制御部201は、S603で推定された速度レベル及びS606で推定された水平方向の移動量に基づき、通知条件の少なくともいずれかを満たすかを判定する。制御部201は、通知条件の少なくともいずれかを満たすと判定した場合には処理をS608に進め、それ以外の場合には本一連の動作を終了する。
S608において、制御部201は、判定された通知条件に基づいて、出力装置205を介して通知を発生させる。例えば、制御部201は、S606で満たすと判定した通知条件に対応する音声(例えば「速度XXkm/sを超えています」)を出力したり、インジケータを点灯させたりしてよい。複数の通知条件を満たすと判定した場合、予め通知条件の優先度を設定した優先順テーブルを参照して、最も優先順の高い通知条件(或いは、最も優先順の高い通知条件のいくつか)に対応する通知を出力するようにしてもよい。制御部201は、通知の出力を終了すると、本一連の動作を終了する。
以上説明したように、本実施形態では、取り付けられた車両の移動量を推定するために、車両の外界を第1時刻に撮像した第1撮像画像と、第1時刻より前の第2時刻に撮像した第2撮像画像とを用いる。制御部201は、互いに異なる予測移動量(例えば速度レベル或いは水平移動量)に基づいて第2撮像画像を変化させた、画像の所定領域(変化画像の所定領域)の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分のうち、最小の差分により車両の移動量(速度レベル或いは水平移動量)を推定するようにした。このようにすることで、道路上の特定の対象(例えば白線)の存在を前提としないため、白線が適切に撮像されないような条件であっても、すなわち冗長な条件で、車両の移動量を推定することができる。また、このように処理を単純化することにより、単体で動作するドライブレコーダの計算資源であっても、高速に処理を実行することができる。
(実施形態2)
次に、実施形態2について説明する。上述の実施形態では、撮像装置203が車両100の前方を撮像した画像を用いて処理を行う場合を例に説明した。しかし、車両100が走行する車線の先を別の車両が走行しているような場合には、当該車両領域は背景ほど変化しないにもかかわらず変倍されることにより適切に速度レベルが推定できない場合がある。そして、正確でない推定速度レベルを用いて乗員に通知を行うとドライブレコーダの使用感が低下する可能性がある。このため、本実施形態では、更に、後方を撮像した撮像画像と、側方を撮像した撮像画像とからもそれぞれ速度レベルを推定したうえで、前方の撮像画像から推定される速度レベルの信頼性を判定する。このようにすることで、推定した速度レベルの信頼性が高い場合に当該速度レベルを通知処理に用いることができる。これにより、乗員に対する通知の精度が向上する。
次に、実施形態2について説明する。上述の実施形態では、撮像装置203が車両100の前方を撮像した画像を用いて処理を行う場合を例に説明した。しかし、車両100が走行する車線の先を別の車両が走行しているような場合には、当該車両領域は背景ほど変化しないにもかかわらず変倍されることにより適切に速度レベルが推定できない場合がある。そして、正確でない推定速度レベルを用いて乗員に通知を行うとドライブレコーダの使用感が低下する可能性がある。このため、本実施形態では、更に、後方を撮像した撮像画像と、側方を撮像した撮像画像とからもそれぞれ速度レベルを推定したうえで、前方の撮像画像から推定される速度レベルの信頼性を判定する。このようにすることで、推定した速度レベルの信頼性が高い場合に当該速度レベルを通知処理に用いることができる。これにより、乗員に対する通知の精度が向上する。
なお、本実施形態に係るドライブレコーダ101の構成は、上述の実施形態と同一であってよく、移動量推定処理の一部が異なる。このため、同一の構成及び処理については同一の参照番号を付して説明を省略し、相違点について重点的に説明する。
<移動量推定処理の一連の動作>
図7を参照して、本実施形態に係るドライブレコーダ101における移動量推定処理の一連の動作について説明する。なお、本処理は、実施形態1と同様、例えば、ドライブレコーダ101の制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。
図7を参照して、本実施形態に係るドライブレコーダ101における移動量推定処理の一連の動作について説明する。なお、本処理は、実施形態1と同様、例えば、ドライブレコーダ101の制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。
制御部201は、S601及びS602の処理を実施形態1と同様に実行し、その後、S701において、前方、後方及び側方の撮像画像から、それぞれ速度レベルを推定する。前方の速度レベルについては、上述したS603の処理により速度レベルを推定する。
また、後方については、制御部201は、前方と同一の時刻における2つの撮像画像、例えば、ある時刻kに撮像された撮像画像と、時刻kより前の時刻(k-1)に撮像された撮像画像とを取得する。但し、ドライブレコーダ101から車両の後方の外界を撮像する際には室内と窓領域とが撮像されるため、外界領域の画像を用いるように他の領域(室内や人の領域など)をマスクしてよい。例えば、数秒間にわたって順次撮像した撮像画像において変化の分散が所定値より低い領域をマスクすればよい。
後方の撮像画像についても、制御部201は、時刻k-1に撮像された撮像画像を段階的に異なる変倍率で変倍した複数の変倍画像を生成し、それぞれの変倍画像から中心が同一である所定領域を切り出す。また、制御部201は、時刻kの撮像画像からも同一サイズの所定領域を切り出す。制御部201は、時刻kの撮像画像から切り出した所定領域と、変倍画像から切り出した所定領域のそれぞれとの差分画像を生成し、2値化した差分画像の画素値の総和を算出する。制御部201は、それぞれの2値化した差分画像の画素値の総和から、当該総和が最小となる変倍率を特定する。後方画像から特定された変倍率は、車両が前進又は後退する際の速度レベルに対応付けられている。但し、前方画像から特定される変倍率とは拡大縮小の別が逆となる。これにより、制御部201は、後方画像から特定された変倍率から車両の速度レベルを推定することができる。なお、便宜上、後方画像から推定された速度レベルを後方速度レベルという。制御部201は、例えば、記憶装置202に予め記憶されている後方画像用の速度レベルのテーブルを参照することにより、変倍率に対応する後方速度レベルを取得する。
更に、側方については、制御部201は、前方と同一の時刻における2つの撮像画像、例えば、ある時刻kに撮像された撮像画像と、時刻kより前の時刻(k-1)に撮像された撮像画像とを取得する。但し、側方においても、ドライブレコーダ101から車両の側方の外界を撮像する際には室内と窓領域とが撮像されるため、外界領域の画像を用いるように他の領域をマスクしてよい。例えば、数秒間にわたって順次撮像した撮像画像において変化の分散が所定値より低い領域をマスクすればよい。
側方の撮像画像から車両の速度レベルを推定する場合、制御部201は、水平方向の移動量の推定処理と同様の処理を行う。すなわち、制御部201は、時刻k-1に撮像された撮像画像から、段階的に異なるシフト量で水平方向にシフトした所定領域を切り出す。また、制御部201は、時刻kの撮像画像からも位置のシフトされていない所定領域を切り出す。制御部201は、時刻kの撮像画像から切り出した所定領域と、時刻k-1の撮像画像に基づいて切り出した所定領域のそれぞれとの差分画像を生成し、2値化した差分画像の画素値を総和を算出する。制御部201は、それぞれの2値化した差分画像の画素値の総和から、当該総和が最小となるシフト量を特定する。側方画像から特定されたシフト量は、車両の速度レベルに対応付けられている。このため、制御部201は、側方画像から特定されたシフト量から車両の速度レベルを推定することができる。なお、便宜上、側方画像から推定された速度レベルを側方速度レベルという。制御部201は、車両の右側と車両の左側の側方速度レベルをそれぞれ推定する。制御部201は、例えば、記憶装置202に予め記憶されている、右側及び左側の側方画像用の速度レベルのテーブルを参照することにより、側方画像から特定されるシフト量に対応する側方速度レベルを取得する。
S702において、制御部201は、前方画像から推定された速度レベルの信頼度が閾値以上であるかを判定する。例えば、制御部201は、前方画像から推定された速度レベルと他の速度レベルとの差分を算出したうえで、最も速度レベルの近い2つの速度レベル(例えば、右側の側方速度レベルと左側の側方速度レベル)との差分の総和を算出し、算出した総和を前方速度レベルの信頼度とする。この場合、例えば、1方向の速度レベルが(例えば推定された後方速度レベルが後方車両の存在により)外れ値になっている場合でも、他の方向の速度レベルを用いて、前方速度レベルの信頼度をより信頼性良く算出することができる。制御部201は、前方速度レベルの信頼度が閾値以上であると判定した場合、処理をS703に進め、そうでない場合には、(現時点での前方速度レベルは通知に使用できないと判断して)本一連の処理を終了する。
なお、本実施形態では、前方速度レベルの信頼性を判定するようにしているが、信頼性を判定する速度は他の方向の撮像画像から推定された速度レベルであってもよい。例えば、前方撮像画像の輝度が所定以上に高い場合(車両の進行方向に太陽があるために前方撮像画像が逆光で撮像されるような場合)には、後方撮像画像或いは側方撮像画像で推定した速度レベルの信頼度を判定し、後の処理において当該速度レベルを用いるようにしてもよい。
S703において、制御部201は、推定された前方速度レベルが所定の速度閾値以上であるかを判定する。制御部201は、前方速度レベルが所定の速度閾値以上であると判定した場合、車両の水平方向の移動量を推定する処理を行うことなく、S607に処理を進める。一方、前方速度レベルが所定の速度閾値より小さいと判定した場合、処理をS606に進めて、車両の水平方向の移動量を推定する処理を実行する。
その後、制御部201は、実施形態1と同様にS606~S608の処理を実行して、本一連の動作を終了する。
以上説明したように、本実施形態では、前方、後方、側方の撮像画像のそれぞれを用いて別個に4つの速度レベルを推定し、1方向の速度レベルの信頼度を、他の方向の速度レベルに基づいて算出するようにした。このようにすることで、簡便な方法で速度レベルを算出することができ、また、信頼性の低い方向の速度レベルの使用を排除することができる。これにより、信頼性が高い場合に速度レベルを用いた通知を実現することができる。
(実施形態3)
更に、実施形態3について説明する。本実施形態2では、後方を撮像した撮像画像と、側方を撮像した撮像画像とからもそれぞれ速度レベルを推定したうえで、前方の撮像画像から推定される速度レベルの信頼性を判定し、信頼性の低い速度レベルを採用しないようにした。これに対し、実施形態3では、各方向の撮像画像において車両を認識する物体認識処理を実行して、車両が認識されていない撮像画像に基づいて速度レベルを推定する。
更に、実施形態3について説明する。本実施形態2では、後方を撮像した撮像画像と、側方を撮像した撮像画像とからもそれぞれ速度レベルを推定したうえで、前方の撮像画像から推定される速度レベルの信頼性を判定し、信頼性の低い速度レベルを採用しないようにした。これに対し、実施形態3では、各方向の撮像画像において車両を認識する物体認識処理を実行して、車両が認識されていない撮像画像に基づいて速度レベルを推定する。
なお、本実施形態では、撮像画像において車両を認識する場合を例に説明するが、認識対象は車両に限らず他の移動体を含んでよい。また、本実施形態に係るドライブレコーダ101の構成は、上述の実施形態と同一であってよく、移動量推定処理の一部が異なる。このため、同一の構成及び処理については同一の参照番号を付して説明を省略し、相違点について重点的に説明する。
<移動量推定処理の一連の動作>
図8を参照して、本実施形態に係るドライブレコーダ101における移動量推定処理の一連の動作について説明する。なお、本処理は、上述の実施形態と同様、例えば、ドライブレコーダ101の制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。
図8を参照して、本実施形態に係るドライブレコーダ101における移動量推定処理の一連の動作について説明する。なお、本処理は、上述の実施形態と同様、例えば、ドライブレコーダ101の制御部201が記憶装置202に記憶されたプログラムを実行することにより実現される。
制御部201は、S601及びS602の処理を実施形態1と同様に実行し、その後、S801において、前方、後方及び側方の撮像画像に対して、公知の画像認識処理を実行して、それぞれの撮像画像内の車両を検出する。この処理は、例えば、車両100の前方或いは後方を走行する他の車両、及び車両100と並走する他の車両の影響を排除するために行なわれる。それぞれの撮像画像における車両の認識では、画像内の車両の方向を考慮してもよい。例えば、前方の撮像画像の場合には、画像内の車両の後方、後方の撮像画像の場合には画像内の車両の前方、側方の撮像画像の場合には画像内の車両の側面を考慮した画像認識を行ってもよい。
S802において、制御部201は、S801において車両が認識された画像があるかを判定する。制御部201は、いずれの画像においても車両が認識されなかった場合には、S804に処理を進める。一方、いずれかの画像で車両が認識された場合には、S803に処理を進める。前方の速度レベルについては、上述したS603の処理により速度レベルを推定する。なお、制御部201は、全ての撮像画像から車両が認識された場合には本一連の動作を終了するようにしてもよい。
S803において、制御部201は、前方画像、後方画像、側方画像のうち、車両が認識されていない撮像画像を用いて、速度レベルを推定する。各画像に基づく速度レベルの推定は、S701において上述した処理と同様である。
S804において、制御部201は、前方画像を用いて前方速度レベルを推定する。前方速度レベルの推定は、S603において上述した処理と同様である。なお、本処理では一例として前方速度レベルを推定する処理を行うものとしたが、更に後方や側方の速度レベルを推定し、S702と同様に前方速度レベルの信頼性を求めるようにしてもよい。この場合、前方速度レベルの信頼性が低い場合には本一連の動作を終了するようにしてもよい。
S805において、制御部201は、S803又はS804において推定された速度レベルを用いて、その速度レベルが所定の速度閾値以上であるかを判定する。制御部201は、推定された速度レベルが所定の速度閾値以上であると判定した場合、車両の水平方向の移動量を推定する処理を行うことなく、S607に処理を進める。一方、推定された速度レベルが所定の速度閾値より小さいと判定した場合、処理をS606に進めて、車両の水平方向の移動量を推定する処理を実行する。
その後、制御部201は、実施形態1と同様にS606~S608の処理を実行して、本一連の動作を終了する。
以上説明したように、本実施形態では、前方、後方、側方の撮像画像のそれぞれを用いて別個に4つの速度レベルを推定する際に、画像認識により車両が認識される撮像画像を速度レベルの推定に用いないようにした。このようにすることで、簡便な方法で速度レベルを算出することができ、前方、後方及び側方を走行する車両の影響により、推定する速度レベルに精度が低下することを低減することができる。
<実施形態のまとめ>
1.上記実施形態の情報処理装置(例えば101)は、
取り付けられた移動体の移動量を推定するための情報処理装置(例えば101)であって、
移動体の外界を撮像した撮像画像を取得する撮像手段(例えば203)と、
第1時刻に撮像された第1撮像画像と、第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、移動体の移動量を推定する推定手段(例えば201)と、を有し、
推定手段は、互いに異なる予測移動量に基づいて第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて移動体の移動量を推定する(例えばS603、S606、S701、S803、S804)。
1.上記実施形態の情報処理装置(例えば101)は、
取り付けられた移動体の移動量を推定するための情報処理装置(例えば101)であって、
移動体の外界を撮像した撮像画像を取得する撮像手段(例えば203)と、
第1時刻に撮像された第1撮像画像と、第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、移動体の移動量を推定する推定手段(例えば201)と、を有し、
推定手段は、互いに異なる予測移動量に基づいて第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて移動体の移動量を推定する(例えばS603、S606、S701、S803、S804)。
この実施形態によれば、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。また、処理を単純化することにより、単体で動作するドライブレコーダのような小型の装置の計算資源であっても、高速に処理を実行することができる。
2.上記実施形態における情報処理装置は、
差分が最小となる変化画像に対応する予測移動量に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像の変化に基づき、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。
差分が最小となる変化画像に対応する予測移動量に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像の変化に基づき、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。
3.上記実施形態における情報処理装置は、
予測移動量は、移動体の水平方向の移動量を含み、
推定手段は、第2撮像画像を異なるシフト量で水平方向にシフトさせた、シフト画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動速度を推定する(例えばS606)。
予測移動量は、移動体の水平方向の移動量を含み、
推定手段は、第2撮像画像を異なるシフト量で水平方向にシフトさせた、シフト画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動速度を推定する(例えばS606)。
この実施形態によれば、簡便かつ冗長な方法で移動体の水平方向の挙動を推定することが可能になる。
4.上記実施形態における情報処理装置は、
差分が最小となるシフト画像に対応するシフト量に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像のシフト量により簡便かつ冗長な方法で移動体の水平方向の挙動を推定することが可能になる。
差分が最小となるシフト画像に対応するシフト量に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像のシフト量により簡便かつ冗長な方法で移動体の水平方向の挙動を推定することが可能になる。
5.上記実施形態における情報処理装置は、
予測移動量は、移動体の前進又は後退に係る移動速度を含み、
推定手段は、第2撮像画像を異なる変倍率で拡大又は縮小させた変倍画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動速度を推定する(例えばS603、S701、S803、S804)。
予測移動量は、移動体の前進又は後退に係る移動速度を含み、
推定手段は、第2撮像画像を異なる変倍率で拡大又は縮小させた変倍画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動速度を推定する(例えばS603、S701、S803、S804)。
この実施形態によれば、簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。
6.上記実施形態における情報処理装置は、
差分が最小となる前記変倍画像に対応する変倍率に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像の変倍率により簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。
差分が最小となる前記変倍画像に対応する変倍率に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像の変倍率により簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。
7.上記実施形態における情報処理装置は、
撮像手段は、移動体の外界の複数の方向をそれぞれ撮像した撮像画像を取得可能であり(例えば203)、
推定手段は、複数の方向の少なくともいずれかを撮像した第1撮像画像と第2撮像画像とを用いて、移動体の移動速度を推定する(例えばS603、S701)。
撮像手段は、移動体の外界の複数の方向をそれぞれ撮像した撮像画像を取得可能であり(例えば203)、
推定手段は、複数の方向の少なくともいずれかを撮像した第1撮像画像と第2撮像画像とを用いて、移動体の移動速度を推定する(例えばS603、S701)。
この実施形態によれば、1の方向を撮像した撮像画像から適切な移動速度を推定できない状況であっても、他の方向を撮影した撮像画像から簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。
8.上記実施形態における情報処理装置は、
推定手段によって推定された移動体の移動速度に対する信頼度を判定する判定手段(例えば201、S702)を更に有し、
判定手段は、複数の方向のうちの第1の方向を撮像した第1撮像画像と第2撮像画像とを用いて推定された第1の移動体の移動速度の信頼度を、他の複数の方向のそれぞれの第1撮像画像と第2撮像画像とを用いて推定された複数の移動体の移動速度を用いて判定する。
推定手段によって推定された移動体の移動速度に対する信頼度を判定する判定手段(例えば201、S702)を更に有し、
判定手段は、複数の方向のうちの第1の方向を撮像した第1撮像画像と第2撮像画像とを用いて推定された第1の移動体の移動速度の信頼度を、他の複数の方向のそれぞれの第1撮像画像と第2撮像画像とを用いて推定された複数の移動体の移動速度を用いて判定する。
この実施形態によれば、1の方向を撮像した撮像画像から推定された移動速度が信頼できるものであるかどうかを、他の方向を撮影した撮像画像を用いて判定することが可能になる。そして、簡便な方法で速度レベルを算出することができる一方で、信頼性の低い推定結果の使用を排除することができる。
9.上記実施形態における情報処理装置は、
撮像画像に含まれる移動体を認識する認識手段(例えば201、S801)を更に有し、
推定手段は、複数の方向を撮像した撮像画像のうち、認識手段により移動体が認識されなかった撮像画像に係る方向を撮像した第1撮像画像と第2撮像画像とを用いて、移動体の移動速度を推定する(例えばS803)。
撮像画像に含まれる移動体を認識する認識手段(例えば201、S801)を更に有し、
推定手段は、複数の方向を撮像した撮像画像のうち、認識手段により移動体が認識されなかった撮像画像に係る方向を撮像した第1撮像画像と第2撮像画像とを用いて、移動体の移動速度を推定する(例えばS803)。
この実施形態によれば、簡便な方法で速度レベルを算出することができ、前方、後方及び側方の移動体の影響により、推定する速度レベルの精度が低下することを低減することが可能になる。
10.上記実施形態における情報処理装置は、
推定手段によって推定された移動体の移動量に応じて、乗員に通知を出力する出力手段を更に有する。
推定手段によって推定された移動体の移動量に応じて、乗員に通知を出力する出力手段を更に有する。
この実施形態によれば、乗員に対して移動量に応じた運転支援機能を提供することが可能になる。
11.上記実施形態における情報処理装置は、
第1撮像画像と第2撮像画像とは移動体の前方又は後方を撮像した撮像画像である。
第1撮像画像と第2撮像画像とは移動体の前方又は後方を撮像した撮像画像である。
12.上記実施形態の情報処理方法(例えば図6)は、
取り付けられた移動体の移動量を推定するための情報処理方法であって、
移動体の外界を撮像した撮像画像を取得する撮像工程と、
第1時刻に撮像された第1撮像画像と、第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、移動体の移動量を推定する推定工程と、を有し、
推定工程では、互いに異なる予測移動量に基づいて第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動量を推定する。
取り付けられた移動体の移動量を推定するための情報処理方法であって、
移動体の外界を撮像した撮像画像を取得する撮像工程と、
第1時刻に撮像された第1撮像画像と、第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、移動体の移動量を推定する推定工程と、を有し、
推定工程では、互いに異なる予測移動量に基づいて第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動量を推定する。
この実施形態によれば、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
100…車両、101…ドライブレコーダ、201…制御部、202…記憶装置、203…撮像装置、205…出力装置
Claims (13)
- 取り付けられた移動体の移動量を推定するための情報処理装置であって、
前記移動体の外界を撮像した撮像画像を取得する撮像手段と、
第1時刻に撮像された第1撮像画像と、前記第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、前記移動体の移動量を推定する推定手段と、を有し、
前記推定手段は、互いに異なる予測移動量に基づいて前記第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理装置。 - 前記差分が最小となる前記変化画像に対応する前記予測移動量に基づいて、前記移動体の移動量を推定する、ことを特徴とする請求項1に記載の情報処理装置。
- 前記予測移動量は、前記移動体の水平方向の移動量を含み、
前記推定手段は、前記第2撮像画像を異なるシフト量で水平方向にシフトさせた、シフト画像の前記所定領域の画像情報のそれぞれと、前記第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動速度を推定する、ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記差分が最小となる前記シフト画像に対応する前記シフト量に基づいて、前記移動体の移動速度を推定する、ことを特徴とする請求項3に記載の情報処理装置。
- 前記予測移動量は、前記移動体の前進又は後退に係る移動速度を含み、
前記推定手段は、前記第2撮像画像を異なる変倍率で拡大又は縮小させた変倍画像の前記所定領域の画像情報のそれぞれと、前記第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動速度を推定する、ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 - 前記差分が最小となる前記変倍画像に対応する前記変倍率に基づいて、前記移動体の移動速度を推定する、ことを特徴とする請求項5に記載の情報処理装置。
- 前記撮像手段は、前記移動体の外界の複数の方向をそれぞれ撮像した撮像画像を取得可能であり、
前記推定手段は、前記複数の方向の少なくともいずれかを撮像した前記第1撮像画像と前記第2撮像画像とを用いて、前記移動体の移動速度を推定する、ことを特徴とする請求項5又は6に記載の情報処理装置。 - 前記推定手段によって推定された前記移動体の移動速度に対する信頼度を判定する判定手段を更に有し、
前記判定手段は、前記複数の方向のうちの第1の方向を撮像した前記第1撮像画像と前記第2撮像画像とを用いて推定された第1の前記移動体の移動速度の信頼度を、他の複数の方向のそれぞれの前記第1撮像画像と前記第2撮像画像とを用いて推定された複数の前記移動体の移動速度を用いて判定する、ことを特徴とする請求項7に記載の情報処理装置。 - 撮像画像に含まれる移動体を認識する認識手段を更に有し、
前記推定手段は、前記複数の方向を撮像した撮像画像のうち、前記認識手段により移動体が認識されなかった撮像画像に係る方向を撮像した前記第1撮像画像と前記第2撮像画像とを用いて、前記移動体の移動速度を推定する、ことを特徴とする請求項7又は8に記載の情報処理装置。 - 前記推定手段によって推定された前記移動体の移動量に応じて、乗員に通知を出力する出力手段を更に有する、ことを特徴とする請求項1から9のいずれかに記載の情報処理装置。
- 前記第1撮像画像と前記第2撮像画像とは前記移動体の前方又は後方を撮像した撮像画像である、ことを特徴とする請求項3又は4に記載の情報処理装置。
- 取り付けられた移動体の移動量を推定するための情報処理方法であって、
前記移動体の外界を撮像した撮像画像を取得する撮像工程と、
第1時刻に撮像された第1撮像画像と、前記第1時刻より前の第2時刻に撮像された第2撮像画像とに基づいて、前記移動体の移動量を推定する推定工程と、を有し、
前記推定工程では、互いに異なる予測移動量に基づいて前記第2撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第1撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理方法。 - コンピュータを、請求項1から11のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021042711A JP2022142515A (ja) | 2021-03-16 | 2021-03-16 | 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム |
CN202210210219.9A CN115082876A (zh) | 2021-03-16 | 2022-03-04 | 推断移动体的移动量的信息处理装置、信息处理方法以及存储介质 |
US17/689,066 US20220301185A1 (en) | 2021-03-16 | 2022-03-08 | Information processing apparatus, information processing method, and storage medium for estimating movement amount of moving object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021042711A JP2022142515A (ja) | 2021-03-16 | 2021-03-16 | 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022142515A true JP2022142515A (ja) | 2022-09-30 |
Family
ID=83246431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021042711A Pending JP2022142515A (ja) | 2021-03-16 | 2021-03-16 | 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220301185A1 (ja) |
JP (1) | JP2022142515A (ja) |
CN (1) | CN115082876A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830065A (zh) * | 2022-11-09 | 2023-03-21 | 上海高德威智能交通系统有限公司 | 基于图像的速度确定方法、装置、设备及存储介质 |
-
2021
- 2021-03-16 JP JP2021042711A patent/JP2022142515A/ja active Pending
-
2022
- 2022-03-04 CN CN202210210219.9A patent/CN115082876A/zh active Pending
- 2022-03-08 US US17/689,066 patent/US20220301185A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220301185A1 (en) | 2022-09-22 |
CN115082876A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010058821A1 (ja) | 接近物体検知システム | |
JP6453192B2 (ja) | 画像認識処理装置、及びプログラム | |
JP7251120B2 (ja) | 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法 | |
WO2011048718A1 (ja) | 標識認識装置及び標識認識方法 | |
JP6922919B2 (ja) | 運転支援装置および方法、移動体、並びにプログラム | |
JP2008276308A (ja) | 動画像処理装置、動画像処理システムおよびナビゲーション装置 | |
JP2010044561A (ja) | 乗物搭載用監視装置 | |
US11189048B2 (en) | Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region | |
US20180330619A1 (en) | Display device and display method for displaying pictures, and storage medium | |
WO2016154777A1 (en) | Intelligent voice assistant system, apparatus, and method for vehicle | |
US11025828B2 (en) | Imaging control apparatus, imaging control method, and electronic device | |
JP2012153256A (ja) | 画像処理装置 | |
JP2022142515A (ja) | 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム | |
KR101374653B1 (ko) | 차량의 움직임을 검출하는 장치 및 방법 | |
US20220408062A1 (en) | Display control apparatus, display control method, and program | |
WO2021084818A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
CN115489536A (zh) | 一种驾驶辅助方法、系统、设备及可读存储介质 | |
US11043126B2 (en) | Vehicle, vehicle control method, and vehicle control program | |
WO2020008876A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
JPWO2015115103A1 (ja) | 画像処理装置、カメラシステム、および画像処理方法 | |
JP2009214790A (ja) | 撮像装置および方法、並びに、画像処理装置および方法 | |
KR20140071138A (ko) | 주행중인 차량에서의 접근 물체 인식 시스템 | |
US20210321062A1 (en) | Image processing device in moving object, imaging device, image processing method, and recording medium | |
JP2022184109A (ja) | 撮像システム、移動装置、制御方法およびプログラム | |
JP2024007722A (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240517 |