JP2022185883A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022185883A JP2022185883A JP2021093785A JP2021093785A JP2022185883A JP 2022185883 A JP2022185883 A JP 2022185883A JP 2021093785 A JP2021093785 A JP 2021093785A JP 2021093785 A JP2021093785 A JP 2021093785A JP 2022185883 A JP2022185883 A JP 2022185883A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- information
- unit
- relative acceleration
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000001133 acceleration Effects 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Abstract
【課題】情報処理装置による処理負荷を低減すること。【解決手段】本発明の一態様に係る情報処理装置は、複数の時系列画像を取得するステレオカメラと、前記ステレオカメラにより取得された前記時系列画像を記録する記録部と、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得する距離取得部と、前記対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部と、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与えるトリガ判定部と、を有する。【選択図】図3
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
従来、カメラと、該カメラにより取得された画像を記録する記録部と、を含むドライブレコーダ等の情報処理装置が知られている。ドライブレコーダは、自動車等の移動体に設置され、移動体の周辺画像を記録する。ドライブレコーダの記録部に記録された画像は、再生表示されることにより、交通事故等の原因分析に役立てることができる。
このような情報処理装置として、ステレオカメラにより取得された時系列画像から対象物に対する相対加速度を算出し、算出された相対加速度に応じ、時系列画像を記録する記録開始のトリガを記録部に与える構成が開示されている(例えば、特許文献1参照)。
しかしながら、特許文献1の構成では、時系列画像に含まれている全ての対象物の相対加速度を算出するため、情報処理装置による処理負荷が大きくなる。
本発明は、情報処理装置による処理負荷を低減することを目的とする。
本発明の一態様に係る情報処理装置は、複数の時系列画像を取得するステレオカメラと、前記ステレオカメラにより取得された前記時系列画像を記録する記録部と、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得する距離取得部と、前記対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部と、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与えるトリガ判定部と、を有する。
本発明によれば、情報処理装置による処理負荷を低減できる。
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部には同一符号を付し、重複した説明を適宜省略する。
以下、ドライブレコーダを情報処理装置の一例として、実施形態を説明する。
ドライブレコーダは、事故等が発生した時における状況記録を目的に自動車等の移動体に設置され、自動車のフロントガラスやダッシュボードに設けられたカメラにより自動車の外部又は内部を撮影した画像を記録するものである。
<構成例>
(ドライブレコーダ100の全体構成例)
図1は、実施形態に係るドライブレコーダ100の全体構成の一例を示すブロック図である。図1に示すように、ドライブレコーダ100は、ステレオカメラ1と、処理部2と、を備える。ドライブレコーダ100は、自動車に搭載されており、自動車が進行する進行方向側をステレオカメラ1が撮影した画像を記録するものである。
(ドライブレコーダ100の全体構成例)
図1は、実施形態に係るドライブレコーダ100の全体構成の一例を示すブロック図である。図1に示すように、ドライブレコーダ100は、ステレオカメラ1と、処理部2と、を備える。ドライブレコーダ100は、自動車に搭載されており、自動車が進行する進行方向側をステレオカメラ1が撮影した画像を記録するものである。
ステレオカメラ1は、右カメラ11と、左カメラ12と、を備える。右カメラ11及び左カメラ12の各々は、自動車進行方向側の被写体を略結像させるレンズと、該レンズによる像を撮像するCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子と、を備える。
右カメラ11及び左カメラ12の各々は、自動車進行方向側における状況の時間的変化を撮影することによって取得された系列を示す複数の時系列画像を、処理部2に出力する。この時系列画像は、静止画又は動画である。動画は映像と称することもできる。
右カメラ11及び左カメラ12は、自動車進行方向側に存在する被写体を略同一のタイミングで撮影することにより、左右一対の時系列画像を取得する。右カメラ11及び左カメラ12は、自動車が直進する方向に略直交する配列方向に沿って配列するように自動車に配置されている。この配置により、右カメラ11により取得される時系列画像と、左カメラ12により取得される時系列画像と、の間には、配列方向に沿った視差が生じる。
処理部2は、右カメラ11及び左カメラ12により取得された一対の時系列画像に基づき、自動車進行方向側に存在する対象物に関する情報を演算により取得して、取得結果を記録部に記録する。
(処理部2のハードウェア構成例)
図2は、処理部2のハードウェア構成の一例を示すブロック図である。処理部2は、コンピュータによって構築されており、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、HDD(Hard Disk Drive)204と、外部機器接続I/F(Interface)205と、メモリカード206と、を備える。これらは、システムバスBを介して相互に電気的に接続している。
図2は、処理部2のハードウェア構成の一例を示すブロック図である。処理部2は、コンピュータによって構築されており、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、HDD(Hard Disk Drive)204と、外部機器接続I/F(Interface)205と、メモリカード206と、を備える。これらは、システムバスBを介して相互に電気的に接続している。
CPU201は、各種の演算処理及び制御処理を実行する。ROM202は、IPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。HDD204は、プログラム等の各種データを記憶する。HDD204は、SSD(Solid State Drive)であってもよい。
外部機器接続I/F205は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ステレオカメラ1等の機器である。
メモリカード206は、薄型でカード状の形状を有する補助記憶装置である。メモリカード206は、フラッシュメモリや超小型のハードディスクを内蔵し、他の構成部との間でデータ又は信号を送受するためのインターフェースを備える。
(処理部2の機能構成例)
図3は、処理部2の機能構成の一例を示すブロック図である。図3に示すように、処理部2は、パラメータ算出部21と、記録制御部22と、記録部23と、を備える。パラメータ算出部21は、補正処理部211と、視差演算部212と、データ保持部213と、認識処理部214と、距離取得部215と、相対加速度取得部216と、を備える。記録制御部22は、トリガ判定部221と、マーキング部222と、を備える。
図3は、処理部2の機能構成の一例を示すブロック図である。図3に示すように、処理部2は、パラメータ算出部21と、記録制御部22と、記録部23と、を備える。パラメータ算出部21は、補正処理部211と、視差演算部212と、データ保持部213と、認識処理部214と、距離取得部215と、相対加速度取得部216と、を備える。記録制御部22は、トリガ判定部221と、マーキング部222と、を備える。
これらのうち、補正処理部211、視差演算部212、認識処理部214、距離取得部215、相対加速度取得部216、トリガ判定部221及びマーキング部222の機能は、CPU201がHDD204等に記憶されている所定のプログラムを実行すること等により実現される。データ保持部213の機能はHDD204又はRAM203等により実現される。記録部23の機能は、メモリカード206等により実現される。
パラメータ算出部21は、右カメラ11及び左カメラ12により取得された一対の時系列画像に基づき、対象物の距離情報及び相対加速度情報等のパラメータを算出し、算出結果を記録制御部22に出力する。
補正処理部211は、右カメラ11及び左カメラ12により取得された一対の時系列画像の各々における歪曲等のレンズ歪み、カメラの取付位置又はカメラの取付角度等の各種誤差を補正する。
視差演算部212は、補正処理部211によって補正された一対の時系列画像に基づき、2つの時系列画像間の対応点に関する視差を演算により取得する。視差演算部212は、一対の時系列画像のうちの何れか一方を基準画像とし、他方を参照画像とする。以下では、右カメラ11により取得される時系列画像を基準画像とし、左カメラ12により取得される時系列画像を参照画像とする。
視差演算部212は、視差の導出方法として、基準画像の画素p(i、j)に対して対応点探索方法SAD(Sum of Absolute Difference)法やSSD(Sum of Squared intensity Difference)法)等を用い、参照画像の対応画素q(i + d、 j)を探索する。この探索時に用いたdが視差となる。
データ保持部213は、視差演算部212により取得された視差情報と、後述する対象物の高さ、奥行き、幅、距離及び時間の属性情報と、を保存する。
認識処理部214は、データ保持部213に保存された視差情報に基づいてVマップを生成し、生成したVマップに基づき対象物の認識処理を実行する。ここで、Vマップとは横軸を視差、縦軸を出現回数とし、視差ごとの出現回数をカウントすることにより生成されるマップ情報である。Vマップは、視差と、視差ごとの出現回数と、の関係を示すマップの一例である。
認識処理部214は、生成したVマップを用いて路面形状を推定し、画像の奥行きを横軸、路面の高さを縦軸とした路面高さを示す路面高さマップを生成する。また認識処理部214は、横軸を画像の幅とし、縦軸を画像の奥行きとした、画像の奥行きを示す奥行きマップを生成する。
認識処理部214は、路面高さマップが示す路面の高さよりも高い位置にある物体の高さ及び奥行きから、該物体がマーキングする対象である対象物であるか否かを判定する。具体的には、認識処理部214は、物体の路面からの高さが高さ閾値H[cm]以上であり、且つ奥行きが奥行き閾値L[cm]以上の場合に、物体を対象物であると判定する。ここで、マーキングとは、基準画像に所定のマークを付与することをいう。マークの形状には特段の制限はなく、点、直線、曲線、円形、楕円形又は多角形等の様々な形状のマークを適用可能である。
高さ閾値Hと奥行き閾値Lは、想定する対象物の最小サイズに合わせて予め設定されており、ROM202等に記憶されている。例えば、対象物が子供であるとすると、高さ閾値Hは50[cm]、奥行き閾値Lは30[cm]等に予め設定される。
距離取得部215は、基準画像と参照画像間の対応点に関する視差から、三角測量の原理に基づいて、全ての対象物の距離情報を演算により取得する。対象物の距離は、より詳しくは、ステレオカメラ1から対象物までの距離である。
距離取得部215は、取得した対象物の距離情報に基づき対象物の距離が所定の距離閾値D以下である場合に、対象物の属性情報として対象物の高さ、奥行き、幅、距離及び時間を対応付けてデータ保持部213に保存させる。
相対加速度取得部216は、対象物の距離に基づき、対象物の距離が所定の距離閾値D以下である場合に相対加速度情報を取得する。具体的には、相対加速度取得部216は、データ保持部213が保持する前回取得された距離情報が示す距離と新たに取得された距離情報が示す距離の差分と、前回の距離情報取得時から今回の距離情報取得時までの経過時間と、に基づいて対象物の相対速度情報を取得する。
そして相対加速度取得部216は、データ保持部213が保持する前回取得された相対速度情報が示す相対速度と新たに取得された相対速度情報が示す相対速度の差分と、前回の相対速度情報取得時から今回の相対速度情報取得時までの経過時間と、に基づいて対象物の相対加速度情報を取得する。
記録制御部22は、パラメータ算出部21による算出結果に基づき、記録部23への時系列画像の記録動作を制御する。本実施形態では、記録部23は、一対の時系列画像のうちの基準画像を記録するが、記録部23は参照画像を記録してもよい。
トリガ判定部221は、距離取得部215により取得された対象物の距離情報、及び相対加速度取得部216により取得された相対加速度情報に基づき、記録部23が基準画像を記録開始するトリガを与える。例えばトリガ判定部221は、今回取得された相対加速度情報が示す相対加速度が前回の相対加速度よりも大きくなった場合に記録開始のトリガを与える。
マーキング部222は、記録部23が記録する基準画像に、対象物を表すマーキングを施す処理を行う。
記録部23は、トリガ判定部221から付与されたトリガに応答して、マーキング部222によりマーキングが施された基準画像を記録する。記録部23により記録された基準画像は、事故の原因分析等に利用される。
<動作例>
(ドライブレコーダ100の全体動作例)
図4は、ドライブレコーダ100の全体動作の一例を示すフローチャートである。図4は、ドライブレコーダ100におけるステレオカメラ1が一対の時系列画像の撮影を開始するタイミングをトリガにした動作を示している。ステレオカメラ1は、ドライブレコーダが搭載された自動車のエンジン始動に応答して撮影を開始してもよいし、自動車の運転者による撮影開始の操作入力に応答して撮影を開始してもよい。
(ドライブレコーダ100の全体動作例)
図4は、ドライブレコーダ100の全体動作の一例を示すフローチャートである。図4は、ドライブレコーダ100におけるステレオカメラ1が一対の時系列画像の撮影を開始するタイミングをトリガにした動作を示している。ステレオカメラ1は、ドライブレコーダが搭載された自動車のエンジン始動に応答して撮影を開始してもよいし、自動車の運転者による撮影開始の操作入力に応答して撮影を開始してもよい。
まず、ステップS41において、ドライブレコーダ100は、ステレオカメラ1による一対の時系列画像、即ち基準画像及び参照画像を取得する。
続いて、ステップS42において、ドライブレコーダ100は、ステレオカメラ1が取得した基準画像及び参照画像に基づき、処理部2により対象物の距離情報及び対象物の相対加速度情報を取得する。またドライブレコーダ100は、処理部2におけるトリガ判定部221によってトリガが与えられた場合には、記録部23により基準画像を記録する。
続いて、ステップS43において、ドライブレコーダ100は、動作を終了するか否かを判定し、終了すると判定した場合には(ステップS43、Yes)、動作を終了する。一方、終了しないと判定した場合には(ステップS43、No)、ステップS41以降の動作を再度行う。
このようにして、ドライブレコーダ100は、記録部23に基準画像を記録することができる。
(処理部2による処理例)
図5は、処理部2による処理の一例を示すフローチャートである。図5は、図4におけるステップS42の処理をより詳細に説明するものである。
図5は、処理部2による処理の一例を示すフローチャートである。図5は、図4におけるステップS42の処理をより詳細に説明するものである。
まず、ステップS51において、補正処理部211は、ステレオカメラ1により取得された基準画像及び参照画像の各々における歪曲等のレンズ歪み、カメラの取付位置又はカメラの取付角度等の各種誤差を補正する。
続いて、ステップS52において、視差演算部212は、補正処理部211により補正された基準画像と参照画像との間の対応点に関する視差を取得する。
続いて、ステップS53において、認識処理部214は、データ保持部213に保存された視差情報に基づき、Vマップを生成する。
続いて、ステップS54において、認識処理部214は、Vマップを用いて路面形状を推定し、画像の奥行きを横軸、路面の高さを縦軸とした路面高さを示す路面高さマップを生成する。また認識処理部214は、横軸を画像の幅とし、縦軸を画像の奥行きとした画像の奥行きを示す奥行きマップを生成する。
続いて、ステップS55において、認識処理部214は、路面高さマップが示す路面の高さよりも高い位置にある物体の高さと奥行きから、該物体がマーキングする対象物であるか否かを判定する。
ステップS55において、対象物ではないと判定された場合には(ステップS55、No)、処理部2は処理を終了する。一方、対象物があると判定された場合には(ステップS55、Yes)、ステップS56において、距離取得部215は、基準画像と参照画像との間の対応点に関する視差から、三角測量の原理に基づいて、全ての対象物の距離情報を取得する。
続いて、ステップS57において、距離取得部215は、対象物の距離は距離閾値D以下であるか否かを判定する。例えば、対象物の相対速度が60[km/h]である場合には、1秒間に約17[m]進むため、少なくとも2秒間分のデータを蓄積するためには距離閾値Dは34[m]に予め設定される。つまり、距離閾値Dは、想定される相対速度の上限値に基づいて設定される。
ステップS57において、距離閾値D以下ではないと判定された場合には(ステップS57、No)、処理部2は処理を終了する。一方、距離閾値D以下であると判定された場合には(ステップS57、Yes)、ステップS58において、認識処理部214は、対象物の属性情報をデータ保持部213に保存させる。
続いて、ステップS59において、相対加速度取得部216は、同じ対象物の属性情報がデータ保持部213に既に保存されているか否かを判定する。例えば、相対加速度取得部216は、認識処理部214が取得した属性情報と、データ保持部213に保存されている属性情報と、を対比することにより、この判定を行う。
ステップS59において、保存されていないと判定された場合には(ステップS59、No)、処理部2は、処理を終了する。一方、保存されていると判定された場合には(ステップS59、Yes)、ステップS60において、相対加速度取得部216は、対象物の相対速度情報がデータ保持部213に既に保存されているか否かを判定する。
ステップS60において、保存されていないと判定された場合には(ステップS60、No)、ステップS61において、相対加速度取得部216は、対象物の相対速度情報を取得する。
続いて、ステップS62において、相対加速度取得部216は、対象物の相対速度情報をデータ保持部213に保存させる。その後、処理部2は処理を終了する。
一方、ステップS60において、対象物の相対速度情報が保存されていると判定された場合には(ステップS60、Yes)、ステップS63において、相対加速度取得部216は、対象物の相対加速度情報を取得し、取得した相対加速度情報を記録制御部22に出力する。
続いて、ステップS64において、トリガ判定部221は、対象物の相対加速度情報がデータ保持部213に既に保存されているか否かを判定する。
ステップS64において、保存されていないと判定された場合には(ステップS64、No)、処理部2は処理を終了する。一方、保存されていると判定された場合には(ステップS64、Yes)、ステップS65において、トリガ判定部221は、前回取得された相対加速度が今回取得された相対加速度よりも大きいか否かを判定する。
ステップS65において、大きくないと判定された場合には(ステップS65、No)、処理部2は処理を終了する。一方、大きいと判定された場合には(ステップS65、Yes)、ステップS66において、マーキング部222は、対象物を表すマーキングを基準画像に施す処理を行う。その後、トリガ判定部221は、基準画像の記録開始のトリガを記録部23に与える。記録部23は、トリガ判定部221から与えられたトリガに応答して、マーキングが施された基準画像を記録する。
このようにして、処理部2は、基準画像の記録開始のトリガを記録部23に与えることができる。
<処理部2による処理結果例>
図6乃至図9を参照して、処理部2による処理結果の一例を説明する。
図6乃至図9を参照して、処理部2による処理結果の一例を説明する。
図6は、右カメラ11により取得される基準画像6の一例を示す図である。基準画像6は、路面を示す路面画像61と、路面上を歩行する歩行者を示す歩行者画像62と、路面上を走行する対向車を示す対向車画像63と、を含んでいる。左カメラ12は、路面画像61、歩行者画像62及び対向車画像63を含み、基準画像6に対して視差を有する参照画像を取得する。
図7は、基準画像及び参照画像に基づき生成されるVマップ7の一例を示す図である。Vマップ7の横軸は視差を、縦軸は出現回数を各々示している。出現回数は、視差が同一又は略同一である画素数ということもできる。黒丸のプロットは1回の出現回数を示し、図7に示す例では、視差が大きいほど出現回数が多くなっている。
基準画像及び参照画像における路面に対応する領域では、視差に応じて、路面形状に対応する傾向に従って出現回数が増えるため、認識処理部214は、Vマップ7における該傾向を示す成分を抽出することにより、路面形状情報71を取得することができる。
図8は、認識処理部214により、Vマップ7に基づいて取得される高さマップ8の一例を示す図である。横軸は基準画像の奥行き(画像の縦方向)、縦軸は高さを各々示している。
図9は、認識処理部214により、Vマップ7に基づいて取得される奥行きマップ9の一例を示す図である。横軸は基準画像の幅(画像の横方向)、縦軸は奥行き(画像の縦方向)を各々示している。
認識処理部214は、高さマップ8における路面高さ81よりも高い位置にある物体の高さ及び奥行きから、該物体がマーキングする対象となる対象物であるか否かを判定する。
認識処理部214は、高さマップ8において、路面高さ81よりも高い位置にある物体82及び物体83を検出する。また認識処理部214は、奥行きマップ9において、物体82に対応する物体画像領域92と、物体83に対応する物体画像領域93と、を抽出する。
物体82の高さが高さ閾値H以上で且つ奥行きが奥行き閾値L以上である場合には、認識処理部214は、物体82を対象物であると判定する。同様に、物体83の高さが高さ閾値H以上で且つ奥行きが奥行き閾値L以上である場合には、認識処理部214は、物体83を対象物であると判定する。認識処理部214は、基準画像及び参照画像において、対象物に対応する領域をラベリングする。なお、ラベリングとは、画像内の連結した領域を抽出する解析手法をいう。
図10は、基準画像及び参照画像から取得された距離情報及び加速度情報に基づいて、マーキングが施された基準画像6aの一例を示す図である。基準画像6aは、路面画像61と、歩行者画像62と、歩行者を示す歩行者マーキング64と、対向車画像63と、対向車を示す対向車マーキング65と、を含んでいる。記録部23は、このようなマーキングが施された基準画像6aを記録する。
<ドライブレコーダ100の作用効果>
従来、ドライブレコーダでは、自動車等の移動体に設けられた加速度センサにより所定レベル以上の振動が検出された場合に、画像の記録を開始するためのトリガが与えられるもの等が知られている。
従来、ドライブレコーダでは、自動車等の移動体に設けられた加速度センサにより所定レベル以上の振動が検出された場合に、画像の記録を開始するためのトリガが与えられるもの等が知られている。
しかしながら加速度センサを用いると、自動車が走行する路面の凹凸や踏切通過等に応じた振動を加速度センサが検出することにより、画像の記録開始のトリガを誤って与える場合がある。このような場合、画像を無駄に記録するうえ、実際に事故が生じた際に記録部の空き容量がなくなり、記録すべき画像を記録できなくなる懸念がある。
本実施形態に係るドライブレコーダ100(情報処理装置)は、複数の時系列画像を取得するステレオカメラ1と、ステレオカメラ1により取得された基準画像(時系列画像)を記録する記録部23と、を有する。またドライブレコーダ100は、基準画像と参照画像との間(複数の時系列画像間)の対応点に関する視差に基づき、対象物の距離情報を取得する距離取得部215と、対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部216と、対象物の距離情報及び相対加速度情報に基づき、記録部23による記録開始のトリガを与えるトリガ判定部221と、を有する。
ドライブレコーダ100は、基準画像及び参照画像から相対加速度情報を取得することによりトリガを与えるか否かを判定するため、路面の凹凸や踏切通過等に応じた振動の影響を受けにくく、基準画像の記録開始のトリガを誤って与えることを抑制することができる。また、ドライブレコーダ100は、ステレオカメラ1を用いたトリガ判定と、加速度センサを用いたトリガ判定と、を併用することにより、記録開始の誤動作をより抑制しつつ、より高精度に記録開始のトリガを与えることができる。
また、例えば、基準画像及び参照画像に含まれる全ての対象物に対し、相対加速度情報を取得すると、ドライブレコーダの処理部による処理負荷が増大する場合がある。
これに対し、ドライブレコーダ100は、距離取得部215により取得した対象物の距離情報に基づいて、対象物の距離が所定の距離閾値D以下である場合に対象物の相対加速度情報を取得する。ドライブレコーダ100を搭載する自動車から対象物が遠い位置に存在する場合には、対象物に自動車が接触する可能性は低く、記録部23に記録開始のトリガを与える必要性も低い。そのため、ドライブレコーダ100は、対象物が距離閾値Dよりも遠い位置に存在する場合には、対象物の相対加速度情報を取得する処理を行わないことにより、処理部2による処理負荷を低減することができる。またドライブレコーダ100は、対象物の距離が所定の距離閾値D以下である場合にのみ、対象物の属性情報をデータ保持部213に保存することにより、データ保持部213の記憶容量を低減することができる。処理部2による処理負荷やデータ保持部213の記憶容量を低減することにより、ドライブレコーダ100の低コスト化が可能になる。
また、本実施形態では、ステレオカメラ1は、路面と、路面上の対象物と、を含む基準画像及び参照画像を取得する。距離取得部215は、ステレオカメラ1により取得された基準画像及び参照画像における視差と、視差ごとの出現回数と、の関係を示すVマップ7(マップ)に基づき、路面からの高さが高さ閾値H以上である対象物の距離情報を取得する。相対加速度取得部216は、Vマップ7に基づき、路面からの高さが高さ閾値H以上である対象物の相対加速度情報を取得する。
小さい石や小さい貨物等の低い対象物が路面上に存在する場合には、歩行者や前方車両、対向車両等が存在する場合と比較して事故が生じる可能性は低く、記録部23に記録開始のトリガを与える必要性も低い。そのため、ドライブレコーダ100は、路面上に高さ閾値Hよりも低い対象物が存在する場合には、対象物の相対加速度情報を取得する処理を行わないことにより、処理部2による処理負荷を低減することができる。またドライブレコーダ100は、路面からの高さが高さ閾値H以上である対象物の属性情報のみをデータ保持部213に保存することにより、データ保持部213の記憶容量を低減することができる。処理部2による処理負荷やデータ保持部213の記憶容量を低減することにより、ドライブレコーダ100の低コスト化が可能になる。
またドライブレコーダ100は、対象物の高さ、奥行き及び幅と、対象物の距離と、に基づき、記録部23に記録される基準画像に対してマーキングを行うマーキング部222を有する。これにより、再生された基準画像を観察する観察者は、基準画像に含まれる対象物を視認しやすくなるため、記録部23に記録された基準画像に基づく事故原因等の分析を容易に行うことができる。
<その他の好適な実施形態>
以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
上述した実施形態では、ステレオカメラ1が2つのカメラを備える構成を例示したが、ステレオカメラ1は3つ以上のカメラを備えてもよい。またステレオカメラ1が水平方向における左右に配置された2つのカメラを備える構成を例示したが、ステレオカメラ1は、鉛直方向上下に配置された2つ以上のカメラを備えてもよい。
上述した実施形態では、情報処理装置として、自動車に搭載されるドライブレコーダを例示したが、これに限定されるものではない。例えば、航空機や船舶、鉄道等に移動体に搭載され、移動体の周辺画像を記録する情報処理装置であっても、上述した実施形態と同様の効果を得ることができる。
実施形態におけるドライブレコーダ100は、ステレオカメラ1及び処理部2の他、処理結果に基づき自動車の速度等を制御する車両制御装置、処理結果を表示する表示装置、又は処理結果に基づき音声を発する音声制御部等を備えてもよい。
実施形態は、情報処理方法も含む。例えば情報処理方法は、情報処理装置による情報処理方法であって、前記情報処理装置が、ステレオカメラにより、複数の時系列画像を取得し、記録部により、前記ステレオカメラで取得された時系列画像を記録し、距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得し、相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える。このような情報処理方法により、上述したドライブレコーダ100と同様の効果を得ることができる。
実施形態は、プログラムも含む。例えばプログラムは、ステレオカメラにより、複数の時系列画像を取得し、記録部により、前記ステレオカメラで取得された時系列画像を記録し、距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、前記対象物の距離情報を取得し、相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える処理をコンピュータに実行させる。このようなプログラムにより、上述したドライブレコーダ100と同様の効果を得ることができる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
1 ステレオカメラ
11 右カメラ
12 左カメラ
2 処理部
21 パラメータ算出部
211 補正処理部
212 視差演算部
213 データ保持部
214 認識処理部
215 距離取得部
216 相対加速度取得部
22 記録制御部
221 トリガ判定部
222 マーキング部
23 記録部
6 基準画像(時系列画像の一例)
61 路面画像
62 歩行者画像
63 対向車画像
64 歩行者マーキング
65 対向車マーキング
7 Vマップ(マップの一例)
71 路面形状情報
8 高さマップ
81 路面高さ
82、83 物体
9 奥行きマップ
92、93 物体画像領域
100 ドライブレコーダ(情報処理装置の一例)
11 右カメラ
12 左カメラ
2 処理部
21 パラメータ算出部
211 補正処理部
212 視差演算部
213 データ保持部
214 認識処理部
215 距離取得部
216 相対加速度取得部
22 記録制御部
221 トリガ判定部
222 マーキング部
23 記録部
6 基準画像(時系列画像の一例)
61 路面画像
62 歩行者画像
63 対向車画像
64 歩行者マーキング
65 対向車マーキング
7 Vマップ(マップの一例)
71 路面形状情報
8 高さマップ
81 路面高さ
82、83 物体
9 奥行きマップ
92、93 物体画像領域
100 ドライブレコーダ(情報処理装置の一例)
Claims (6)
- 複数の時系列画像を取得するステレオカメラと、
前記ステレオカメラにより取得された前記時系列画像を記録する記録部と、
前記複数の時系列画像間の対応点に関する視差に基づき、対象物の距離情報を取得する距離取得部と、
前記対象物の距離に基づき、相対加速度情報を取得する相対加速度取得部と、
前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与えるトリガ判定部と、を有する情報処理装置。 - 前記トリガ判定部は、前記対象物の距離が所定の距離閾値以下である前記対象物の相対加速度に基づき、前記記録開始のトリガを与える請求項1に記載の情報処理装置。
- 前記ステレオカメラは、路面と、前記路面の上の前記対象物と、を含む前記時系列画像を取得し、
前記距離取得部は、前記視差と、前記視差ごとの出現回数と、の関係を示すマップに基づき、前記路面からの高さが所定の高さ閾値以上である前記対象物の距離情報を取得し、
前記相対加速度取得部は、前記マップに基づき、前記路面からの高さが前記高さ閾値以上である前記対象物の前記相対加速度情報を取得する請求項1又は2に記載の情報処理装置。 - 前記対象物の高さ、奥行き及び幅と、前記対象物の距離と、に基づき、前記記録部に記録される前記時系列画像に対してマーキングを行うマーキング部をさらに有する請求項1乃至3の何れか1項に記載の情報処理装置。
- 情報処理装置による情報処理方法であって、前記情報処理装置が、
ステレオカメラにより、複数の時系列画像を取得し、
記録部により、前記ステレオカメラで取得された時系列画像を記録し、
距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、対象物の距離情報を取得し、
相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、
トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える情報処理方法。 - ステレオカメラにより、複数の時系列画像を取得し、
記録部により、前記ステレオカメラで取得された時系列画像を記録し、
距離取得部により、前記複数の時系列画像間の対応点に関する視差に基づき、対象物の距離情報を取得し、
相対加速度取得部により、前記対象物の距離に基づき、相対加速度情報を取得し、
トリガ判定部により、前記対象物の距離情報及び前記相対加速度情報に基づき、前記記録部による記録開始のトリガを与える
処理を情報処理装置に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021093785A JP2022185883A (ja) | 2021-06-03 | 2021-06-03 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021093785A JP2022185883A (ja) | 2021-06-03 | 2021-06-03 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022185883A true JP2022185883A (ja) | 2022-12-15 |
Family
ID=84441958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021093785A Pending JP2022185883A (ja) | 2021-06-03 | 2021-06-03 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022185883A (ja) |
-
2021
- 2021-06-03 JP JP2021093785A patent/JP2022185883A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4733756B2 (ja) | 車両周辺監視装置 | |
KR100550299B1 (ko) | 차량 주변 이미지 처리 장치 및 기록 매체 | |
US8594378B2 (en) | 3D object detecting apparatus and 3D object detecting method | |
JP6743882B2 (ja) | 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム | |
JP5930806B2 (ja) | 検知装置、及び検知方法 | |
CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
JP2014183322A (ja) | 交差点認識装置及びコンピュータが実行可能なプログラム | |
JP6241172B2 (ja) | 自車位置推定装置及び自車位置推定方法 | |
JP6493000B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP2018085059A (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
JP2014106739A (ja) | 車載画像処理装置 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP3911983B2 (ja) | 後方監視装置 | |
JP5809980B2 (ja) | 車両挙動解析装置及び車両挙動解析プログラム | |
JP5261752B2 (ja) | ドライブレコーダ | |
JP2014106740A (ja) | 車載用駐車枠認識装置 | |
JP2019114902A (ja) | 半導体装置、撮像システム、及びプログラム | |
JP2022185883A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
JP5903901B2 (ja) | 車両位置算出装置 | |
JP2018092603A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
JP7354773B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
CN112513573B (zh) | 立体摄像机装置 | |
JP2008066953A (ja) | 画像監視装置 | |
JP7255257B2 (ja) | 記録再生制御装置、記録再生制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240328 |