JP2018160759A - 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム - Google Patents
移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム Download PDFInfo
- Publication number
- JP2018160759A JP2018160759A JP2017056258A JP2017056258A JP2018160759A JP 2018160759 A JP2018160759 A JP 2018160759A JP 2017056258 A JP2017056258 A JP 2017056258A JP 2017056258 A JP2017056258 A JP 2017056258A JP 2018160759 A JP2018160759 A JP 2018160759A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- past
- unit
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
例えば、特許文献1に記載の車両周辺画像提供装置は、複数の車載カメラの何れかが故障した場合、他の車載カメラが撮影した画像の時系列データを用いて、車載カメラの故障による画像の欠損を補完する。例えばバックの車庫入れ時に右方カメラが故障した場合、車両周辺画像提供装置は、後方カメラによる撮影画像の時系列データを用いて、右方カメラの故障による画像の欠損を補完する画像を合成する。
例えば、特許文献1に記載の車両周辺画像提供装置が前方カメラ、右方カメラ、後方カメラ及び左方カメラで車両の周辺を撮影する場合について考える。この場合、前方カメラが故障したときに、右方カメラ、左方カメラのいずれも車両の正面までは撮影範囲が及ばなければ、特許文献1に記載の車両周辺画像提供装置は、車両の正面の画像を補完することができない。
図1は、本発明の実施形態に係る画像情報取得システムの機能構成を示す概略ブロック図である。図1に示すように、画像情報取得システム1は、複数の車載装置100と、画像配信装置200とを備える。車載装置100は、第一通信部110と、前方撮影装置120−1と、右方撮影装置120−2と、後方撮影装置120−3と、左方撮影装置120−4と、表示部130と、位置情報取得部140と、第一記憶部180と、第一制御部190とを備える。第一通信部110は、送信部111と、取得部112とを備える。第一制御部190は、検出部191と、変換部192とを備える。画像情報取得システム1が備える車載装置100の数は2つ以上であればよい。
以下では、前方撮影装置120−1、右方撮影装置120−2、後方撮影装置120−3、及び、左方撮影装置120−4を総称して撮影装置120と表記する。
車両900は、移動体の例に該当する。但し、画像情報取得システム1の適用範囲は車両に限らず、周囲画像を撮影可能ないろいろな移動体とすることができる。たとえば、画像情報取得システム1が船舶に適用されていてもよい。
車載装置100は、それぞれ車両900に搭載され、車載装置100自らが搭載されている車両900の周囲の画像を取得する。車両900は移動体の例に該当する。車載装置100は移動体積載装置の例に該当する。
また、車載装置100の部分自らを備える車載装置100を、自らの車載装置100と称する。車載装置100の部分自らを備える車載装置100以外の車載装置100を、他の車載装置100と称する。
車載装置100は、例えばマイコン(Microcomputer)等のコンピュータを用いて構成される。
送信部111は、第一通信部110における送信を実行する。特に、送信部111は、検出部191が撮影装置120の不具合または撮影装置120が撮影した画像の不具合を検出した場合に、検出部191が不具合を検出した撮影装置120または画像の識別情報と、車両900の現在の位置情報とを含む画像情報要求を画像配信装置200へ送信する。画像配信装置200は、この画像情報要求への応答として、不具合によって車載装置100が適切な画像を取得できなかった場合に、代用の画像を提供するための画像情報を送信する。
送信部111が、複数の撮影装置120が撮影した画像のうち不具合を検出されなかった画像を含む画像情報要求を画像配信装置200へ送信するようにしてもよい。この場合、画像配信装置200は、これらの画像を画像配信装置200が記憶している過去画像との類似度に基づいて、車載装置100へ提供する画像を選択する。
この画像情報要求を受信した画像配信装置200は、画像配信装置200自らが記憶している過去に撮影された画像のうち、撮影位置情報が示す撮影位置の近くで撮影され、識別情報から特定される撮影範囲に近い撮影範囲の画像を選択する。
あるいは、画像配信装置200が、識別情報及び撮影位置情報による画像の選択と、画像の類似度に基づく画像の選択をと組み合わせて実行するようにしてもよい。画像配信装置200は、より多くの情報を用いて画像を選択することで、適切な画像を選択できる精度が高まることが期待される。
前方撮影装置120−1は、領域A111、A121及びA124を撮影する。
右方撮影装置120−2は、領域A112、A121及びA122を撮影する。
後方撮影装置120−3は、領域A113、A122及びA123を撮影する。
左方撮影装置120−4は、領域A114、A123及びA124を撮影する。
車載装置100が、撮影装置120が撮影した画像を、車両900の上方からの俯瞰図にて表示するようにしてもよい。
但し、撮影装置120による撮影範囲は、特定の範囲に限定されない。例えば、撮影装置120が、下向きの画像に限らず、水平方向を含む画像を撮影するようにしてもよい。
位置情報取得部140は、位置情報取得部140自らの位置を示す位置情報を取得する。例えば、位置情報取得部140は、GNSS(Global Navigation Satellite System)を備えて測位を行う。但し、位置情報取得部140が位置情報取得部140自らの位置情報を取得する方法は、特定の方法に限定されない。位置情報取得部140が取得する位置情報は、車両900の位置を示す位置情報として用いられる。
第一制御部190は、車載装置100の各部を制御して各種処理を実行する。第一制御部190は、車載装置100が備えるCPU(Central Processing Unit、中央処理装置)が第一記憶部180からプログラムを読み出して実行することで構成される。
変換部192は、他の車両900が備える撮影装置120が撮影した画像を、変換部192自らの車両900が備える撮影装置120が撮影する範囲の画像に変換する。ここで、車両900の種類毎に撮影装置120の取り付け位置や撮影装置120のレンズ等が異なることが考えられる。この相違により、他の車両900が備える撮影装置120が撮影した画像と、変換部192自らの車両900が備える撮影装置120が撮影する画像とでは、撮影範囲が異なる。変換部192は、この撮影範囲の相違を無くす或いは低減させるように画像を修正することで、変換部192自らの車両900が備える撮影装置120が撮影した場合と同様の画像を生成する。
画像配信装置200は、例えばワークステーション(Workstation)等のコンピュータを用いて構成される。
第二記憶部280は、各種情報を記憶する。第二記憶部280は、画像配信装置200が備える記憶デバイスを用いて構成される。
過去画像情報記憶部281は、過去画像情報を記憶する。過去画像情報では、過去に撮影された画像の情報と撮影した撮影装置及びこの撮影装置を搭載した車両を識別する識別情報とが対応付けられている。
図4に示す過去画像情報には、前方カメラ、右方カメラ、後方カメラ、左方カメラそれぞれの画像データと、これらカメラの各々と車両とを特定する識別情報と、これらの画像が撮影された位置を示す撮影位置情報とが含まれている。
優先順位情報記憶部282は、優先順位情報を記憶する。優先順位情報は、車両900の種類毎の撮影範囲の類似度を示す情報である。
「優先順位2」欄、「優先順位3」欄、・・・と、優先順位情報の下側の欄に格納されている車両の種類ほど「要求元」欄に格納されている種類情報が示す車両の種類の場合と、撮影装置120による撮影範囲の類似度が低くなる。
画像配信装置200は、過去画像情報を選択する際、画像情報要求の送信元の車両900の種類を示す種類情報が「要求元」欄に格納されている優先順位情報を選択する。そして、画像配信装置200は、過去画像情報のうち、画像撮影元の車両900の種類が、なるべく上位の優先順位欄に格納されている種類情報に該当すする過去画像情報を選択する。
過去画像情報選択部291は、画像情報要求に応じて過去画像情報を選択する。その際、過去画像情報選択部291は、車載装置100の識別情報から車両900の種類を特定する。
また、過去画像情報選択部291は、図2を参照して説明したように、画像情報要求に含まれる画像と、過去画像情報に含まれる画像との類似度を評価し、類似度の評価結果に基づいて過去画像情報を選択する。
図6は、撮影装置120が撮影する画像に不具合がある場合の、画像情報取得システム1の動作の例を示す図である。
図6に示す処理で、車載装置100の撮影装置120が撮影を行うと(シーケンスS101)、検出部191が不具合の有無を判定する(シーケンスS102)。図6の例では、検出部191は、不具合有りと判定している。
検出部191が不具合有りと判定すると、第一制御部190が画像情報要求を生成する(シーケンスS103)。そして、送信部111が、画像情報要求を画像配信装置200へ送信する(シーケンスS104)。
車載装置100では、取得部112が過去画像情報を受信する(シーケンスS121)。変換部192は、過去画像情報が示す画像の撮影範囲を、撮影装置120が撮影する際の撮影範囲に合わせるあるいは近付けるための画像変換を行う(シーケンスS122)。
そして、第一制御部190が画像を用いた処理を行う(シーケンスS123)。上述したように、ここでの画像を用いた処理は、特定の処理に限定されない。
図7に示す処理で、車載装置100の撮影装置120が撮影を行うと(シーケンスS201)、検出部191が不具合の有無を判定する(シーケンスS202)。図7の例では、検出部191は、不具合無しと判定している。
この場合、画像を補完する必要は無く、第一制御部190は、シーケンスS201で得られた画像を用いた処理を行う(シーケンスS203)。
画像配信装置200では、第二通信部210が車載装置100からの情報を受信する(シーケンスS211)。そして、第二制御部290が、第二通信部210が受信した情報を過去画像情報に構成し、過去画像情報記憶部281に記憶させる(シーケンスS212)。
このように、取得部112が画像配信装置200から過去画像情報を取得することで、故障した撮影装置120の画角の一部又は全部が他の撮影装置120の画角と重ならない場合でも、故障した撮影装置120の画角の全部について画像を補完することができる。
このように変換部192が画像を変換することで、車載装置100は、自らの撮影装置120が撮影を行った画像と同様の画像を取得できる。これにより、車載装置100は画像を用いた処理をスムーズに行うことができる。
このように、過去画像情報選択部291が優先順位情報に基づいて過去画像情報を選択することで、画像情報要求の送信元の車載装置100における撮影範囲に近い撮影範囲の過去画像情報を得られる。
このように、過去画像情報選択部291が画像の類似度に基づいて過去画像情報を選択することで、画像情報要求の送信元の車載装置100による撮影位置及び撮影範囲に近い撮影範囲及び撮影位置の画像を取得し得る。
図8は、本発明に係る移動体積載装置の最小構成の例を示す図である。図8に示す移動体積載装置10は、検出部11と、送信部12と、取得部13とを備える。
かかる構成にて、検出部11は、移動体に取り付けられた撮影装置または撮影装置が撮影した画像の不具合を検出する。送信部12は、検出部11が不具合を検出した撮影装置または画像の識別情報と、車両の現在の位置情報とを含む画像情報要求を画像配信装置へ送信する。取得部13は、画像配信装置が識別情報と位置情報とに基づいて特定した過去に撮影された画像の情報を取得する。
このように、取得部13が画像配信装置から過去画像情報を取得することで、故障した撮影装置の画角の一部又は全部が他の撮影装置の画角と重ならない場合でも、故障した撮影装置120の画角の全部について画像を補完することができる。
かかる構成にて、検出部22は、移動体に取り付けられた撮影装置または撮影装置が撮影した画像の不具合を検出する。送信部23は、検出部22が不具合を検出した撮影装置または画像の識別情報と、車両の現在の位置情報とを含む画像情報要求を画像配信装置へ送信する。取得部24は、画像配信装置が識別情報と位置情報とに基づいて特定した過去に撮影された画像の情報を取得する。
このように、取得部24が画像配信装置から過去画像情報を取得することで、故障した撮影装置の画角の一部又は全部が他の撮影装置の画角と重ならない場合でも、故障した撮影装置の画角の全部について画像を補完することができる。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
10、21 移動体積載装置
11、22、191 検出部
12、23、111 送信部
13、24、112 取得部
25、200 画像配信装置
100 車載装置
110 第一通信部
120 撮影装置
130 表示部
180 第一記憶部
190 第一制御部
192 変換部
210 第二通信部
280 第二記憶部
281 過去画像情報記憶部
282 優先順位情報記憶部
290 第二制御部
291 過去画像情報選択部
Claims (8)
- 移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出する検出部と、
前記検出部が不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報とを含む画像情報要求を画像配信装置へ送信する送信部と、
前記画像配信装置が前記識別情報と前記位置情報とに基づいて特定した過去に撮影された画像の情報を取得する取得部と、
を備える移動体積載装置。 - 他の移動体の撮影装置が撮影した画像を、自らの移動体の撮影装置が撮影する範囲の画像に変換する変換部を備え、
前記取得部は、他の移動体の撮影装置が撮影した画像を前記画像配信装置から取得する、
請求項1に記載の移動体積載装置。 - 移動体積載装置と画像配信装置とを備え、
前記移動体積載装置は、
移動体に取り付けられた撮影装置または前記撮影装置が取得した画像の不具合を検出する検出部と、
前記検出部が不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報とを含む画像情報要求を前記画像配信装置へ送信する送信部と、
前記画像配信装置が前記識別情報と前記位置情報とに基づいて特定した過去に撮影された画像の情報を取得する取得部と、
を備える、画像情報取得システム。 - 前記移動体積載装置は、他の移動体の撮影装置が撮影した画像を、自らの移動体の撮影装置が撮影する範囲の画像に変換する変換部を備え、
前記取得部は、他の移動体の撮影装置が撮影した画像を前記画像配信装置から取得する、
請求項3に記載の画像情報取得システム。 - 前記画像配信装置は、
前記過去に撮影された画像の情報と前記識別情報とを対応付けられた過去画像情報を記憶する過去画像情報記憶部と、
移動体の種類毎の撮影範囲の類似度を示す優先順位情報を記憶する優先順位情報記憶部と、
前記移動体積載装置からの識別情報が示す移動体の種類を前記優先順位情報に適用し、適用結果が示す移動体の種類に基づいて、前記過去に撮影された画像の情報を選択する過去画像情報選択部と、
を備える、
請求項3または請求項4に記載の画像情報取得システム。 - 前記移動体積載装置は、複数の前記撮影装置を備え、
前記送信部は、複数の前記撮影装置が撮影した画像のうち不具合を検出されなかった画像を含む前記画像情報要求を前記画像配信装置へ送信し、
前記過去画像情報選択部は、前記送信部が送信した画像と、前記過去画像情報に含まれる画像との類似度を評価し、類似度の評価結果に基づいて前記過去に撮影された画像の情報を選択する、
請求項5に記載の画像情報取得システム。 - 移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出し、
不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報とを画像配信装置へ送信し、
前記画像配信装置が前記識別情報と前記位置情報とに基づいて特定した過去に撮影された画像の情報を取得する、
ことを含む画像情報取得方法。 - コンピュータに、
移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出させ、
不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報とを画像配信装置へ送信させ、
前記画像配信装置が前記識別情報と前記位置情報とに基づいて特定した過去に撮影された画像の情報を取得させる、
ためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017056258A JP6919254B2 (ja) | 2017-03-22 | 2017-03-22 | 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017056258A JP6919254B2 (ja) | 2017-03-22 | 2017-03-22 | 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018160759A true JP2018160759A (ja) | 2018-10-11 |
JP6919254B2 JP6919254B2 (ja) | 2021-08-18 |
Family
ID=63796086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017056258A Active JP6919254B2 (ja) | 2017-03-22 | 2017-03-22 | 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6919254B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158642A (ja) * | 2005-12-05 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像提供装置 |
JP2010267052A (ja) * | 2009-05-14 | 2010-11-25 | Denso Corp | 車載表示装置 |
WO2012131871A1 (ja) * | 2011-03-28 | 2012-10-04 | パイオニア株式会社 | 情報表示装置、制御方法、プログラム、及び記憶媒体 |
JP2016058912A (ja) * | 2014-09-10 | 2016-04-21 | 株式会社デンソー | 車載カメラ診断装置 |
JP2018088144A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社デンソー | 区画線認識装置 |
-
2017
- 2017-03-22 JP JP2017056258A patent/JP6919254B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158642A (ja) * | 2005-12-05 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像提供装置 |
JP2010267052A (ja) * | 2009-05-14 | 2010-11-25 | Denso Corp | 車載表示装置 |
WO2012131871A1 (ja) * | 2011-03-28 | 2012-10-04 | パイオニア株式会社 | 情報表示装置、制御方法、プログラム、及び記憶媒体 |
JP2016058912A (ja) * | 2014-09-10 | 2016-04-21 | 株式会社デンソー | 車載カメラ診断装置 |
JP2018088144A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社デンソー | 区画線認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6919254B2 (ja) | 2021-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190236381A1 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
US20170180615A1 (en) | Methods and apparatus for providing a camera lens or viewing point indicator | |
JP6176541B2 (ja) | 情報表示装置、情報表示方法及びプログラム | |
US9824275B2 (en) | Unmanned aerial vehicle detection method and unmanned aerial vehicle using same | |
KR101984414B1 (ko) | 과금 위치 평가용 정보 제공 시스템 | |
US11157750B2 (en) | Captured image check system and captured image check method | |
JP2012253462A5 (ja) | ||
JP2017182757A (ja) | 画像収集装置、画像収集システム、車載システム、画像収集方法、画像要求処理方法及びプログラム | |
JP6635621B2 (ja) | 自動車用視覚システム及び視覚システムを制御する方法 | |
JP2012137320A (ja) | 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体 | |
KR102159353B1 (ko) | 어라운드 뷰 시스템의 동작방법 | |
KR20170006210A (ko) | 감시 방법 | |
JP2018160759A (ja) | 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム | |
EP3547663B1 (en) | Panaoramic vision system with parallax mitigation | |
JP2017184136A5 (ja) | ||
JP2017215285A (ja) | 衛星信号処理方法及び衛星信号処理装置 | |
WO2017122688A1 (ja) | 車載カメラのレンズ異常検出装置 | |
JP2010281685A (ja) | 位置計測システム及び位置計測方法 | |
KR101511567B1 (ko) | 영상 감시 시스템 및 그의 동작 방법 | |
JP6979438B2 (ja) | データベース生成システムおよびデータベース生成プログラム | |
JP2019087083A (ja) | 走行車線認識装置、走行車線認識方法及びプログラム | |
KR102557087B1 (ko) | 이미지 생성을 위한 전자 장치 및 저장 매체 | |
JP2017065496A (ja) | モニタ制御システム、モニタ制御方法、及び、モニタ制御プログラム | |
JP6552944B2 (ja) | 情報処理装置及び車両 | |
JP2014099695A (ja) | 移動体観測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6919254 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |