JP2011221686A - 画像情報提供装置および画像情報提供方法 - Google Patents
画像情報提供装置および画像情報提供方法 Download PDFInfo
- Publication number
- JP2011221686A JP2011221686A JP2010088430A JP2010088430A JP2011221686A JP 2011221686 A JP2011221686 A JP 2011221686A JP 2010088430 A JP2010088430 A JP 2010088430A JP 2010088430 A JP2010088430 A JP 2010088430A JP 2011221686 A JP2011221686 A JP 2011221686A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- abnormality
- image
- virtual viewpoint
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
【解決手段】カメラ11a〜11dから出力される画像がマッピングされた三次元空間のモデルSMを視点変換することにより、車両周囲画像を作成する。視点変換を行う際には、車両Caに生じている異常の検出結果に基づいて、車両周囲画像に車両Caに生じている異常が含まれるように仮想視点の計算を行う。
【選択図】図3
Description
図1は、本実施形態にかかる画像情報提供装置の構成を模式的に示す説明図である。この画像情報提供システムは、ユーザが車両Caから離れているような場合(例えば、駐車場への駐車中)において、車両Caに異常が生じた際に、ユーザに画像情報としての車両周囲画像Pacを提供するシステムである。ここで、車両周囲画像Pacは、仮想視点を適切に設定することにより、車両Caに生じている異常を含んた状態で車両Caを眺めたように作成される画像であり、その詳細については後述する。車両Caに生じる異常としては、不審者もしくは不審物が近づいたこと、ドアが無断で開けられたこと、窓ガラスが割られたこと、車内へ侵入されること、車両を傷つけられたこと、衝突されたことといったように、ユーザの了知し得ない車両に対する異常および異常が生じ得る可能性をいう。
り付けられたカメラ11cは、車両前方を撮影し、車両Caの右ドアミラーに取り付けられたカメラ11dは、車両右側方を撮影する。
お、記憶部14として、フラッシュメモリといった半導体メモリを搭載した各種リムーバブルメディアなどを用いてもよい。
10cに出力することができる(処理手段)。
予め格納されている。合成部10fは、車両周囲画像Pacに、作成された車両の形状モデルPcaを重畳することにより、最終的な車両周囲画像Pacを作成する(合成手段)。作成された車両周囲画像Pacは、通信部13により、外部装置2へと送信される。
エスト信号を本体装置1に送信することで、車両周囲画像Pacの作成を本体装置1に依頼することができる。この場合、本体装置1により作成された車両周囲画像Pacは、外部装置2が受信することでこれを表示部22に表示してもよいし、必要な場所に格納しておいてもよい。車両周囲画像Pacの格納場所としては、本体装置1の記憶部14であってもよいし、外部装置2の記憶部24としてもよいし、通信サーバ3であってもよい。これにより、ユーザが自分の希望するタイミングで車両周囲画像Pacを取得できたり、事後的に車両周囲画像Pacを取得することができる。
ュメモリといった半導体メモリを搭載した各種リムーバブルメディアなどを用いるようにしてもよい。
想視点を設定した場合、車両周囲画像Pacには、車両Caの右側に対応する画像データは含まれない。
号を本体装置1に対して送信する。一方、制御ユニット20は、入力部21の操作信号を通じて、車両周囲画像Pacの作成を要求しないことを認識した場合、または、ユーザによる入力部21の操作が所定時間無いことを判断した場合には、リクエスト信号の送信を通信部23へ指示しない。
取り付け位置とに基づいて、仮想視点の計算が行われる。かかる構成によれば、車両Caに生じている異常が車両周囲画像Pac内に含まれる仮想視点を特定することができる。これにより、ユーザにとって認識し易い車両周囲画像Pacの作成が可能となる。
図8は、第2の実施形態にかかる外部装置2の構成を模式的に示すブロック図である。本実施形態にかかる画像情報提供装置が、第1の実施形態のそれと相違する点は、外部装置2自身が車両周囲画像Pacを作成することにある。この場合、本体装置1において、制御ユニット10は、マッピング部10cから合成部10fまでの各機能を省略することができる。第1の実施形態と共通する点については説明を省略することとし、以下、相違点を中心に説明を行う。
ことなく、外部装置2により車両周囲画像Pacを作成することができる。当然、外部装置2はユーザが保持する装置であるため、車両周囲画像Pacの作成においては、入力部21の操作を通じて、任意に仮想視点を設定することも可能である。これにより、ユーザの希望する仮想視点の車両周囲画像Pacを作成することができるので、認識が容易な車両周囲画像Pacを提供することができる。
ータのそれぞれを処理対象として、画像データの鮮明度を判断する。鮮明度の判断手法としては、例えば、画像データを構成する全画素を対象に濃度値のヒストグラムを作成し、このヒストグラムを参考に鮮明度を判断するといった如くである。画像データ処理部10aは、予め設定された基準値と鮮明度とを比較し、鮮明度が低い画像データについては、外部装置2への送信候補からはずし、鮮明度が高い画像データのみを外部装置2へ送信する。かかる構成によれば、画像データの送信時のデータ容量を低く抑えることができるので、通信コストの低減を図ることができる。
第3の実施形態にかかる画像情報提供装置が、第1の実施形態のそれと相違する点は、各画像データのマッピング対象となる三次元空間のモデルを作成することにある。三次元空間モデルSMを作成する理由は、高さ成分のある立体物Obと、三次元空間モデルSMとの位置が離れすぎいる場合には、車両周囲画像Pacに表現される立体物Pobが歪んでしまうといった事態が生じ得るからである。なお、第1の実施形態と共通する点については説明を省略することとし、以下、相違点を中心に説明を行う。
10 制御ユニット
10a 画像データ処理部
10b 異常判断部
10c マッピング部
10d 仮想視点計算部
10e 視点変換部
10f 合成部
11 撮影部
11a〜11d カメラ
12 異常検出部
13 通信部
14 記憶部
2 外部装置
20 制御ユニット
20a マッピング部
20b 仮想視点計算部
20c 視点変換部
20d 合成部
21 入力部
22 表示部
23 通信部
24 記憶部
3 通信サーバ
Claims (16)
- 画像情報をユーザに提供する画像情報提供装置において、
車両から当該車両の周囲を撮影することにより、画像を出力する撮影手段と、
車両に生じている異常を検出する異常検出手段と、
前記撮影手段から出力される画像を、車両位置を座標系の基準とする三次元空間のモデルにマッピングすることにより、空間データを作成するマッピング手段と、
前記三次元空間における仮想視点の位置および方向を計算する仮想視点計算手段と、
前記空間データを視点変換することにより、前記仮想視点計算手段により計算された仮想視点から眺めた画像となる車両周囲画像を作成する視点変換手段と、
前記視点変換手段により作成された車両周囲画像に、前記仮想視点計算手段により計算された仮想視点から眺めた車両の形状モデルを重畳する合成手段とを有し、
前記仮想視点計算手段は、前記異常検出手段による検出結果に基づいて、前記視点変換手段により作成される車両周囲画像に前記車両に生じている異常が含まれるように前記仮想視点の計算を行うことを特徴とする画像情報提供装置。 - 前記合成手段により車両の形状モデルが重畳された車両周囲画像を、ユーザが保有する外部装置に送信する通信手段をさらに有することを特徴とする請求項1に記載された画像情報提供装置。
- 前記仮想視点計算手段は、前記異常検出手段が検出した異常の位置と、前記撮影手段の車両への取り付け位置とに基づいて、前記仮想視点の計算を行うことを特徴とする請求項1に記載された画像情報提供装置。
- 前記撮影手段は、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成されており、
前記仮想視点計算手段は、前記車両に生じている異常が前記複数のカメラのうち一のカメラのみの撮影範囲に含まれる場合、前記異常の地面座標である第1の座標と前記一のカメラの地面座標である第2の座標とを結ぶ線分に対する、前記第1の座標を通過する垂線を演算し、前記垂線によって確定される領域のうち前記第2の座標を含む領域内のいずれかの地点を始点として前記第1の座標へと向かう任意のベクトルを計算することにより、前記仮想視点の計算を行うことを特徴とする請求項3に記載された画像情報提供装置。 - 前記撮影手段は、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成されており、
前記仮想視点計算手段は、前記車両に生じている異常が前記複数のカメラのうち二つのカメラの撮影範囲のそれぞれに含まれる場合、前記異常の地面座標である第1の座標と前記二つのカメラのうちの一方のカメラの地面座標である第2の座標とを結ぶ線分に対する、前記第1の座標を通過する第1の垂線を演算し、前記第1の座標と前記二つのカメラのうちの他方のカメラの地面座標である第3の座標とを結ぶ線分に対する、前記第1の座標を通過する第2の垂線を演算するとともに、前記第1の垂線によって確定される領域のうち前記第2の座標を含む領域内であって、かつ前記第2の垂線によって確定される領域のうち前記第3の座標を含む領域内のいずれかの地点を始点として前記第1の座標へと向かう任意のベクトルを計算することにより、前記仮想視点の計算を行うことを特徴とする請求項3に記載された画像情報提供装置。 - 前記通信手段は、前記異常検出手段による異常の検出とタイミング的に対応して、前記異常が生じていることを通知するトリガー信号を前記外部装置に送信することを特徴とする請求項2に記載された画像情報提供装置。
- 前記視点変換手段は、前記通信手段が前記外部装置から車両周囲画像の作成を要求するリクエスト信号とともにユーザが指定する仮想視点の位置および方向に関する信号を受信した場合には、ユーザが指定する仮想視点に基づいて車両周囲画像を作成することを特徴とする請求項2に記載された画像情報提供装置。
- 前記マッピング手段、前記仮想視点計算手段、前記視点変換手段、前記合成手段および前記通信手段は、前記外部装置と独立した本体装置に含まれることを特徴とする請求項2に記載された画像情報提供装置。
- 前記通信手段は、前記外部装置と独立した本体装置に含まれ、
前記マッピング手段、前記仮想視点計算手段、前記視点変換手段および前記合成手段は、前記外部装置に含まれており、
前記通信手段は、前記外部装置から車両周囲画像の作成を要求するリクエスト信号を受信した場合、前記外部装置に対して前記撮影手段から出力される画像を送信することを特徴とする請求項2に記載された画像情報提供装置。 - 前記通信手段は、前記外部装置から前記リクエスト信号を受信したタイミングにおいて前記異常検出手段により異常が検出される場合には、前記撮影手段から出力される画像とともに、前記異常検出手段による検出結果を前記外部装置に送信することを特徴とする請求項9に記載された画像情報提供装置。
- 前記本体装置に含まれており、それぞれが異なる方向の車両の周囲を撮影する複数のカメラから構成される前記撮影手段から得られる画像のそれぞれを処理対象として、異常が写る画像を特定する処理手段をさらに有し、
前記通信手段は、前記処理手段の結果に基づいて、前記撮影手段から得られる複数の画像のうち、異常が写る画像を前記外部装置に対して優先的に送信することを特徴とする請求項9に記載された画像情報提供装置。 - 前記処理手段は、前記撮影手段から得られる複数の画像を処理対象として、異常が写る画像を除く他の画像に関するデータ容量を小さくする処理を行うことを特徴とする請求項11に記載された画像情報提供装置。
- 前記マッピング手段は、車両から異常までの距離に応じて、前記三次元モデルの形状を設定することを特徴とする請求項1から12のいずれかに記載された画像情報提供装置。
- 車両周囲画像の作成を要求するリクエスト信号を前記外部装置から受信することにより作成された車両周囲画像を格納する記憶手段をさらに有することを請求項2から13のいずれかに記載された画像情報提供装置。
- 前記通信手段は、前記外部装置との通信経路を複数有しており、前記外部装置から送信される位置情報に応じて通信経路を選択することを特徴とする請求項2に記載された画像情報提供装置。
- 画像情報をユーザに提供する画像情報提供方法において、
車両の周囲が撮影された画像を、車両位置を座標系の基準とする三次元空間のモデルにマッピングすることにより、空間データを作成する第1のステップと、
前記三次元空間における仮想視点の位置および方向を計算する第2のステップと、
前記空間データを視点変換することにより、前記第2のステップにおいて計算された仮想視点から眺めた画像となる車両周囲画像を作成する第3のステップと、
前記第3のステップにおいて作成された車両周囲画像に、前記第2のステップにおいて
計算された仮想視点から眺めた車両の形状モデルを重畳する第4のステップとを有し、
前記第2のステップは、車両に生じている異常に基づいて、前記車両周囲画像に当該異常が含まれるように前記仮想視点の計算を行うことを特徴とする画像情報提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010088430A JP5640433B2 (ja) | 2010-04-07 | 2010-04-07 | 画像情報提供装置および画像情報提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010088430A JP5640433B2 (ja) | 2010-04-07 | 2010-04-07 | 画像情報提供装置および画像情報提供方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011221686A true JP2011221686A (ja) | 2011-11-04 |
JP5640433B2 JP5640433B2 (ja) | 2014-12-17 |
Family
ID=45038621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010088430A Active JP5640433B2 (ja) | 2010-04-07 | 2010-04-07 | 画像情報提供装置および画像情報提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5640433B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012121384A (ja) * | 2010-12-06 | 2012-06-28 | Fujitsu Ten Ltd | 画像表示システム |
WO2013008623A1 (ja) * | 2011-07-12 | 2013-01-17 | 日産自動車株式会社 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
JP2013207637A (ja) * | 2012-03-29 | 2013-10-07 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びにコンピュータプログラム |
WO2014148394A1 (ja) * | 2013-03-19 | 2014-09-25 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
JP2016192772A (ja) * | 2016-05-31 | 2016-11-10 | 富士通テン株式会社 | 表示装置及びプログラム |
JP2017201789A (ja) * | 2017-06-02 | 2017-11-09 | 富士通テン株式会社 | 画像処理装置、表示装置、携帯用表示装置、画像処理方法、表示装置の表示方法、携帯用表示装置の表示方法及びプログラム |
JP2019021132A (ja) * | 2017-07-19 | 2019-02-07 | 本田技研工業株式会社 | 管理装置および管理システム |
JP2019080158A (ja) * | 2017-10-24 | 2019-05-23 | 株式会社デンソーテン | 画像処理装置及び画像処理方法 |
KR20200024717A (ko) * | 2018-08-28 | 2020-03-09 | 캐논 가부시끼가이샤 | 정보 처리장치, 정보 처리방법 및 기억매체 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002373386A (ja) * | 2001-06-15 | 2002-12-26 | Ekishii:Kk | セキュリティ装置及びその動作方法 |
JP2003204547A (ja) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置およびその調整方法 |
JP2003317177A (ja) * | 2002-04-25 | 2003-11-07 | Aisin Aw Co Ltd | 車両監視装置、車両監視システム及び車両監視方法 |
JP2007158426A (ja) * | 2005-11-30 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像表示装置 |
-
2010
- 2010-04-07 JP JP2010088430A patent/JP5640433B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002373386A (ja) * | 2001-06-15 | 2002-12-26 | Ekishii:Kk | セキュリティ装置及びその動作方法 |
JP2003204547A (ja) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置およびその調整方法 |
JP2003317177A (ja) * | 2002-04-25 | 2003-11-07 | Aisin Aw Co Ltd | 車両監視装置、車両監視システム及び車両監視方法 |
JP2007158426A (ja) * | 2005-11-30 | 2007-06-21 | Alpine Electronics Inc | 車両周辺画像表示装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9199607B2 (en) | 2010-12-06 | 2015-12-01 | Fujitsu Ten Limited | In-vehicle apparatus |
JP2012121384A (ja) * | 2010-12-06 | 2012-06-28 | Fujitsu Ten Ltd | 画像表示システム |
WO2013008623A1 (ja) * | 2011-07-12 | 2013-01-17 | 日産自動車株式会社 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
JP2013207637A (ja) * | 2012-03-29 | 2013-10-07 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びにコンピュータプログラム |
US9877011B2 (en) | 2013-03-19 | 2018-01-23 | Hitachi Kokusai Electric Inc. | Image display apparatus and image display method |
WO2014148394A1 (ja) * | 2013-03-19 | 2014-09-25 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
JP5865547B2 (ja) * | 2013-03-19 | 2016-02-17 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
JPWO2014148394A1 (ja) * | 2013-03-19 | 2017-02-16 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
JP2016192772A (ja) * | 2016-05-31 | 2016-11-10 | 富士通テン株式会社 | 表示装置及びプログラム |
JP2017201789A (ja) * | 2017-06-02 | 2017-11-09 | 富士通テン株式会社 | 画像処理装置、表示装置、携帯用表示装置、画像処理方法、表示装置の表示方法、携帯用表示装置の表示方法及びプログラム |
JP2019021132A (ja) * | 2017-07-19 | 2019-02-07 | 本田技研工業株式会社 | 管理装置および管理システム |
JP2019080158A (ja) * | 2017-10-24 | 2019-05-23 | 株式会社デンソーテン | 画像処理装置及び画像処理方法 |
JP7112191B2 (ja) | 2017-10-24 | 2022-08-03 | 株式会社デンソーテン | 画像処理装置及び画像処理方法 |
KR20200024717A (ko) * | 2018-08-28 | 2020-03-09 | 캐논 가부시끼가이샤 | 정보 처리장치, 정보 처리방법 및 기억매체 |
US11494067B2 (en) | 2018-08-28 | 2022-11-08 | Canon Kabushiki Kaisha | Information processing apparatus that changes viewpoint in virtual viewpoint image during playback, information processing method and storage medium |
KR102484197B1 (ko) * | 2018-08-28 | 2023-01-03 | 캐논 가부시끼가이샤 | 정보 처리장치, 정보 처리방법 및 기억매체 |
Also Published As
Publication number | Publication date |
---|---|
JP5640433B2 (ja) | 2014-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5640433B2 (ja) | 画像情報提供装置および画像情報提供方法 | |
JP6633216B2 (ja) | 撮像装置、及び、電子機器 | |
WO2019192359A1 (zh) | 一种车载全景视频显示系统、方法及车载控制器 | |
JP4478510B2 (ja) | カメラシステム、カメラ、及びカメラの制御方法 | |
JP5057936B2 (ja) | 鳥瞰画像生成装置および方法 | |
US10857974B2 (en) | Image display device, image display system, image display method and program | |
JP5682788B2 (ja) | 車両周辺監視装置 | |
JP4643860B2 (ja) | 車両用視覚支援装置及び支援方法 | |
CN108259879B (zh) | 图像生成装置及图像生成方法 | |
JPWO2004106858A1 (ja) | ステレオカメラシステム及びステレオ光学モジュール | |
JP2001331789A (ja) | 移動体の周囲監視システム | |
US11991477B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
KR20150017095A (ko) | Avm 영상 제공 장치 및 방법 | |
US20200167996A1 (en) | Periphery monitoring device | |
CN212115515U (zh) | 一种全景环视显示系统 | |
JP2012040883A (ja) | 車両周囲画像生成装置 | |
JP2009152966A (ja) | 画像表示システム及びカメラ出力制御方法 | |
CN110942023A (zh) | 车辆视觉盲区的指示方法、装置、设备及存储介质 | |
WO2021079636A1 (ja) | 表示制御装置、表示制御方法及び記録媒体 | |
US11482159B2 (en) | Display control device, display control method, and display control program | |
WO2020137398A1 (ja) | 操作制御装置、撮像装置、操作制御方法 | |
JP2018139052A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
KR101452372B1 (ko) | 카메라 제어 방법 및 그 시스템 | |
JP7467402B2 (ja) | 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム | |
JP7500527B2 (ja) | 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141013 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5640433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |