JP2016139914A - 表示装置、携帯端末及び制御方法 - Google Patents
表示装置、携帯端末及び制御方法 Download PDFInfo
- Publication number
- JP2016139914A JP2016139914A JP2015013363A JP2015013363A JP2016139914A JP 2016139914 A JP2016139914 A JP 2016139914A JP 2015013363 A JP2015013363 A JP 2015013363A JP 2015013363 A JP2015013363 A JP 2015013363A JP 2016139914 A JP2016139914 A JP 2016139914A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- photographing
- unit
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】前方を撮影するカメラに加速度センサを取り付けることなく、カメラを適切に設置することが可能な表示装置を提供する。
【解決手段】ナビゲーション装置2は、車両に搭載され、車両の前方風景を撮影する前方撮影カメラ4と電気的に接続し、前方撮影カメラ4が撮影中の画像を表示するディスプレイ24を有する。ナビゲーション装置2は、前方撮影カメラ4の撮影方向を設定するための設定モードMsにおいて、携帯端末3が傾いていない状態で撮影された前方風景の画像を、携帯端末3から受信し、基準画像として記憶する。そして、ナビゲーション装置2は、基準画像を前方撮影カメラ4が撮影中の画像と比較可能に表示する。
【選択図】図8
【解決手段】ナビゲーション装置2は、車両に搭載され、車両の前方風景を撮影する前方撮影カメラ4と電気的に接続し、前方撮影カメラ4が撮影中の画像を表示するディスプレイ24を有する。ナビゲーション装置2は、前方撮影カメラ4の撮影方向を設定するための設定モードMsにおいて、携帯端末3が傾いていない状態で撮影された前方風景の画像を、携帯端末3から受信し、基準画像として記憶する。そして、ナビゲーション装置2は、基準画像を前方撮影カメラ4が撮影中の画像と比較可能に表示する。
【選択図】図8
Description
本発明は、撮影方向を調整する技術に関する。
車両の前方風景をカメラで撮影し、撮影した画像をもとに、前方風景に含まれる道路のカーブ状況や信号機の点灯色などを認識するナビゲーション装置が公知となっている。このようなナビゲーション装置では、前方風景中から消失点を検出するなどの画像認識が行われる為、撮影方向が精度よく車両の水平正面を向くようにカメラを設置する必要がある。例えば、非特許文献1には、前方撮影カメラを車室内に設置する際に、設置作業者がカメラを水平に設置する作業を容易にするため、カメラには2軸加速度センサが内蔵されており、カメラのロール方向、ピッチ方向の傾きを示すラインをディスプレイに表示するシステムが開示されている。また、特許文献1には、ルームミラーを構成するケースの内部空間にカメラを設置し、ルームミラーの角度調整によらず、カメラの撮影方向が不変に構成されたカメラ内蔵ルームミラーが開示されている。
"「クルーズスカウターユニット」のカメラ取付調整について"、[online]、パイオニア株式会社、[平成27年1月19日検索]、インターネット<http://pioneer.jp/carrozzeria/cybernavi/inc/design_hardware/popup/camera.html>
非特許文献1では、前方風景を撮影するカメラ部を水平に設置する目的のみのためにカメラ部に2軸加速度センサを内蔵しなければならず、カメラ部が高価になってしまうという問題があった。
本発明は、上記のような課題を解決するためになされたものであり、前方を撮影するカメラに加速度センサを取り付けることなく、カメラを適切に設置することが可能な表示装置及び携帯端末を提供することを主な目的とする。
請求項に記載の発明は、 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、前記撮影装置から受信し、基準画像として記憶する記憶手段と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御手段と、を備えることを特徴とする。
請求項に記載の発明は、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段により当該撮影手段の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、基準画像として記憶する記憶手段と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御手段と、を備えることを特徴とする。
請求項に記載の発明は、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像の一部を表示する表示手段を有する表示装置であって、前記撮影手段により撮影された前記前方風景の画像から、所定の条件を満たす領域を切り出した画像を、基準画像として記憶する記憶手段と、前記撮影手段が撮影中の画像と前記基準画像とに共通して表示される特徴物の位置に基づき、前記撮影手段が撮影中の画像から、前記基準画像に相当する画像領域を認識し、当該画像領域を前記表示手段に表示させる表示制御手段と、を備えることを特徴とする。
請求項に記載の発明は、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する携帯端末であって、前記携帯端末の傾きを検出する検出手段と、前記撮影手段により撮影中の画像とともに、前記検出手段により検出された前記携帯端末の傾きを指示する指示画像を前記表示手段に表示させる表示制御手段と、前記携帯端末の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を画像表示装置に送信する送信手段と、を備えることを特徴とする。
請求項に記載の発明は、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する表示装置であって、前記表示装置の傾きを検出する検出手段と、前記撮影手段により撮影中の画像とともに、前記検出手段により検出された前記表示装置の傾きを指示する指示画像を前記表示手段に表示させる表示制御手段と、前記表示装置の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を記憶する記憶手段と、を備えることを特徴とする。
請求項に記載の発明は、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置が実行する制御方法であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、前記撮影装置から受信し、基準画像として記憶手段に記憶する記憶工程と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御工程と、を有することを特徴とする。
請求項に記載の発明は、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置が実行する制御方法であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段により当該撮影手段の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、基準画像として記憶手段に記憶する記憶工程と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御工程と、を有することを特徴とする。
請求項に記載の発明は、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像の一部を表示する表示手段を有する表示装置が実行する制御方法であって、前記撮影手段により撮影された前記前方風景の画像から、所定の条件を満たす領域を切り出した画像を、基準画像として記憶手段に記憶する記憶工程と、前記撮影手段が撮影中の画像と前記基準画像とに共通して表示される特徴物の位置に基づき、前記撮影手段が撮影中の画像から、前記基準画像に相当する画像領域を認識し、当該画像領域を前記表示手段に表示させる表示制御工程と、を有することを特徴とする。
請求項に記載の発明は、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する携帯端末が実行する制御方法であって、前記携帯端末の傾きを検出する検出工程と、前記撮影手段により撮影中の画像とともに、前記検出工程により検出された前記携帯端末の傾きを指示する指示画像を前記表示手段に表示させる表示制御工程と、前記携帯端末の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を画像表示装置に送信する送信工程と、を有することを特徴とする。
請求項に記載の発明は、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する表示装置が実行する制御方法であって、前記表示装置の傾きを検出する検出工程と、前記撮影手段により撮影中の画像とともに、前記検出工程により検出された前記表示装置の傾きを指示する指示画像を前記表示手段に表示させる表示制御工程と、前記表示装置の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を記憶手段に記憶する記憶工程と、を有することを特徴とする。
本発明の1つの好適な実施形態では、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、前記撮影装置から受信し、基準画像として記憶する記憶手段と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御手段と、を備える。
上記表示装置は、車両に搭載され、車両の前方風景を撮影する撮影手段と電気的に接続し、撮影手段が撮影中の画像を表示する表示手段を有する。表示装置は、記憶手段と、表示制御手段とを有する。記憶手段は、撮影手段の撮影方向を設定するための設定モードにおいて、撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前方風景の画像を、撮影装置から受信し、基準画像として記憶する。表示制御手段は、記憶手段に記憶された基準画像を撮影手段が撮影中の画像と比較可能に表示手段に表示させる。この態様により、表示装置は、撮影手段の撮影方向が所定の条件を満たすように、撮影手段の向きをユーザに好適に調整させることができる。
上記表示装置の一態様では、前記記憶手段は、前記前方風景の画像と共に当該画像を撮影した際の前記撮影装置の姿勢に関する情報を受信し、前記姿勢が所定の条件を満たす場合には前記前方風景の画像を記憶し、前記姿勢が所定の条件を満たさない場合には前記前方風景の画像を記憶しない。これにより、表示装置は、所定の条件を満たさずに撮影された基準画像を対象として撮影手段の向きを調整するのを好適に抑制することができる。
上記表示装置の他の一態様では、前記表示制御手段は、ユーザの操作に基づき、前記基準画像または前記撮影手段が撮影中の画像を、拡大または縮小して前記表示手段に表示させる。この態様により、撮影手段と撮影装置との画角が異なる場合であっても、好適に撮影手段の画像と基準画像とを比較して撮影手段の向きを調整することができる。
上記表示装置の他の一態様では、前記記憶手段は、前記撮影装置が撮影する画像の中心が消失点となることを前記所定の条件として撮影された前記前方風景の画像を、前記基準画像として記憶する。これにより、撮影手段が撮影する画像の中心を、消失点を合わせるように好適に撮影手段の向きを調整することができる。
本発明に係る他の実施形態では、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段により当該撮影手段の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、基準画像として記憶する記憶手段と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御手段と、を備える。この態様によっても、表示装置は、撮影手段の撮影方向が所定の条件を満たすように予め撮影して記憶した基準画像に基づき、撮影手段の向きをユーザに好適に調整させることができる。
上記表示装置の一態様では、前記表示制御手段は、前記基準画像または前記撮影手段が撮影中の画像の少なくともいずれかを半透明に表示させつつ、前記基準画像と前記撮影手段が撮影中の画像とを重ねて表示する。この態様により、表示装置は、基準画像と撮影手段が撮影中の画像とをユーザに好適に比較させることができる。
本発明に係る他の実施形態では、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像の一部を表示する表示手段を有する表示装置であって、前記撮影手段により撮影された前記前方風景の画像から、所定の条件を満たす領域を切り出した画像を、基準画像として記憶する記憶手段と、前記撮影手段が撮影中の画像と前記基準画像とに共通して表示される特徴物の位置に基づき、前記撮影手段が撮影中の画像から、前記基準画像に相当する画像領域を認識し、当該画像領域を前記表示手段に表示させる表示制御手段と、を備える。この態様では、表示装置は、広角に撮影された画像から切り出す範囲を適切に設定し、所定の条件を満たす画像を好適に表示手段に表示させることができる。
上記表示装置の一態様では、前記車両のルームミラーに前記表示装置を取付けるための取付手段を備え、前記撮影手段は、前記表示装置が前記ルームミラーに取付けられた状態において、前記前方風景を撮影する。この態様により、表示装置は、ルームミラーの角度を運転者の体格に合わせて調整することにより撮影手段の向きが変更された場合であっても、撮影方向が所定の条件を満たすように予め撮影した基準画像に基づき、所定の条件を満たす撮影画像を好適に表示することができる。
本発明に係る他の実施形態では、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する携帯端末であって、前記携帯端末の傾きを検出する検出手段と、前記撮影手段により撮影中の画像とともに、前記検出手段により検出された前記携帯端末の傾きを指示する指示画像を前記表示手段に表示させる表示制御手段と、前記携帯端末の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を画像表示装置に送信する送信手段と、を備える。この態様により、携帯端末は、携帯端末の傾きを適切に調整した状態でユーザに画像を撮影させ、当該画像を画像表示装置に送信することができる。
上記携帯端末の一態様では、前記検出手段は、前記携帯端末のピッチ方向とロール方向の傾きを検出し、前記表示制御手段は、前記表示手段に前記携帯端末のピッチ方向とロール方向のそれぞれの傾きを指示する指示画像を前記表示手段に表示させる。これにより、携帯端末は、携帯端末のピッチ角及びロール角が適切に調整された状態で撮影された画像を画像表示装置に送信することができる。
本発明に係る他の実施形態では、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する表示装置であって、前記表示装置の傾きを検出する検出手段と、前記撮影手段により撮影中の画像とともに、前記検出手段により検出された前記表示装置の傾きを指示する指示画像を前記表示手段に表示させる表示制御手段と、前記表示装置の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を記憶する記憶手段と、を備える。表示装置は、この態様により、表示装置の傾きを適切に調整した状態でユーザに画像を撮影させ、当該画像を記憶することができる。
本発明に係る他の実施形態では、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置が実行する制御方法であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、前記撮影装置から受信し、基準画像として記憶手段に記憶する記憶工程と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御工程と、を有する。表示装置は、この制御方法を実行することで、撮影手段の撮影方向が所定の条件を満たすように、撮影手段の向きをユーザに好適に調整させることができる。
本発明に係る他の実施形態では、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置が実行する制御方法であって、前記撮影手段の撮影方向を設定するための設定モードにおいて、前記撮影手段により当該撮影手段の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、基準画像として記憶手段に記憶する記憶工程と、前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御工程と、を有する。表示装置は、この制御方法を実行することで、撮影手段の撮影方向が所定の条件を満たすように、撮影手段の向きをユーザに好適に調整させることができる。
本発明に係る他の実施形態では、車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像の一部を表示する表示手段を有する表示装置が実行する制御方法であって、前記撮影手段により撮影された前記前方風景の画像から、所定の条件を満たす領域を切り出した画像を、基準画像として記憶手段に記憶する記憶工程と、前記撮影手段が撮影中の画像と前記基準画像とに共通して表示される特徴物の位置に基づき、前記撮影手段が撮影中の画像から、前記基準画像に相当する画像領域を認識し、当該画像領域を前記表示手段に表示させる表示制御工程と、を有する。表示装置は、この制御方法を実行することで、広角に撮影された画像から切り出す範囲を適切に設定し、所定の条件を満たす画像を好適に表示手段に表示させることができる。
本発明に係る他の実施形態では、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する携帯端末が実行する制御方法であって、前記携帯端末の傾きを検出する検出工程と、前記撮影手段により撮影中の画像とともに、前記検出工程により検出された前記携帯端末の傾きを指示する指示画像を前記表示手段に表示させる表示制御工程と、前記携帯端末の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を画像表示装置に送信する送信工程と、を有する。携帯端末は、この制御方法を実行することで、携帯端末の傾きを適切に調整した状態でユーザに画像を撮影させ、当該画像を画像表示装置に送信することができる。
本発明に係る他の実施形態では、撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する表示装置が実行する制御方法であって、前記表示装置の傾きを検出する検出工程と、前記撮影手段により撮影中の画像とともに、前記検出工程により検出された前記表示装置の傾きを指示する指示画像を前記表示手段に表示させる表示制御工程と、前記表示装置の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を記憶手段に記憶する記憶工程と、を有する。表示装置は、この制御方法を実行することで、表示装置の傾きを適切に調整した状態でユーザに画像を撮影させ、当該画像を記憶することができる。
以下、図面を参照して本発明の好適な実施例について説明する。以後において、「撮影方向」とは、カメラの正面となる方向であって、カメラの視野(撮影範囲)の中心を通る方向を指すものとする。
<第1実施例>
図1は、第1実施例に係る撮影方向設定システムの概要図である。図1に示すように、撮影方向設定システムは、車両に設置されたナビゲーション装置2と、車両の搭乗者が使用する携帯端末3と、ルームミラーに取り付けられた前方撮影カメラ4とを有する。ナビゲーション装置2と携帯端末3、及びナビゲーション装置2と前方撮影カメラ4は、それぞれ、無線または有線(ここでは無線)により電気的に接続している。
図1は、第1実施例に係る撮影方向設定システムの概要図である。図1に示すように、撮影方向設定システムは、車両に設置されたナビゲーション装置2と、車両の搭乗者が使用する携帯端末3と、ルームミラーに取り付けられた前方撮影カメラ4とを有する。ナビゲーション装置2と携帯端末3、及びナビゲーション装置2と前方撮影カメラ4は、それぞれ、無線または有線(ここでは無線)により電気的に接続している。
ナビゲーション装置2は、前方撮影カメラ4から取得した画像(「カメラ画像Imc」とも呼ぶ。)をディスプレイ24に表示して目的地への経路を案内する。この場合、ナビゲーション装置2は、カメラ画像Imcを対象とした画像認識処理により、車線、信号機の点灯状態、先行車両などを検知し、検知結果に基づくテキスト画像や図形画像などをカメラ画像Imcに重ねて表示したり、音声情報を出力したりする。また、ナビゲーション装置2は、携帯端末3と連動し、前方撮影カメラ4の向きをユーザに調整させるモード(「設定モードMs」とも呼ぶ。)を実行する。そして、設定モードMsでは、ナビゲーション装置2は、カメラ画像Imcや携帯端末3から取得した画像を表示することで、カメラ画像Imcの中心が消失点となるように、前方撮影カメラ4の向きをユーザに好適に調整させる。ナビゲーション装置2は、本発明における「表示装置」及び「画像表示装置」の一例である。
携帯端末3は、例えばスマートフォンなどであり、背面カメラ37で撮影した画像(「携帯画像Imp」とも呼ぶ。)をディスプレイ34に表示したり、携帯画像Impをナビゲーション装置2に送信したりする。本実施例では、携帯端末3は、ナビゲーション装置2と連動した処理を行う設定モードMsでは、消失点が中心位置となるような携帯画像Impの撮影操作を促す表示を行う。
前方撮影カメラ4は、車両のルームミラー12の裏側(即ちフロントガラス側)に取り付けられ、車両の前方を撮影したカメラ画像Imcを生成する。前方撮影カメラ4は、ナビゲーション装置2の画像認識処理を精度よく実行するために、カメラ画像Imcの中心が消失点になるように、撮影方向が調整される。好適には、前方撮影カメラ4は、図示しないリモートコントローラ等によるユーザ操作により、ルームミラーと独立して撮影方向を調整可能に構成されている。
ここで、カメラ画像Imcの中心を消失点に合わせる理由について補足説明する。ナビゲーション装置2は、処理負荷の低減のため、カメラ画像Imc中に含まれる車線、信号機、先行車両などの検出処理を、カメラ画像Imc中の消失点に基づき領域を限定して行う。例えば、ナビゲーション装置2は、信号機を検出する場合、消失点より上側の画像領域を検出範囲として信号機検出を行う。また、ナビゲーション装置2は、消失点を、統計的手法により学習することで特定する。従って、前方撮影カメラ4を設置してからの期間が短く学習機会が少ないときには、消失点の位置精度が低いため、ナビゲーション装置2は、カメラ画像Imcの中央部を仮の消失点を基準として画像認識を行う。このため、前方撮影カメラImcは、撮影方向が車両の真正面方向を向くように、精度よく設置される必要がある。以上を勘案し、本実施例に係る撮影方向設定システムは、前方撮影カメラ4に加速度センサ等が内蔵されていない場合であっても、前方撮影カメラ4の撮影方向を適切に調整する。
次に、消失点の学習方法の一例について説明する。まず、ナビゲーション装置2は、走行車線の両側に塗布されている白線や、路面と縁石との境界線などを前方画像の画像解析により検出し、左右の白線(境界線)の車両進行方向の延長線上の交点を、車線消失点として検出する。ここで、車線消失点は、その時に車両が存在する道路のカーブ具合によって位置が変化する。よって、ナビゲーション装置2は、検出した車線消失点の位置を統計的手法により平均化することで、車両の真正面方向に存在する不変的な消失点を学習する。
[ナビゲーション装置の構成]
図2は、ナビゲーション装置2のブロック図である。図2に示すように、ナビゲーション装置2は、主に、制御部21と、測位部22と、出力部23と、入力部25と、記憶部26と、通信部27と、を備える。
図2は、ナビゲーション装置2のブロック図である。図2に示すように、ナビゲーション装置2は、主に、制御部21と、測位部22と、出力部23と、入力部25と、記憶部26と、通信部27と、を備える。
制御部21は、図示しないCPU、ROM及びRAMなどを備え、ナビゲーション装置2内の各構成要素に対して種々の制御を行う。例えば、設定モードMsにおいて、制御部21は、携帯端末3から携帯画像Impを受信した場合、当該携帯画像Impを、前方撮影カメラ4の撮影方向を調整するための基準となる画像(「基準画像」とも呼ぶ。)とみなし、記憶部26に記憶する。そして、制御部21は、基準画像と前方撮影カメラ4が撮影するカメラ画像Imcとの比較画面(「調整用比較画面Gn」とも呼ぶ。)を表示することで、前方撮影カメラ4の向きをユーザに調整させる。このように、制御部21は、本発明における「表示制御手段」として機能する。
測位部22は、ジャイロセンサや距離センサなどの自立測位装置やGPS受信機などであり、車両Veの現在地や進行方向などの測位を行う。出力部23は、ディスプレイ24やスピーカ29などを備え、制御部21の制御に基づき、ルート案内のための出力を行う。
入力部25は、例えばディスプレイ24に積層されたタッチパネルであり、ナビゲーション装置2に対してユーザが行う必要な命令や情報の入力を受け付ける。なお、入力部25は、タッチパネルに加え、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、音声入力装置等を有してもよい。
記憶部26は、ナビゲーション装置2の動作を制御するためのプログラムを保存したり、ナビゲーション装置2の動作に必要な情報を保持したりする。また、記憶部26は、地図情報を記憶する。ここで、地図情報は、道路に相当するリンクと、道路の接続部分(交差点)に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。なお、制御部21は、記憶部26が記憶する地図情報を参照して地図をディスプレイ24に表示する代わりに、地図情報を記憶する図示しないサーバ装置から、地図を表示するのに必要な情報を受信してもよい。通信部27は、ナビゲーション装置2から送信されたカメラ画像Imcの受信処理や、携帯端末3から送信された携帯画像Impの受信処理を行う。
[携帯端末の構成]
図3は、携帯端末3のブロック図である。図3に示すように、携帯端末3は、主に、制御部31と、加速度センサ32と、ディスプレイ34などの出力部33と、タッチパネルやボタンなどの入力部35と、記憶部36と、背面カメラ37と、通信部38とを備える。
図3は、携帯端末3のブロック図である。図3に示すように、携帯端末3は、主に、制御部31と、加速度センサ32と、ディスプレイ34などの出力部33と、タッチパネルやボタンなどの入力部35と、記憶部36と、背面カメラ37と、通信部38とを備える。
制御部31は、図示しないCPU、ROM及びRAMなどを備え、携帯端末3内の各構成要素に対して種々の制御を行う。本実施例では、制御部31は、設定モードMsにおいて、加速度センサ32の出力に基づき、携帯端末3の傾き(姿勢)に関する情報を表示した画面(「携帯調整画面Gp」とも呼ぶ。)を、ディスプレイ34に表示する。そして、制御部31は、携帯端末3が正しい姿勢の状態で撮影された携帯画像Impを、通信部38によりナビゲーション装置2へ送信する。制御部31は、本発明における「検出手段」、「表示制御手段」、及び「送信手段」の一例である。
加速度センサ32は、3軸の加速度センサであり、検出信号を制御部31へ供給する。図4は、加速度センサ32が加速度を検出する方向を示す図である。図4の例では、制御部31は、携帯端末3の短手方向に相当する軸6X、携帯端末3の長手方向に相当する軸6Y、及び携帯端末3の表示面と垂直な軸6Zの3方向における加速度を検出する。そして、本実施例では、制御部31は、加速度センサ32の検出信号に基づき、軸6Z回りの携帯端末3の回転角度を、携帯端末3のロール角として認識し、軸6Y回りの携帯端末3の回転角度を、携帯端末3のピッチ角として認識する。
再び図3に戻り携帯端末3の各構成要素について説明する。記憶部36は、設定モードMsにおける携帯端末3の動作を制御するためのプログラムを保存したり、携帯端末3の動作に必要な情報を保持したりする。背面カメラ37は、生成した携帯画像Impを制御部31へ供給する。通信部38は、制御部31の制御に基づき、設定モードMsにおいて撮影方向が調整された状態で撮影された携帯画像Impをナビゲーション装置2へ送信する。
[設定モードの概要]
次に、設定モードMsの概要について、図5〜図7を参照して説明する。
次に、設定モードMsの概要について、図5〜図7を参照して説明する。
(1)携帯調整画面の表示
まず、ユーザは、設定モードMsを実行するため、車両を水平で平坦な駐車場所に駐車する。そして、ユーザは、設定モードMsを実行する旨の入力を行うことで、携帯調整画面Gpを携帯端末3に表示させる。
まず、ユーザは、設定モードMsを実行するため、車両を水平で平坦な駐車場所に駐車する。そして、ユーザは、設定モードMsを実行する旨の入力を行うことで、携帯調整画面Gpを携帯端末3に表示させる。
図5は、携帯調整画面Gpの表示例である。図5の例では、携帯端末3は、背面カメラ37が撮影した携帯画像Impを表示すると共に、加速度センサ32の検出信号に基づき認識した携帯端末3のピッチ角の情報を示すピッチ角確認バー5Pと、携帯端末3のロール角の情報を示すロール角確認バー5Rとを表示している。また、図5では、携帯端末3は、ディスプレイ34の縦横の各中心線を点線により表示している。
ピッチ角確認バー5Pには、目標とすべき携帯端末3のピッチ角の範囲を示す目標マーク50と、現在の携帯端末3のピッチ角に応じてピッチ角確認バー5P上の位置が変化するインジケータ51とが表示されている。ここで目標マーク50は、携帯端末3の撮影方向が地面と略平行となる場合に、インジケータ51が位置する範囲に表示される。よって、ユーザは、ピッチ角確認バー5Pを参照し、携帯端末3の撮影方向が地面に対して平行になるように携帯端末3の姿勢を好適に調整することができる。
同様に、ロール角確認バー5Rには、目標とすべき携帯端末3のロール角の範囲を示す目標マーク53と、現在の携帯端末3のロール角に応じてロール角確認バー5R上の位置が変化するインジケータ54とが表示されている。ここで目標マーク53は、携帯端末3の長手方向が地面と略平行となる場合に、インジケータ54が位置する範囲に表示される。よって、ユーザは、ロール角確認バー5Rを参照し、携帯端末3の長手方向が地面と平行になるように携帯端末3の姿勢を好適に調整することができる。ピッチ角確認バー5P及びロール角確認バー5Rは、本発明における「指示画像」の一例である。
そして、携帯端末3は、インジケータ51が目標マーク50に重なり、かつ、インジケータ54が目標マーク53に重なったと判断した場合、当該判断時に背面カメラ37が撮影した携帯画像Impを、ナビゲーション装置2へ送信する。なお、携帯端末3は、携帯画像Impを携帯端末3へ送信するタイミングを、所定のユーザ入力に基づき決定してもよい。この場合、携帯端末3は、インジケータ51、54が目標マーク50、53に重ならない状態で撮影された携帯画像Impを、携帯端末3へ送信できないようにしてもよい。また、携帯端末3は、携帯画像Impに加えて、当該携帯画像Impの撮影時に制御部31に基づき検出した携帯端末3の姿勢(傾き)に関する情報(「姿勢情報」とも呼ぶ。)を、ナビゲーション装置2へ送信してもよい。ここで、姿勢情報は、例えば、携帯端末3のピッチ角及びロール角等の情報である。
(2)調整用比較画面の表示
ナビゲーション装置2は、携帯端末3から携帯画像Impを受信した場合、当該携帯画像Impを、基準画像として記憶部26に記憶する。このとき、好適には、ナビゲーション装置2は、携帯画像Impと共に姿勢情報を受信した場合、当該姿勢情報に基づき、携帯端末3が傾いていない状態で当該携帯画像Impが撮影されたと判断した場合に限り、当該携帯画像Impを基準画像として記憶するとよい。
ナビゲーション装置2は、携帯端末3から携帯画像Impを受信した場合、当該携帯画像Impを、基準画像として記憶部26に記憶する。このとき、好適には、ナビゲーション装置2は、携帯画像Impと共に姿勢情報を受信した場合、当該姿勢情報に基づき、携帯端末3が傾いていない状態で当該携帯画像Impが撮影されたと判断した場合に限り、当該携帯画像Impを基準画像として記憶するとよい。
そして、基準画像の記憶後、ナビゲーション装置2は、前方撮影カメラ4がリアルタイムで撮影するカメラ画像Imcと基準画像とを比較するための調整用比較画面Gnを表示することで、前方撮影カメラ4の向きをユーザに調整させる。
図6は、調整用比較画面Gnの表示例である。図6の例では、ナビゲーション装置2は、前方撮影カメラ4からリアルタイムに取得するカメラ画像Imcを表示すると共に、携帯端末3から受信した携帯画像Impである基準画像を半透明により表示している。そして、ユーザは、図6の調整用比較画面Gnを参照し、基準画像の表示とカメラ画像Imcの表示とが重なるように、前方撮影カメラ4の撮影方向を調整する。なお、ナビゲーション装置2は、図6の例に代えて、基準画像の代わりにカメラ画像Imcを半透明に加工して表示してもよい。
また、図6の例では、ナビゲーション装置2は、カメラ画像Imcのスケールを調整するためのスケール調整バー5Sを調整用比較画面Gnに表示している。ここで、スケール調整バー5Sには、現在のカメラ画像Imcのスケールに応じてスケール調整バー5S上の位置が変化するインジケータ56が表示されている。
ユーザは、調整用比較画面Gnを参照し、インジケータ56を移動させることで、基準画像とカメラ画像Imcのスケールが一致するようにカメラ画像Imcを拡大または縮小させる。ここで、インジケータ56を上方へ移動させる操作を検知した場合、ナビゲーション装置2は、インジケータ56の移動量に応じて、カメラ画像Imcの中心位置を基準点としてカメラ画像Imcを拡大して表示する。また、インジケータ56を下方へ移動させる操作を検知した場合、ナビゲーション装置2は、インジケータ56の移動量に応じて、カメラ画像Imcの中心位置を基準点としてカメラ画像Imcを縮小して表示する。これにより、携帯端末3の背面カメラ37の画角と、前方撮影カメラ4の画角が大きく異なる場合であっても、好適に、基準画像の表示とカメラ画像Imcの表示とを重ね合わせることができる。なお、ナビゲーション装置2は、カメラ画像Imcのスケールをユーザ操作に基づき調整可能とする代わりに、基準画像のスケールをユーザ操作に基づき調整可能としてもよい。
そして、ナビゲーション装置2は、調整終了ボタン57が選択されたことを検知した場合、基準画像の表示とカメラ画像Imcの表示とが重なり合うように前方撮影カメラ4の向きが調整されたと判断し、調整用比較画面Gnの表示を終了する。
図7は、調整用比較画面Gnに基づき前方撮影カメラ4の撮影方向を調整した後のカメラ画像Imcの表示例である。図7において、線8hは、カメラ画像Imcの縦方向の中間位置を通る線であり、線8vは、カメラ画像Imcの横方向の中間位置を通る線である。図7に示すように、カメラ画像Imcの中心位置は、消失点Vpと重なっている。ナビゲーション装置2は、このように調整されたカメラ画像Imcを画像認識処理に用いることで、信号機等の対象物を好適に検出することができる。
[処理フロー]
図8は、第1実施例に係る設定モードMsの処理手順の一例を示すフローチャートである。
図8は、第1実施例に係る設定モードMsの処理手順の一例を示すフローチャートである。
まず、携帯端末3は、設定モードMsにおいて、携帯端末3の傾きを確認可能な携帯調整画面Gpを表示する(ステップS101)。例えば、携帯端末3は、図5に示すように、携帯端末3のロール角及びピッチ角を確認可能な携帯調整画面Gpを表示する。そして、携帯端末3は、携帯端末3が傾いていない姿勢で携帯画像Impが撮影されたか否か判定する(ステップS102)。図5の例では、携帯端末3は、インジケータ51が目標マーク50に重なり、かつ、インジケータ54が目標マーク53に重なった姿勢で携帯画像Impが撮影されたか否か判定する。そして、携帯端末3が傾いていない姿勢で携帯画像Impが撮影された場合(ステップS102;Yes)、携帯端末3は、携帯画像Impをナビゲーション装置2へ送信する(ステップS103)。このとき、携帯端末3は、携帯画像Imの撮影時の姿勢情報を付加して携帯画像Imを送信してもよい。一方、携帯端末3が傾いていない姿勢で携帯画像Impが撮影されていない場合(ステップS102;No)、携帯端末3は、引き続き携帯調整画面Gpを表示する。
ナビゲーション装置2は、携帯画像Impを受信した場合、受信した携帯画像Impを基準画像として記憶する(ステップS104)。なお、ナビゲーション装置2は、携帯画像Impと共に姿勢情報を受信した場合、携帯端末3が適正なロール角及びピッチ角となる状態で当該携帯画像Impが撮影されたと判断した場合に限り、当該携帯画像Impを基準画像として記憶するとよい。
そして、ナビゲーション装置2は、前方撮影カメラ4からリアルタイムで取得したカメラ画像Imcと基準画像とを重ねた調整用比較画面Gnを表示する(ステップS105)。この場合、ナビゲーション装置2は、カメラ画像Imcまたは基準画像のいずれか一方を半透明にして表示する。これにより、ナビゲーション装置2は、ユーザに前方撮影カメラ4の撮影方向を調整させる。
次に、ナビゲーション装置2は、カメラ画像Imcと基準画像との表示が一致するように前方撮影カメラ4の向きを調整する操作が終了したか否か判定する(ステップS106)。そして、ナビゲーション装置2は、上述の操作が終了したと判断した場合(ステップS106;Yes)、フローチャートの処理を終了する。一方、ナビゲーション装置2は、上述の操作が終了していないと判断した場合(ステップS106;No)、引き続き調整用比較画面Gnを表示する。
以上説明したように、第1実施例に係るナビゲーション装置2は、車両に搭載され、車両の前方風景を撮影する前方撮影カメラ4と電気的に接続し、前方撮影カメラ4が撮影中の画像を表示するディスプレイ24を有する。ナビゲーション装置2は、前方撮影カメラ4の撮影方向を設定するための設定モードMsにおいて、携帯端末3が傾いていない状態で撮影された前方風景の画像を、携帯端末3から受信し、基準画像として記憶する。そして、ナビゲーション装置2は、基準画像を前方撮影カメラ4が撮影中の画像と比較可能に表示する。この態様により、ナビゲーション装置1は、前方撮影カメラ4の撮影方向が車両の真正面を向くように、前方撮影カメラ4の向きをユーザに好適に調整させることができる。
<第2実施例>
第2実施例は、ルームミラー12に装着可能なドライブレコーダに前方撮影カメラ4が設置されている場合の前方撮影カメラ4の撮影方向の調整方法に関する。
第2実施例は、ルームミラー12に装着可能なドライブレコーダに前方撮影カメラ4が設置されている場合の前方撮影カメラ4の撮影方向の調整方法に関する。
[ドライブレコーダの構成]
図9は、第2実施例に係るドライブレコーダ1の構成を示す。具体的には、図1(A)は、ドライブレコーダ1が車室内のルームミラー12に装着された状態(単に「装着状態」とも呼ぶ。)における正面図を示し、図9(B)は、装着状態におけるドライブレコーダ1の背面図を示し、図9(C)は、装着状態におけるドライブレコーダ1の上面図を示す。第2実施例では、ドライブレコーダ1に取り付けられた前方撮影カメラ4の撮影方向を調整することで、カメラ画像Imcの中心を消失点に好適に合わせる。以後では、ドライブレコーダ1の長手方向を「Y軸方向」、ドライブレコーダ1の短手方向を「X軸方向」、Y軸及びZ軸と垂直な方向を「Z軸方向」とし、各正方向を図のように定める。
図9は、第2実施例に係るドライブレコーダ1の構成を示す。具体的には、図1(A)は、ドライブレコーダ1が車室内のルームミラー12に装着された状態(単に「装着状態」とも呼ぶ。)における正面図を示し、図9(B)は、装着状態におけるドライブレコーダ1の背面図を示し、図9(C)は、装着状態におけるドライブレコーダ1の上面図を示す。第2実施例では、ドライブレコーダ1に取り付けられた前方撮影カメラ4の撮影方向を調整することで、カメラ画像Imcの中心を消失点に好適に合わせる。以後では、ドライブレコーダ1の長手方向を「Y軸方向」、ドライブレコーダ1の短手方向を「X軸方向」、Y軸及びZ軸と垂直な方向を「Z軸方向」とし、各正方向を図のように定める。
図9に示すドライブレコーダ1は、内蔵二次電池により駆動され、主に、ミラー部13と、前方撮影カメラ4と、ミラー部13の背面に存在するディスプレイ(表示手段)10と、挟持部16A〜16Dとを有する。そして、ドライブレコーダ1は、装着状態において、挟持部16A〜16Dがルームミラー12を挟持することでルームミラー12に対して固定される。そして、ドライブレコーダ1の装着状態では、ルームミラー12の鏡面と、ドライブレコーダ1の背面とが重なる。ドライブレコーダ1は、本発明における「表示装置」の一例である。
なお、図9では、車両が右ハンドルである場合のドライブレコーダ1の装着状態を示しており、車両が左ハンドルの場合には、図9(B)からXY平面上で180°回転させた状態のドライブレコーダ1がルームミラー12に装着される。
前方撮影カメラ4は、ドライブレコーダ1の装着状態において、ルームミラー12と重ならないドライブレコーダ1の背面部分に配置される。また、前方撮影カメラ4は、ドライブレコーダ1の筺体内に回転可能に収容されており、設定モードMsにおいて、図示しないリモートコントローラ等への操作に基づき、撮影方向が調整される。
ミラー部13は、例えばハーフミラーであって、入射した一部の光を透過させ、その他の光を反射させる。これにより、ミラー部13は、背面にあるディスプレイ10が非発光状態では車両の後方風景を映す通常のミラーとして機能し、ディスプレイ10が発光状態では、ディスプレイ10から出射された光を透過させることで、運転者にディスプレイ10の表示内容を視認させる。
ディスプレイ10は、第1実施例のナビゲーション装置2のディスプレイ24と同様に、前方撮影カメラ4が撮影したカメラ画像Imcに、運転者を案内するための文字や図形などを表す案内画像を重畳させて表示する。
図10は、ドライブレコーダ1の機能ブロック図である。図10に示すように、ドライブレコーダ1は、ディスプレイ10と、前方撮影カメラ4と、加速度センサ14と、不揮発性メモリ15と、制御部17とを備える。
加速度センサ14は、X軸、Y軸、及びZ軸の3軸方向の加速度を検出し、その検出信号を制御部17へ供給する。不揮発性メモリ15は、例えばSDカードなどの記憶媒体であり、制御部17の制御に基づき、前方撮影カメラ4が生成したカメラ画像Imc等を記憶する。
制御部17は、CPU、CPUが実行する制御プログラムやデータなどを記憶するROM、CPUが動作する際のワークメモリとして各種データが逐次読み書きされるRAMなどを有し、ドライブレコーダ1の全般的な制御を行う。
例えば、制御部17は、所定時間分のカメラ画像Imcを一時メモリに上書きし、加速度センサ14により所定値以上の加速度を検出した場合に、一時メモリに保存したカメラ画像Imcを不揮発性メモリ15に書き込む。また、制御部17は、撮影画像Imに基づき、公知の画像認識技術により、前方車両の検出、車線の検出、信号機の点灯色の検出などの種々の認識処理を行い、その認識結果に基づく案内画像をカメラ画像Imcに重畳させてディスプレイ10に表示させる。制御部17は、本発明における「表示制御手段」の一例である。
一般に、運転者の体格によってルームミラー12の調整角度が変化する。よって、ルームミラー12に装着されるドライブレコーダ1の場合、ルームミラー12の角度調整に応じて前方撮影カメラ4の撮影方向を調整する必要が生じる。以上を勘案し、第2実施例では、ルームミラー12の角度が変化した場合の前方撮影カメラ4の撮影方向を設定モードMsにおいて調整する。
[設定モードでの処理]
図11は、第2実施例における設定モードMsの処理手順の一例を示すフローチャートである。運転者は、第1実施例と同様、設定モードMsを実行する際には、車両を水平で平坦な駐車場所に駐車し、ルームミラー12にドライブレコーダ1を装着するものとする。
図11は、第2実施例における設定モードMsの処理手順の一例を示すフローチャートである。運転者は、第1実施例と同様、設定モードMsを実行する際には、車両を水平で平坦な駐車場所に駐車し、ルームミラー12にドライブレコーダ1を装着するものとする。
まず、携帯端末3は、設定モードMsにおいて、ドライブレコーダ1の傾きを確認可能な調整画面を表示する(ステップS201)。具体的には、携帯端末3は、前方撮影カメラ4が撮影したカメラ画像Imcを表示すると共に、図5のピッチ角確認バー5P及びロール角確認バー5Rに相当するドライブレコーダ1のロール角やピッチ角等を表す姿勢(傾き)確認バーを表示する。この場合、ユーザは、姿勢確認バーを確認しつつ、ドライブレコーダ1の姿勢を表す各インジケータが各目標マークに収まるように、ルームミラー12の角度を調整する。
そして、携帯端末3は、ドライブレコーダ1が傾いていない姿勢でカメラ画像Imcが撮影されたか否か判定する(ステップS202)。そして、ドライブレコーダ1が傾いていない姿勢でカメラ画像Imcが撮影された場合(ステップS202;Yes)、ドライブレコーダ1は、撮影したカメラ画像Imcを基準画像として記憶する(ステップS203)。
次に、ドライブレコーダ1は、ステップS203で記憶した基準画像と前方撮影カメラ4がリアルタイムで撮影したカメラ画像Imcとを比較可能にディスプレイ10に表示する(ステップS204)。この場合、例えば、ドライブレコーダ1は、図6の調整用比較画面Gnと同様に、表示する画像の一方を半透明にしてこれらの画像を重ねて表示する。そして、この状態で、運転者は、ルームミラー12の角度を、自己の体格に応じた適切な角度になるように調整する。
そして、ドライブレコーダ1は、ルームミラー12の角度が調整された場合(ステップS205;Yes)、ユーザ操作に基づき、カメラ画像Imcと基準画像との表示が一致するように前方撮影カメラ4の向きを調整する(ステップS206)。ルームミラー12の角度を調整した場合、カメラ画像Imcの撮影方向は、車両の正面方向からずれる。従って、この場合、ルームミラー12の調整後に、運転者は、ディスプレイ10において、基準画像の表示とカメラ画像Imcの表示とが一致するように、前方撮影カメラ4の撮影方向を調整するための操作を行い、ドライブレコーダ1は、当該操作に応じて前方撮影カメラ4の向きを調整する。これにより、ルームミラー12の使用状態においても、前方撮影カメラ4の撮影方向を好適に調整することができる。
第2実施例によれば、ドライブレコーダ1は、カメラ画像Imcを記憶する契機となる衝撃検知のために使用される加速度センサ14を、設定モードMsにおいて好適に利用することができる。よって、前方撮影カメラ4に加速度センサが内蔵されていなくとも、前方撮影カメラ4の撮影方向を好適に調整することができる。
<変形例>
以下、上述の実施例に好適な変形例について説明する。
以下、上述の実施例に好適な変形例について説明する。
[変形例1]
第2実施例において、ドライブレコーダ1は、前方撮影カメラ4の撮影方向を調整する代わりに、前方撮影カメラ4が撮影したカメラ画像Imcの一部を切り出した画像をディスプレイ10に表示し、切り出した画像の中心が消失点と重なるように切り出す範囲を設定してもよい。
第2実施例において、ドライブレコーダ1は、前方撮影カメラ4の撮影方向を調整する代わりに、前方撮影カメラ4が撮影したカメラ画像Imcの一部を切り出した画像をディスプレイ10に表示し、切り出した画像の中心が消失点と重なるように切り出す範囲を設定してもよい。
図12は、ステップS201に相当する基準画像を生成する際の調整画面の表示例である。図12の例では、ドライブレコーダ1は、前方撮影カメラ4が撮影したカメラ画像Imcを表示すると共に、基準画像として保存すべき画像の範囲を確定するための枠70を表示している。ドライブレコーダ1は、リモートコントローラなどを利用したユーザ操作に基づき、枠70を移動させる。この場合、ユーザは、枠70の中心が、カメラ画像Imcに表示された消失点と重なるように、枠70を移動させる操作を行う。そして、枠70の位置が確定した場合、ドライブレコーダ1は、枠70内の画像を基準画像として記憶する。
その後、ユーザは、ルームミラー12の角度調整を行う。そして、ルームミラー12の角度調整後、ドライブレコーダ1は、前方撮影カメラ4から取得したカメラ画像Imcから、基準画像に相当する範囲を認識する。例えば、この場合、ドライブレコーダ1は、基準画像中の特徴物(例えば、木、電柱、建物、看板、信号機などの地物)が表示されているカメラ画像Imc内の位置を画像認識処理により特定することで、基準画像に相当するカメラ画像Imcの範囲を認識する。
図13は、ルームミラー12の調整後に撮影されるカメラ画像Imcと基準画像との対応関係を示す。図13の枠71は、基準画像に相当する範囲を示す。図13では、ドライブレコーダ1は、基準画像及びカメラ画像Imcのそれぞれで共通して表示されている信号機等の位置を検出することで、これらの画像の対応関係を認識する。そして、ドライブレコーダ1は、認識した基準画像に相当する範囲を示す枠71から切り出した画像を対象に、ディスプレイ10への表示処理や案内画像を表示するための画像認識処理等を行う。
この態様では、運転者が前方撮影カメラ4の撮影方向を調整する手間を必要とせず、実質的に使用する前方撮影カメラ4の撮影範囲を好適に設定することができる。
[変形例2]
第1実施例において、携帯端末3は、制御信号を前方撮影カメラ4に送信することで、ユーザ操作によらずに前方撮影カメラ4の撮影方向を自動調整してもよい。
第1実施例において、携帯端末3は、制御信号を前方撮影カメラ4に送信することで、ユーザ操作によらずに前方撮影カメラ4の撮影方向を自動調整してもよい。
この場合、携帯端末3は、調整用比較画面Gnを表示する代わりに、変形例1と同様に、基準画像及びカメラ画像Imcに共通して表示されている特徴物の位置関係を認識することで、基準画像に対してカメラ画像Imcがずれている方向及びずれ幅を認識する。そして、携帯端末3は、認識したずれの方向及びずれ幅に応じて、当該ずれ幅が0になるように、前方撮影カメラ4の向きを調整する制御信号を前方撮影カメラ4へ送信する。この場合、携帯端末3は、フィードバック制御により前方撮影カメラ4の向きを調整してもよく、上述のずれの方向及びずれ幅と前方撮影カメラ4を調整すべき角度との関係を規定したマップ等を参照することで、前方撮影カメラ4の向きを調整してもよい。
同様に、第2実施例においても、ドライブレコーダ1は、図11のステップ204で基準画像とカメラ画像Imcとを重ねて表示した後、ルームミラー12の角度調整により基準画像とカメラ画像Imcとの表示位置がずれた場合に、基準画像に対してカメラ画像Imcがずれている方向及びずれ幅を認識する。そして、ドライブレコーダ1は、認識したずれの方向及びずれ幅に応じて、当該ずれ幅が0になるように、前方撮影カメラ4の向きを調整する制御信号を前方撮影カメラ4へ送信する。
[変形例3]
図6の調整用比較画面Gnの表示例は一例であり、本発明が適用可能な表示例は、基準画像とリアルタイムに取得されるカメラ画像Imcとを重ねて表示する態様に限定されない。これに代えて、ナビゲーション装置2は、基準画像とリアルタイムに取得されるカメラ画像Imcとを重ねることなく比較可能に表示してもよい。例えば、ナビゲーション装置2は、調整用比較画面Gnにおいて、基準画像とカメラ画像Imcとを左右または上下に並べて表示してもよい。これによっても、好適に、ナビゲーション装置2は、観察者に基準画像とカメラ画像Imcを比較させ、前方撮影カメラ4の撮影方向を調整させることができる。第2実施例のステップS204でも同様に、ドライブレコーダ1は、基準画像とカメラ画像Imcとを左右または上下に並べて表示してもよい。
図6の調整用比較画面Gnの表示例は一例であり、本発明が適用可能な表示例は、基準画像とリアルタイムに取得されるカメラ画像Imcとを重ねて表示する態様に限定されない。これに代えて、ナビゲーション装置2は、基準画像とリアルタイムに取得されるカメラ画像Imcとを重ねることなく比較可能に表示してもよい。例えば、ナビゲーション装置2は、調整用比較画面Gnにおいて、基準画像とカメラ画像Imcとを左右または上下に並べて表示してもよい。これによっても、好適に、ナビゲーション装置2は、観察者に基準画像とカメラ画像Imcを比較させ、前方撮影カメラ4の撮影方向を調整させることができる。第2実施例のステップS204でも同様に、ドライブレコーダ1は、基準画像とカメラ画像Imcとを左右または上下に並べて表示してもよい。
1 ドライブレコーダ
2 ナビゲーション装置
3 携帯端末
4 前方撮影カメラ
10 ディスプレイ
12 ルームミラー
13 ミラー部
14 加速度センサ
15 不揮発性メモリ
17 制御部
2 ナビゲーション装置
3 携帯端末
4 前方撮影カメラ
10 ディスプレイ
12 ルームミラー
13 ミラー部
14 加速度センサ
15 不揮発性メモリ
17 制御部
Claims (16)
- 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置であって、
前記撮影手段の撮影方向を設定するための設定モードにおいて、
前記撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、前記撮影装置から受信し、基準画像として記憶する記憶手段と、
前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示装置。 - 前記記憶手段は、前記前方風景の画像と共に当該画像を撮影した際の前記撮影装置の姿勢に関する情報を受信し、前記姿勢が所定の条件を満たす場合には前記前方風景の画像を記憶し、前記姿勢が所定の条件を満たさない場合には前記前方風景の画像を記憶しないことを特徴とする請求項1に記載の表示装置。
- 前記表示制御手段は、ユーザの操作に基づき、前記基準画像または前記撮影手段が撮影中の画像を、拡大または縮小して前記表示手段に表示させることを特徴とする請求項1または2に記載の表示装置。
- 前記記憶手段は、前記撮影装置が撮影する画像の中心が消失点となることを前記所定の条件として撮影された前記前方風景の画像を、前記基準画像として記憶することを特徴とする請求項1〜3のいずれか一項に記載の表示装置。
- 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置であって、
前記撮影手段の撮影方向を設定するための設定モードにおいて、
前記撮影手段により当該撮影手段の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、基準画像として記憶する記憶手段と、
前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示装置。 - 前記表示制御手段は、前記基準画像または前記撮影手段が撮影中の画像の少なくともいずれかを半透明に表示させつつ、前記基準画像と前記撮影手段が撮影中の画像とを重ねて表示することを特徴とすることを特徴とする請求項1〜5のいずれか一項に記載の表示装置。
- 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像の一部を表示する表示手段を有する表示装置であって、
前記撮影手段により撮影された前記前方風景の画像から、所定の条件を満たす領域を切り出した画像を、基準画像として記憶する記憶手段と、
前記撮影手段が撮影中の画像と前記基準画像とに共通して表示される特徴物の位置に基づき、前記撮影手段が撮影中の画像から、前記基準画像に相当する画像領域を認識し、当該画像領域を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示装置。 - 前記車両のルームミラーに前記表示装置を取付けるための取付手段を備え、
前記撮影手段は、前記表示装置が前記ルームミラーに取付けられた状態において、前記前方風景を撮影することを特徴とする請求項5または7に記載の表示装置。 - 撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する携帯端末であって、
前記携帯端末の傾きを検出する検出手段と、
前記撮影手段により撮影中の画像とともに、前記検出手段により検出された前記携帯端末の傾きを指示する指示画像を前記表示手段に表示させる表示制御手段と、
前記携帯端末の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を画像表示装置に送信する送信手段と、
を備えることを特徴とする携帯端末。 - 前記検出手段は、前記携帯端末のピッチ方向とロール方向の傾きを検出し、
前記表示制御手段は、前記表示手段に前記携帯端末のピッチ方向とロール方向のそれぞれの傾きを指示する指示画像を前記表示手段に表示させることを特徴とする請求項9に記載の携帯端末。 - 撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する表示装置であって、
前記表示装置の傾きを検出する検出手段と、
前記撮影手段により撮影中の画像とともに、前記検出手段により検出された前記表示装置の傾きを指示する指示画像を前記表示手段に表示させる表示制御手段と、
前記表示装置の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を記憶する記憶手段と、
を備えることを特徴とする表示装置。 - 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置が実行する制御方法であって、
前記撮影手段の撮影方向を設定するための設定モードにおいて、
前記撮影手段以外の撮影装置により当該撮影装置の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、前記撮影装置から受信し、基準画像として記憶手段に記憶する記憶工程と、
前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御工程と、
を有することを特徴とする制御方法。 - 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像を表示する表示手段を有する表示装置が実行する制御方法であって、
前記撮影手段の撮影方向を設定するための設定モードにおいて、
前記撮影手段により当該撮影手段の撮影方向が所定の条件を満たしつつ撮影された前記前方風景の画像を、基準画像として記憶手段に記憶する記憶工程と、
前記記憶手段に記憶された前記基準画像を前記撮影手段が撮影中の画像と比較可能に前記表示手段に表示させる表示制御工程と、
を有することを特徴とする制御方法。 - 車両に搭載され、前記車両の前方風景を撮影する撮影手段と電気的に接続し、前記撮影手段が撮影中の画像の一部を表示する表示手段を有する表示装置が実行する制御方法であって、
前記撮影手段により撮影された前記前方風景の画像から、所定の条件を満たす領域を切り出した画像を、基準画像として記憶手段に記憶する記憶工程と、
前記撮影手段が撮影中の画像と前記基準画像とに共通して表示される特徴物の位置に基づき、前記撮影手段が撮影中の画像から、前記基準画像に相当する画像領域を認識し、当該画像領域を前記表示手段に表示させる表示制御工程と、
を有することを特徴とする制御方法。 - 撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する携帯端末が実行する制御方法であって、
前記携帯端末の傾きを検出する検出工程と、
前記撮影手段により撮影中の画像とともに、前記検出工程により検出された前記携帯端末の傾きを指示する指示画像を前記表示手段に表示させる表示制御工程と、
前記携帯端末の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を画像表示装置に送信する送信工程と、
を有することを特徴とする制御方法。 - 撮影手段と表示手段を有し、前記撮影手段で撮影中の画像を前記表示手段に表示する表示装置が実行する制御方法であって、
前記表示装置の傾きを検出する検出工程と、
前記撮影手段により撮影中の画像とともに、前記検出工程により検出された前記表示装置の傾きを指示する指示画像を前記表示手段に表示させる表示制御工程と、
前記表示装置の傾きが所定の範囲内となった際に前記撮影手段により撮影された画像を記憶手段に記憶する記憶工程と、
を有することを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015013363A JP2016139914A (ja) | 2015-01-27 | 2015-01-27 | 表示装置、携帯端末及び制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015013363A JP2016139914A (ja) | 2015-01-27 | 2015-01-27 | 表示装置、携帯端末及び制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016139914A true JP2016139914A (ja) | 2016-08-04 |
Family
ID=56559381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015013363A Pending JP2016139914A (ja) | 2015-01-27 | 2015-01-27 | 表示装置、携帯端末及び制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016139914A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019031318A1 (ja) * | 2017-08-08 | 2019-02-14 | 住友建機株式会社 | 道路機械 |
JP2019537797A (ja) * | 2017-02-16 | 2019-12-26 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 撮影方向ずれ検出方法、装置、デバイス及び記憶媒体 |
JP2020064056A (ja) * | 2018-10-17 | 2020-04-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 位置推定装置及び方法 |
JP2022058355A (ja) * | 2020-04-14 | 2022-04-12 | 株式会社ユピテル | 電子機器 |
-
2015
- 2015-01-27 JP JP2015013363A patent/JP2016139914A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019537797A (ja) * | 2017-02-16 | 2019-12-26 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 撮影方向ずれ検出方法、装置、デバイス及び記憶媒体 |
US10893209B2 (en) | 2017-02-16 | 2021-01-12 | Tencent Technology (Shenzhen) Company Limited | Photographing direction deviation detection method, apparatus, device, and storage medium |
WO2019031318A1 (ja) * | 2017-08-08 | 2019-02-14 | 住友建機株式会社 | 道路機械 |
JPWO2019031318A1 (ja) * | 2017-08-08 | 2020-09-24 | 住友建機株式会社 | 道路機械 |
JP7146767B2 (ja) | 2017-08-08 | 2022-10-04 | 住友建機株式会社 | 道路機械 |
JP2020064056A (ja) * | 2018-10-17 | 2020-04-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 位置推定装置及び方法 |
CN111060946A (zh) * | 2018-10-17 | 2020-04-24 | 三星电子株式会社 | 用于估计位置的方法和装置 |
JP7404010B2 (ja) | 2018-10-17 | 2023-12-25 | 三星電子株式会社 | 位置推定装置及び方法 |
JP2022058355A (ja) * | 2020-04-14 | 2022-04-12 | 株式会社ユピテル | 電子機器 |
JP7471605B2 (ja) | 2020-04-14 | 2024-04-22 | 株式会社ユピテル | 電子機器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11511627B2 (en) | Display device and computer program | |
JP4672190B2 (ja) | 映像ナビゲーション装置 | |
US8094192B2 (en) | Driving support method and driving support apparatus | |
JP4380550B2 (ja) | 車載用撮影装置 | |
US9948853B2 (en) | Camera parameter calculation device, navigation system and camera parameter calculation method | |
JP2007292713A (ja) | ナビゲーション装置 | |
JPWO2018193708A1 (ja) | ヘッドアップディスプレイ装置およびその表示制御方法 | |
TWI615301B (zh) | 自動輔助駕駛系統及其方法 | |
JP4801232B1 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
JP2007080060A (ja) | 対象物特定装置 | |
JP2006162442A (ja) | ナビゲーション装置及びナビゲーション方法 | |
JP4433385B2 (ja) | 目的地案内装置および携帯端末装置 | |
JP2016139914A (ja) | 表示装置、携帯端末及び制御方法 | |
JP7050425B2 (ja) | 測量システム | |
US9423267B2 (en) | Navigation device and display control method | |
JP2023165757A (ja) | 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム | |
JP5517176B2 (ja) | 画像調整装置、制御方法、プログラム、及び記憶媒体 | |
JP2015182646A (ja) | 撮影装置 | |
JP6424100B2 (ja) | ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法 | |
JP6401925B2 (ja) | 虚像表示装置、制御方法、プログラム、及び記憶媒体 | |
JP5231595B2 (ja) | ナビゲーション装置 | |
JP5174942B2 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
WO2019155557A1 (ja) | 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム | |
JP5082982B2 (ja) | カーナビゲーション装置 | |
JP5036895B2 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム |