JP2017112521A - 外部環境撮影装置 - Google Patents
外部環境撮影装置 Download PDFInfo
- Publication number
- JP2017112521A JP2017112521A JP2015246059A JP2015246059A JP2017112521A JP 2017112521 A JP2017112521 A JP 2017112521A JP 2015246059 A JP2015246059 A JP 2015246059A JP 2015246059 A JP2015246059 A JP 2015246059A JP 2017112521 A JP2017112521 A JP 2017112521A
- Authority
- JP
- Japan
- Prior art keywords
- external environment
- image
- instruction
- gesture
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
Abstract
【課題】走行している車両から外部環境を撮影するとき、ジェスチャーによる撮影指示であっても撮影対象を好適に捉えて撮影することができる外部環境撮影装置を提供する。【解決手段】外部環境撮影装置は、車両Cからその外部環境の画像を撮影する。外部環境撮影装置は、外部環境の画像を撮影する撮影部10と、運転者Dによる車内空間での指示動作の開始、及び指示動作が撮影部10に対する外部環境の画像の撮影指示であることを検出するジェスチャー検出部21と、外部環境の画像の撮影を指示動作の開始に基づいて開始させ、指示動作が外部環境の画像の撮影指示であることが検出されてから所定の継続期間経過後に外部環境の画像の撮影を終了させる撮影指示部23と、撮影部10が撮影した外部環境の画像のうち、指示動作が外部環境の画像の撮影指示であることが検出された時点を途中に含んだ所定の期間の撮影画像を保持する保持部24とを備える。【選択図】図1
Description
本発明は、走行中の車両から当該車両の外部環境を撮影する外部環境撮影装置に関する。
従来、運転操作が行われている車両において、外部環境の撮影画像を運転中に適切なタイミングで表示させる技術が提案されている(例えば、特許文献1)。
特許文献1に記載の技術は、表示器への撮影画像の表示継続動作を開始可能なテンポラリスイッチと、テンポラリスイッチが操作されたタイミングから後の所定時間にわたって表示器への撮影画像の表示を自動的に継続させる表示制御手段とを備える。
特許文献1に記載の技術は、表示器への撮影画像の表示継続動作を開始可能なテンポラリスイッチと、テンポラリスイッチが操作されたタイミングから後の所定時間にわたって表示器への撮影画像の表示を自動的に継続させる表示制御手段とを備える。
特許文献1に記載の技術によれば、撮影画像を表示させるタイミングをスイッチ操作で適切なタイミングに調整することができる。
ところで近年、機器の操作指示をスイッチに代えてジェスチャーで行う技術が車両にも適用されつつある。しかしながら、ジェスチャーは、指示を示す一連の動作が完了したときにその指示内容を含んだ態様で検出される特性を有する。このため操作者は、機器の操作を開始したい目標のタイミングにジェスチャーが検出されるようにすることが望ましいが、目標のタイミングにジェスチャーが検出される時点を合わせることは、その開始時点を合わせることに比べて容易ではない。特に、走行中の車両からその外部環境の画像をカメラで撮影するようなとき、ジェスチャーの検出されるタイミングが少しずれるだけで撮影対象がカメラの撮影可能範囲から外れてしまうおそれがある。
ところで近年、機器の操作指示をスイッチに代えてジェスチャーで行う技術が車両にも適用されつつある。しかしながら、ジェスチャーは、指示を示す一連の動作が完了したときにその指示内容を含んだ態様で検出される特性を有する。このため操作者は、機器の操作を開始したい目標のタイミングにジェスチャーが検出されるようにすることが望ましいが、目標のタイミングにジェスチャーが検出される時点を合わせることは、その開始時点を合わせることに比べて容易ではない。特に、走行中の車両からその外部環境の画像をカメラで撮影するようなとき、ジェスチャーの検出されるタイミングが少しずれるだけで撮影対象がカメラの撮影可能範囲から外れてしまうおそれがある。
本発明は、このような実情に鑑みなされたものであって、その目的は、走行している車両から外部環境を撮影するとき、ジェスチャーによる撮影指示であっても撮影対象を好適に捉えて撮影することができる外部環境撮影装置を提供することにある。
以下、上記課題を解決するための手段及びその作用効果を記載する。
上記目的を達成するために外部環境撮影装置は、車両からその外部環境の画像を撮影する外部環境撮影装置であって、前記車両に設けられ、該車両の外部環境の画像を撮影する撮影部と、前記車両の乗員による車内空間での指示動作の開始、及びこの開始した指示動作が前記撮影部に対する外部環境の画像の撮影指示であることを検出する指示検出部と、前記撮影部による外部環境の画像の撮影を前記指示動作の開始に基づいて開始させるとともに、前記指示動作が外部環境の画像の撮影指示であることが検出されてから所定の継続期間経過後に前記撮影部による外部環境の画像の撮影を終了させる撮影指示部と、前記撮影部が撮影した外部環境の画像のうち、前記指示動作が外部環境の画像の撮影指示であることが検出された時点を途中に含んで設定された所定の期間に撮影された画像を保持する保持部とを備えることを特徴とする。
上記目的を達成するために外部環境撮影装置は、車両からその外部環境の画像を撮影する外部環境撮影装置であって、前記車両に設けられ、該車両の外部環境の画像を撮影する撮影部と、前記車両の乗員による車内空間での指示動作の開始、及びこの開始した指示動作が前記撮影部に対する外部環境の画像の撮影指示であることを検出する指示検出部と、前記撮影部による外部環境の画像の撮影を前記指示動作の開始に基づいて開始させるとともに、前記指示動作が外部環境の画像の撮影指示であることが検出されてから所定の継続期間経過後に前記撮影部による外部環境の画像の撮影を終了させる撮影指示部と、前記撮影部が撮影した外部環境の画像のうち、前記指示動作が外部環境の画像の撮影指示であることが検出された時点を途中に含んで設定された所定の期間に撮影された画像を保持する保持部とを備えることを特徴とする。
通常、車両の外部環境の画像をジェスチャーによる指示で撮影する場合、撮影するタイミングにジェスチャーが検出されるタイミングを合わせるのは容易ではない。また、ジェスチャーに要する時間がばらつくこともある。そのため、ジェスチャーによる指示で撮影する場合、撮影されるタイミングが、ジェスチャーの検出時点を含む期間にばらつく傾向がある。この点、このような構成によれば、乗員が車内空間で行う指示動作、いわゆるジェスチャーが車両の外部環境の画像を撮影させる指示であることが検出された時点前記指示動作が外部環境の画像の撮影指示であることが検出された時点を途中に含んで設定された所定の期間を含む所定の期間に撮影された画像が保持される。つまり、ジェスチャーの検出時点に多少のばらつきが生じたとしても、車両外にある撮影対象が、保持された撮影画像に撮影されている可能性が高まる。これにより、移動している車両から外部環境を撮影するとき、ジェスチャーによる撮影指示であれ撮影対象とする画像が含まれるように当該画像を撮影することができるようになる。
図1を参照して、外部環境撮影装置を具体化した一実施形態について説明する。
図1に示す車両Cは乗用車であり、乗車している運転者Dによるアクセルの操作、ブレーキの操作、及びステアリングSなどの操作を通じて運転される。
図1に示す車両Cは乗用車であり、乗車している運転者Dによるアクセルの操作、ブレーキの操作、及びステアリングSなどの操作を通じて運転される。
運転者Dは、車両Cの運転中には車両Cの運転操作に集中することが求められており、運転操作に影響を与える行為は推奨されない。例えば、運転中の運転者Dは、運転操作に影響を与えるおそれの小さいスイッチ操作などをすることがあるが、こうした操作についても運転操作に対する影響をより小さくすることが望まれている。
そこで、本実施形態の外部環境撮影装置を搭載した車両Cは、ジェスチャーによって、運転者Dが機器を操作することができるようになっている。ジェスチャーは、スイッチなどの操作対象の位置を確認する必要がないため運転操作への影響が小さいからである。ただし、ジェスチャーは、ジェスチャーが行われた期間と、ジェスチャーの態様及び内容の判定処理に要する期間との経過後にその指示内容が検出されることから、ジェスチャーの誤検出を防ぐためにも、ジェスチャーの検出に要する時間を短くすることは容易ではない。つまりジェスチャーの検出は、ジェスチャーが行われた期間と判定処理に要する期間とを合わせた期間だけ遅れる。そのため、走行中の車両Cからその外部環境の画像を撮影する場合、運転者Dがジェスチャーによって適切なタイミングで撮影指示を出すことは容易でない。換言すれば、適切な撮影指示タイミングにジェスチャーの検出タイミングを合わせるために、運転者Dが、ジェスチャーが検出されるタイミングを計ってジェスチャーを開始することは容易ではない。
ここに、発明者は、ジェスチャーによる撮影指示によって外部環境を撮影するときに生じる次の傾向を見出した。つまり、車両速度vが遅いと、ジェスチャー中に移動する距離が短いため、適切なタイミングの撮影指示によって意図した位置を撮影しやすい傾向にある。他方、車両速度vが速いと、ジェスチャー中に移動する距離が長いため、撮影指示を適切なタイミングに合わせることが難しく、意図した位置を撮影しづらい傾向にある。また、撮影するタイミングが、運転者Dのジェスチャーが検出された時点を含む前後の期間に集中してばらつく傾向にもある。
そこでまず、図3及び図4を参照して、このような傾向を考慮した画像撮影処理の概要について説明する。ここでは、撮影対象が撮影部10(図1)の撮影範囲に含まれ始める位置Psから、同撮影範囲から外れる位置Pfまでの間を撮影可能範囲TGで示す。また車両Cは、時速100kmで走行しているものとする。時速100kmは約秒速28mであるから、外部環境(風景)の変化が速く、ジェスチャーの僅かな遅れや、逆に早いことで、撮影部10の撮影範囲から撮影対象が外れるおそれが高い。
ここでは図3及び図4に示すように、車両Cの走行中、運転者Dが撮影対象を発見したとすると、運転者Dはその撮影意思を有してジェスチャーの準備を開始する(車両位置P1a、P1b)。これにより、車両Cは、ステアリングSから離れた手HAを検出する(車両位置P2a、P2b)とともに、ジェスチャーの開始を判定する(車両位置P3a、P3b)。そして、車両Cは、ジェスチャーを検出し、この検出した指示内容が外部環境の画像の撮影指示であることを判断して外部環境を撮影する(車両位置P4a、P4b)。
ここで、図3は、ジェスチャーの検出が遅れた場合を示している。撮影可能範囲TGの手前でジェスチャーが開始されるが(車両位置P3a)、ジェスチャーの開始が遅かったため、車両Cはジェスチャーを検出するまでに走行した距離GEのうちに撮影可能範囲TGを通過してしまっている。よって、ジェスチャーの検出に応じて撮影した場合、撮影画像には撮影対象が含まれないことになる。
他方、図4は、ジェスチャーの検出が早かった場合を示している。撮影可能範囲TGの手前でジェスチャーが開始されるが(車両位置P3b)、ジェスチャーの開始が早かったため、車両Cはジェスチャーが検出されたとき撮影可能範囲TGに至っていない。よって、ジェスチャーの検出に応じて撮影した場合、これも撮影画像には撮影対象が含まれないことになる。
そこで本実施形態では、図3及び図4に示すように、ジェスチャーの開始をバッファタイミングの開始として撮影画像のバッファ(一時的保持)を開始し、ジェスチャーの検出に応じてジェスチャーの検出タイミングを含む所定の期間としての撮影時間幅Hの期間を保存タイミングPhとして撮影画像を後に利用可能に保持するようにしている。これにより、保持された撮影画像には、撮影可能範囲TGで撮影された撮影対象を含む目的画像Paが含まれるようになる。
次に、図1を参照して、このような原理のもとに外部環境の撮影を行う本実施形態の外部環境撮影装置の構成を説明する。
この装置は、車両Cの外部環境の画像を撮影する上述した撮影部10と、運転者Dのジェスチャーを検出するセンサ11と、車両Cの車両速度vを検出する速度検出部13と、各種の情報処理を行う処理ECU(電子制御装置)20とを備える。撮影部10と処理ECU20とは電気的に接続されており、撮影部10が出力した撮影画像は処理ECU20に入力可能であるとともに、処理ECU20が出力した撮影タイミングは撮影部10に入力可能である。センサ11と処理ECU20とも電気的に接続されており、センサ11が出力したジェスチャーの情報は処理ECU20に入力可能である。速度検出部13は、CAN(コントローラエリアネットワーク)などの車内LANを介して処理ECU20に通信可能に接続されており、検出した車両速度に関する速度情報が処理ECU20に取り込まれる。
この装置は、車両Cの外部環境の画像を撮影する上述した撮影部10と、運転者Dのジェスチャーを検出するセンサ11と、車両Cの車両速度vを検出する速度検出部13と、各種の情報処理を行う処理ECU(電子制御装置)20とを備える。撮影部10と処理ECU20とは電気的に接続されており、撮影部10が出力した撮影画像は処理ECU20に入力可能であるとともに、処理ECU20が出力した撮影タイミングは撮影部10に入力可能である。センサ11と処理ECU20とも電気的に接続されており、センサ11が出力したジェスチャーの情報は処理ECU20に入力可能である。速度検出部13は、CAN(コントローラエリアネットワーク)などの車内LANを介して処理ECU20に通信可能に接続されており、検出した車両速度に関する速度情報が処理ECU20に取り込まれる。
撮影部10は、カメラを含んで構成され、カメラが車両前方の外部環境の画像を撮影できるように車内もしくは車外に取り付けられている。また撮影部10は、処理ECU20からの撮影開始の指示に応じて撮影を開始し、撮影終了の指示に応じて撮影を終了する。そして撮影部10は、撮影開始の指示から撮影終了の指示までの間に撮影した撮影画像を処理ECU20に出力する。なお、撮影部10は、ドライブレコーダなどを用いてもよい。
センサ11は、車両Cの車内空間の所定の検出範囲11Aにおける運転者Dによる指示動作としてのジェスチャーを検出する機能を備える。センサ11は、手HAの位置をジェスチャーの検出に必要な精度で認識できる検出機能を備え、こうした技術としては、例えば、「TOF」(time of flight)や、「距離画像センサー」や、「画像認識技術」などが挙げられる。そして、センサ11は、手HAのかたち、動き及び停止時間の少なくとも一つをジェスチャーとして検出し、検出したジェスチャーの情報を処理ECU20に出力する。なお、手HAには、指、手のひら、手の甲、腕や肘などの少なくとも一部を含むことができる。
速度検出部13は、車両速度vを検出する速度センサを含んで構成されており、速度センサにより検出した車両速度vの速度情報をCANに逐次送信する。よって、処理ECU20は、CANを介して速度検出部13により検出された最新の車両速度vを取得する。
処理ECU20は、いわゆる電子制御装置であって演算装置や記憶装置を有する小型コンピュータを含んで構成されている。処理ECU20は、記憶装置に記憶されたプログラムやパラメータを演算装置により演算することによって各種制御を行う。本実施形態では、画像撮影処理プログラムの実行により、画像撮影処理が行われる。
処理ECU20は、ジェスチャーを検出する指示検出部としてのジェスチャー検出部21と、車両Cの速度に基づいて撮影時間幅を変更する撮影時間幅変更部22と、撮影部10に撮影タイミングを指示する撮影指示部23と、撮影画像を保持する保持部24とを備える。ジェスチャー検出部21と、撮影時間幅変更部22と、撮影指示部23と、保持部24とは内部バスなどを介して相互に情報伝達可能に接続されている。また、処理ECU20は、内部バスとCANとの間でも情報の相互伝達を可能としている。
ジェスチャー検出部21は、センサ11が検出したジェスチャーを取得して、ジェスチャーの種類を検出する。ジェスチャー検出部21は、ジェスチャーが開始されると、ジェスチャーの認識処理を経てジェスチャーを検出する。ジェスチャーの認識処理では、ジェスチャーの終了タイミングを検知し、ジェスチャーの開始から終了までに含まれる一連の動きを抽出し、この抽出した動きが予め定められた動作態様に符合するか否かを判定して、判定した動作態様の種類に対応する指示を特定する。ジェスチャーは、手のかたち、動き及び停止時間の少なくとも1つから一連の動きが構成される。一方、ジェスチャー検出部21は、ジェスチャーがいずれの動作態様にも符合しない場合や、開始からの経過時間が長くてタイムアウトした場合などは、ジェスチャーではないと判定する。
本実施形態では、ジェスチャー検出部21は、外部環境の画像の撮影指示に対応するジェスチャーを検出する。ジェスチャー検出部21は、何らかのジェスチャーが開始されると開始情報を出力し、ジェスチャーから外部環境の画像の撮影指示を検出したとき、外部環境の画像の撮影指示を出力する。なお、ジェスチャー検出部21は、ジェスチャーからその他の指示を検出したとき、その検出した指示も出力する。一方、ジェスチャー検出部21は、その他の指示でもない場合や、タイムアウトした場合には、ジェスチャーの判定を中止した情報である判定中止を出力する。
撮影時間幅変更部22は、車両Cの車両速度vに基づいて撮影時間幅Hを変更する。撮影時間幅Hは、車両Cの車両速度v[m/s]、撮影距離L[m]としたとき、下記式(1)〜(3)で算出される。なお、撮影距離L[m]は、予め設定された定数を用いる。
Ha=v/L…(1)
Ha<1のとき、H=0…(2)
Ha≧1のとき、H=Ha…(3)
式(3)によれば、車両速度vに比例して撮影時間幅Hが長くなるため、どのような車両速度vであれジェスチャーの検出に基づき設定された撮影時間幅Hに撮影可能範囲TGが含まれる可能性が高くなる。
Ha<1のとき、H=0…(2)
Ha≧1のとき、H=Ha…(3)
式(3)によれば、車両速度vに比例して撮影時間幅Hが長くなるため、どのような車両速度vであれジェスチャーの検出に基づき設定された撮影時間幅Hに撮影可能範囲TGが含まれる可能性が高くなる。
図5は、撮影距離L=「15」としたときの撮影時間幅Hの一例を示している。このとき、Ha=「54」となることから、時速54km未満のときには式(2)が適用されて撮影時間幅Hは「0」となる。本実施形態では、H=「0」のときは、車両Cの車両速度vは低速であると判断する。一方、時速54km以上のときには式(3)が適用されて撮影時間幅H=Haとなる。例えば、時速100kmのときの撮影時間幅Hである撮影時間幅h100は「約1.8秒」になり、時速120kmのときの撮影時間幅Hである撮影時間幅h120は「約2.2秒」になる。本実施形態では、H=Haのときは、車両Cの車両速度vは高速であると判断する。なお、撮影距離Lは「15」よりも短くすることもできるし、長くすることもできる。
撮影指示部23は、ジェスチャー検出部21及び撮影時間幅変更部22から受け取る各種情報に基づいて、撮影部10に撮影タイミングを指示する。まず、撮影指示部23は、ジェスチャー検出部21からの開始情報に基づいて、撮影部10に撮影開始、及び、撮影の継続を指示する。また、撮影指示部23は、ジェスチャー検出部21からの外部環境の画像の撮影指示を受けると、その指示を受けたときから所定の継続期間としての撮影時間幅Hの半分の期間が経過することに応じて撮影部10に撮影終了を指示する。また、撮影指示部23は、ジェスチャー検出部21からのその他の指示又は判定中止に応じて撮影部10に撮影中止を指示する。
保持部24は、ハードディスクや不揮発性メモリなどからなる記憶部25を備えている。保持部24は、ジェスチャー検出部21及び撮影時間幅変更部22及び撮影指示部23からの各種情報に基づいて、撮影部10から入力した撮影画像を一時的、又は、持続的に記憶部25に記憶する。
保持部24は、撮影指示部23からの撮影開始に応じて、撮影部10から入力される撮影画像のバッファ(一時的な保持)を開始する。また、保持部24は、撮影指示部23からの撮影終了に応じて、撮影部10から入力する撮影画像のバッファを終了するとともに、持続的に記憶する撮影画像を選択する。すなわち、保持部24は、撮影指示部23からの撮影終了の指示から撮影時間幅Hだけ遡った期間に含まれる撮影画像を記憶部25に持続的に記憶させるとともに、撮影時間幅Hだけ遡った期間に含まれない撮影画像をバッファから削除する。撮影時間幅Hの半分で撮影指示部23から撮影終了の指示が出されることから、記憶部25には、撮影終了の指示が撮影時間幅Hの中央になる(途中に含む)かたちで撮影画像が記憶される。また、保持部24は、撮影指示部23からの撮影中止に応じて、全ての撮影画像をバッファから削除する。このとき、保持部24には、撮影画像が保持されることはない。
次に、図2及び図6〜図8を参照して、外部環境撮影装置の動作について説明する。
図2を参照して、画像撮影処理の手順について説明する。なお、画像撮影処理のプログラムは処理ECU20で、所定の間隔で繰り返し実行され、プログラムに設定された条件に応じて当該プログラムに含まれる各種処理が適切に選択実行される。ただし、図2では、説明の便宜上、各処理の進行順を模式的に示している。
図2を参照して、画像撮影処理の手順について説明する。なお、画像撮影処理のプログラムは処理ECU20で、所定の間隔で繰り返し実行され、プログラムに設定された条件に応じて当該プログラムに含まれる各種処理が適切に選択実行される。ただし、図2では、説明の便宜上、各処理の進行順を模式的に示している。
画像撮影処理が開始されると、処理ECU20は、ジェスチャー検出部21で運転者Dの手HAの検出を繰り返し(ステップS10でNO)、運転者Dの手HAが検出された場合(ステップS10でYES)、撮影時間幅変更部22で車両Cの車両速度vに応じた撮影時間幅Hを決定する(ステップS11)。次に、処理ECU20は、撮影指示部23で撮影時間幅Hが「0」であるか否かを判定する(ステップS12)。撮影時間幅Hが「0」であると判断した場合(ステップS12でYES)、処理ECU20は、撮影指示部23で通常の判定フローに基づいて撮影の指示を行う(ステップS20)。通常の判定フローに基づく撮影の指示は、例えば、撮影指示のタイミングで撮影部10に1回だけ外部環境の画像を撮影させる指示である。そして、画像撮影処理の手順が一旦終了する。
通常の判定フローは、図6に示すように、例えば時速40kmなど、車両速度vが低速のときに選択される。この通常の判定フローでは、運転者Dのジェスチャー準備(車両位置P21)、処理ECU20の手HAの検出(車両位置P22)、及びジェスチャー開始の検出(車両位置P23)を経てジェスチャーが検出された(車両位置P24)とき、影時間幅h0が「0」であり、期間に幅がないことから、撮影部10へ1回だけの撮影指示が出される。この撮影指示に応じ、撮影部10は1回だけ外部環境の画像を撮影する。車両速度vが遅い場合、1回だけの撮影指示であっても、その指示が撮影可能範囲TG内にある可能性が高く、撮影対象を含む画像が撮影される可能性が高い。また、1回だけの撮影指示に基づく保存タイミングによって、撮影された画像は、保持部24で継続的に保存される。なお、撮影画像は一旦バッファを介してから継続的に保存されてもよい。
一方、図2に示すように、撮影時間幅Hが「0」ではないと判断した場合(ステップS12でNO)、処理ECU20は、ジェスチャー検出部21でジェスチャーの開始の判定を繰り返す(ステップS13でNO)。そして、ジェスチャーの開始が判定された場合(ステップS13でYES)、処理ECU20は、撮影指示部23で撮影部10に撮影開始を指示するとともに、保持部24で撮影部10から入力される撮影画像のバッファを開始する(ステップS14)。
続いて、処理ECU20は、ジェスチャー検出部21で外部環境の画像の撮影指示がジェスチャーから検出できたか否かを判定する(ステップS15)。外部環境の画像の撮影指示が検出されなかった場合(ステップS15でNO)、処理ECU20は、撮影指示部23が撮影部10に撮像中止を指示し、保持部24がバッファした撮影画像を全て破棄する(ステップS24)。なお、車両Cでは、処理ECU20又は他のECUで、検出されたジェスチャーに対する操作等の処理が実施される(ステップS25)。なお、ジェスチャーに対する操作がないような場合、処理等は行われない。そして、画像撮影処理の手順が一旦終了する。
また一方、外部環境の画像の撮影指示が検出された場合(ステップS15でYES)、処理ECU20は、撮影指示部23で外部環境の画像の撮影指示が検出されてから撮影時間幅Hの半分の期間(H/2の期間)待機してから撮影部10に撮影終了を指示する(ステップS21)。また、保持部24では撮影終了に応じて撮影画像のバッファ(一時的な保持)を完了する(ステップS22)。そして、処理ECU20は、保持部24でバッファされた撮影画像のなかから撮影終了から撮影時間幅Hだけ遡った期間に含まれる全部の撮影画像を選択して、持続的に保存する(ステップS23)。換言すると、撮影時間幅Hだけ遡った期間は、撮影開始に基づき出力された撮影終了のタイミングを中心にして撮影時間幅Hだけ広がる範囲になる。そして、画像撮影処理の手順が一旦終了する。
なお、一旦終了した画像撮影処理の手順は、その後新たに開始される。
ここで、図7及び図8を参照して、画像撮影処理の手順によって撮影画像が取得される場合を説明する。図7は、車両速度vが時速100km、撮影時間幅h100=「1.8秒」である場合を示し、図8は、車両速度vが時速120km、撮影時間幅h120=「2.2秒」である場合を示している。
ここで、図7及び図8を参照して、画像撮影処理の手順によって撮影画像が取得される場合を説明する。図7は、車両速度vが時速100km、撮影時間幅h100=「1.8秒」である場合を示し、図8は、車両速度vが時速120km、撮影時間幅h120=「2.2秒」である場合を示している。
いずれも、図3や図4と同様に、運転者Dがジェスチャーの準備を開始(車両位置P1,P11)、車両Cが手HAを検出するとともに(車両位置P2,P12)、ジェスチャーの開始を検出する(車両位置P3,P13)。そして、車両Cは、外部環境の画像の撮影指示を検出することに応じて外部環境を撮影する(車両位置P4,P14)。
このとき、撮影時間幅h100が「1.8秒」であれば、車両Cが走行する距離は「50m」になるが、ジェスチャーの検出されたタイミングを中心に前後「25m」の範囲の画像が保持部24に継続的に保持される。また、撮影時間幅h120が「2.2秒」であれば、車両Cが走行する距離は「約70m」になるが、ジェスチャーの検出されたタイミングを中心に前後「約35m」の範囲の画像が保持部24に継続的に保持される。
つまり、ジェスチャーが検出されるまでに走行した距離GEが撮影可能範囲TGを通過するが、ジェスチャーが検出されたタイミング(車両位置P4,P14)を含む撮影時間幅Hに撮影可能範囲TGが含まれるため、この保持部24に継続的に保持された撮影画像には撮影対象を含む目的画像Paが含まれるようになる。
以上説明したように、本実施形態に係る外部環境撮影装置によれば、以下に列記するような効果が得られるようになる。
(1)本実施形態では、運転者Dが車内空間で行う指示動作、いわゆるジェスチャーが車両Cの外部環境の画像を撮影させる指示であることが検出された時点を途中に含む所定の期間に撮影された画像が保持される。つまり、ジェスチャーの検出時点に多少のばらつきが生じたとしても、車両外にある撮影対象が、保持された撮影画像に撮影されている可能性が高まる。これにより、移動している車両Cから外部環境を撮影するとき、ジェスチャーによる撮影指示であれ撮影対象とする画像が含まれるように当該画像を撮影することができる。
(1)本実施形態では、運転者Dが車内空間で行う指示動作、いわゆるジェスチャーが車両Cの外部環境の画像を撮影させる指示であることが検出された時点を途中に含む所定の期間に撮影された画像が保持される。つまり、ジェスチャーの検出時点に多少のばらつきが生じたとしても、車両外にある撮影対象が、保持された撮影画像に撮影されている可能性が高まる。これにより、移動している車両Cから外部環境を撮影するとき、ジェスチャーによる撮影指示であれ撮影対象とする画像が含まれるように当該画像を撮影することができる。
(2)車両の速度を検出し、この検出した速度に応じて撮影時間幅Hを決定するようにした。これにより、図7〜図8に例示したように、撮影対象とする画像がより含まれやすくなる。すなわち、撮影対象とする画像の捕獲確率が高められる。
(その他の実施形態)
なお、上記実施形態は、以下の態様で実施することもできる。
・上記実施形態では、運転者Dがジェスチャーを行う場合について例示したが、これに限らず、車両の運転者以外の乗員がジェスチャーを行ってもよい。これにより、動きの自由度の低い走行中の車両での機器の操作性を高めることができる。
なお、上記実施形態は、以下の態様で実施することもできる。
・上記実施形態では、運転者Dがジェスチャーを行う場合について例示したが、これに限らず、車両の運転者以外の乗員がジェスチャーを行ってもよい。これにより、動きの自由度の低い走行中の車両での機器の操作性を高めることができる。
・上記実施形態では、指示動作として、ジェスチャーが検出される場合について例示したが、これに限らず、手などのポーズの状態(ポージング)が検出されてもよい。例えば、ジェスチャー検出部が、規定のポーズが規定時間維持されることに基づいて指示動作としてのポーズの状態と、対応する操作とを検出してもよい。
・上記実施形態では、ジェスチャーが検出されたタイミングから撮影時間幅Hの半分だけ撮影を継続する場合について例示したが、これに限らず、撮影可能範囲を撮影時間幅Hに含むことができるのであれば、同タイミングから撮影時間幅Hの半分より多い時間、または少ない時間だけ撮像を継続するように調整してもよい。
・上記実施形態では、撮影終了から撮影時間幅Hだけ遡った期間に含まれる全部の撮影画像を選択する場合について例示したが、これに限らず、遡った期間からサンプリングした撮影画像を選択してもよい。例えば、撮影時間幅Hに応じて定まる枚数となるようにサンプリングしてもよい。これにより、継続的に保持する撮影画像を減らすことができるようになる。
・上記実施形態では、撮影部10は車両Cの前方の画像を撮影することができる場合について例示したが、これに限らず、撮影部は、車両の前方以外の方向、例えば、右側方、左側方、後方などを撮影可能であってもよい。これにより、走行中であれ、右側方、左側方、後方などの画像をジェスチャー操作であれ適切なタイミングで撮影できるようになる。
・上記実施形態、特に図2に例示した動作例では、検出される車両の速度に応じて撮影時間幅Hを可変設定するようにしたが、図3及び図4に概要を示した構成であればよい。すなわち、撮影部10による外部環境の画像の撮影を指示動作(ジェスチャーもしくはポージング)の開始に基づいて開始させるとともに、指示動作が外部環境の画像の撮影指示であることが検出されてから所定の継続期間経過後に撮影部10による外部環境の画像の撮影を終了させる撮影指示部23を備える構成であればよい。この構成であれば、上記(1)の効果を得ることはできる。
・上記実施形態では、車両Cが乗用車である場合について説明したが、これに限らず、車両は、営業用の車両、二輪車、バス、トラック、農工業用の車両、工事や土木作業用の車両などの自動車であってもよい。
10…撮影部、11…センサ、11A…検出範囲、13…速度検出部、20…処理ECU、21…ジェスチャー検出部、22…撮影時間幅変更部、23…撮影指示部、24…保持部、25…記憶部、C…車両、D…運転者、S…ステアリング、HA…手、Pa…目的画像。
Claims (1)
- 車両からその外部環境の画像を撮影する外部環境撮影装置であって、
前記車両に設けられ、該車両の外部環境の画像を撮影する撮影部と、
前記車両の乗員による車内空間での指示動作の開始、及びこの開始した指示動作が前記撮影部に対する外部環境の画像の撮影指示であることを検出する指示検出部と、
前記撮影部による外部環境の画像の撮影を前記指示動作の開始に基づいて開始させるとともに、前記指示動作が外部環境の画像の撮影指示であることが検出されてから所定の継続期間経過後に前記撮影部による外部環境の画像の撮影を終了させる撮影指示部と、
前記撮影部が撮影した外部環境の画像のうち、前記指示動作が外部環境の画像の撮影指示であることが検出された時点を途中に含んで設定された所定の期間に撮影された画像を保持する保持部とを備える
ことを特徴とする外部環境撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246059A JP2017112521A (ja) | 2015-12-17 | 2015-12-17 | 外部環境撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246059A JP2017112521A (ja) | 2015-12-17 | 2015-12-17 | 外部環境撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017112521A true JP2017112521A (ja) | 2017-06-22 |
Family
ID=59079698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015246059A Pending JP2017112521A (ja) | 2015-12-17 | 2015-12-17 | 外部環境撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017112521A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020013519A1 (en) | 2018-07-10 | 2020-01-16 | Samsung Electronics Co., Ltd. | Method and system of displaying multimedia content on glass window of vehicle |
EP3781442A4 (en) * | 2018-07-10 | 2021-05-19 | Samsung Electronics Co., Ltd. | METHOD AND SYSTEM FOR DISPLAYING MULTIMEDIA CONTENT ON A WINDSCREEN OF A VEHICLE |
-
2015
- 2015-12-17 JP JP2015246059A patent/JP2017112521A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020013519A1 (en) | 2018-07-10 | 2020-01-16 | Samsung Electronics Co., Ltd. | Method and system of displaying multimedia content on glass window of vehicle |
EP3781442A4 (en) * | 2018-07-10 | 2021-05-19 | Samsung Electronics Co., Ltd. | METHOD AND SYSTEM FOR DISPLAYING MULTIMEDIA CONTENT ON A WINDSCREEN OF A VEHICLE |
US11407359B2 (en) | 2018-07-10 | 2022-08-09 | Samsung Electronics Co., Ltd | Method and system of displaying multimedia content on glass window of vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6557768B2 (ja) | 追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システム | |
JP6500849B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5916566B2 (ja) | 情報システム | |
EP2930658A1 (en) | Image-capturing device for moving body | |
WO2019000664A1 (zh) | 一种信息处理方法及电子设备 | |
JP2017112521A (ja) | 外部環境撮影装置 | |
JP6579807B2 (ja) | 撮像制御装置、撮像装置および撮像制御プログラム | |
JP2009099033A (ja) | 車両周辺画像撮影制御装置および車両周辺画像撮影制御装置に用いるプログラム | |
JP2018038009A5 (ja) | ||
JP2010136095A (ja) | 追尾撮像装置、追尾撮像方法、及びコンピュータプログラム | |
JP2008082925A (ja) | ナビゲーション装置、その制御方法及び制御プログラム | |
WO2018163492A1 (ja) | 運転モード切替制御装置、方法、及びプログラム | |
US10228769B2 (en) | Equipment control device, equipment control method, and non-transitory recording medium | |
JP5084542B2 (ja) | 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム | |
JP2018142829A5 (ja) | ||
KR101961663B1 (ko) | 플랫폼 운용시스템 및 그의 표적 포착 방법 | |
JP2012256159A (ja) | 接近物検知装置および接近物検知方法 | |
JP5863105B2 (ja) | 車両移動量推定装置および障害物検出装置 | |
JP6788447B2 (ja) | 映像出力システム | |
JP7234412B2 (ja) | 撮像支援装置、撮像装置、撮像システム、撮像支援方法、及びプログラム | |
JP6933161B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2009065472A (ja) | 走行画像撮影装置、走行画像撮影方法及び走行画像撮影プログラム | |
JP6284203B2 (ja) | 監視装置 | |
JP2015032231A (ja) | 画像抽出方法及び画像抽出装置 | |
JP6787422B2 (ja) | 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム |