JP2019027824A - 表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラム - Google Patents

Abstract

【課題】車両（１）に設置された撮像装置（２０）で、車両（１）の走行中に、撮影者の意図した静止画を撮影する。【解決手段】表示制御装置（１０）は、車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）と、任意の画像を表示する表示装置（３１）とに接続される。表示制御装置（１０）の制御部（１１２−１１８）は、乗員による操作を受け付ける入力部（３２／３４）において操作を受け付けた第１時刻から設定時間遡った第２時刻に撮像装置（２０）によって撮像され、記憶部（１１１）に保持されている、一以上の画像のうちの第１画像を決定し、表示装置（３１）に対して、決定した第１画像の少なくとも一部を表示させる表示指示を送信する。【選択図】図４

Description

本発明は、車載カメラで撮像された画像の表示制御を行う表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラムに関する。

近年、ドライブレコーダや運転支援用のカメラが搭載されている車両が増加してきている。今後、自動運転車両が普及していくにつれて、高精細なカメラが搭載された車両が増加していくと予想される。

車両を運転中に、いい景色に遭遇した場合、写真を撮りたいと思うときがある。例えば、一般的なデジタルカメラのシャッタ機能を搭載したドライブレコーダが提案されている（例えば、特許文献１参照）。

特開２００９−２５８８９７号公報

車両走行中に撮影したい被写体が出現した場合において、車両は移動しているため、撮影したいと思ってから実際にシャッタ操作を行うタイミングまでの間に、撮影地点が変わり、被写体も相対的に移動している可能性がある。従って、撮影された写真は、当初に意図した構図と大きく違っていることがある。

本発明はこうした状況に鑑みなされたものであり、その目的は、車両に設置されたカメラで、走行中に撮影者の意図した静止画を撮影するための技術を提供することにある。

上記課題を解決するために、本発明のある態様の表示制御装置は、車両に設置されて当該車両の外部を撮像する撮像装置と、任意の画像を表示する表示装置とに接続される表示制御装置であって、前記表示制御装置の動作を制御する制御部と、前記撮像装置から受信した一以上の画像を記憶する記憶部と、を備える。前記制御部は、乗員による操作を受け付ける入力部において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置によって撮像され、前記記憶部に保持されている、前記一以上の画像のうちの第１画像を決定し、前記表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、車両に設置されたカメラで、走行中に撮影者の意図した静止画を撮影することができる。

本発明の実施の形態１に係る、撮像部の設置位置の一例を示す図である。 図２（ａ）−（ｃ）は、撮像部を使用した撮像方法の比較例を説明するための図である。 図３（ａ）、（ｂ）は、車両の走行位置と、第１被写体及び第２被写体との位置関係を示す図である。 本発明の実施の形態１に係る、画像撮像システムの構成を示すブロック図である。 シャッタ操作を受け付けた時刻から遡る設定時間を説明するための図である。 本発明の実施の形態１に係る画像撮像システムの動作例を示すフローチャートである。 本発明の実施の形態２に係る、撮像部及び視線検知部の設置位置の一例を示す図である。 本発明の実施の形態２に係る、画像撮像システムの構成を示すブロック図である。 図９（ａ）−（ｃ）は、運転者の視線位置の移動例を示す図である。 図９（ｃ）の運転者の視線位置の移動軌跡を時系列に示した図である。 「８」時点で撮像された画像から切り出される切出領域が固定の場合と可変の場合を比較した図である。 本発明の実施の形態２に係る画像撮像システムの動作例を示すフローチャートである。 図１３（ａ）−（ｃ）は、図９（ａ）−（ｃ）に示した視線位置の移動例の変形例を示す図である。 図１３（ｃ）の運転者の視線位置の移動軌跡を時系列に示した図である。

（実施の形態１）
本発明の実施の形態１は、車両内に構築される画像撮像システムである。当該画像撮像システムは、車両に設置されたカメラにより撮影された一定時間分の映像を常時保持し、ユーザにより行われたシャッタ操作より過去に撮影された静止画を、撮影画像として抽出するものである。

図１は、本発明の実施の形態１に係る、撮像部２０の設置位置の一例を示す図である。撮像部２０は、車両の進行方向前方を撮影可能なカメラである。例えば、撮像部２０は車両１内のルームミラーの上に取り付けられる。なお撮像部２０は車両１の外に取り付けることも可能であり、例えば、フロントグリルに内蔵させてもよい。

撮像部２０は、ドライブレコーダ、運転支援、自動運転用のカメラを転用したものであってもよいし、鑑賞用の画像を撮影する専用機であってもよい。撮像部２０には、魚眼レンズ等を使用した超広角カメラを使用することが好ましいが、撮像部２０の画角は任意であり、特に限定されるものではない。超広角カメラを使用した方が広範囲を撮像できるため、カメラを可動式にしなくても動体を広範囲に追尾することができる。可動部を持たない超広角カメラは、視点が安定しており、メンテナンスの頻度も低くなる。

図２（ａ）−（ｃ）は、撮像部２０を使用した撮像方法の比較例を説明するための図である。この例では、撮像部２０に超広角カメラを使用している。図２（ａ）は、車両１の走行中に運転者が、前方の風景に興味対象物を発見し、撮影したいという意思を抱いた時点（ｔ０）を示している。例えば、「綺麗な山だ。ＳＮＳ（Social Networking Service）に投稿して、皆んなとシェアしたい。」という気持ちを抱いた時点を示している。

しかしながら運転中であり、カメラを構えて被写体を狙っている状態ではない。従って、実際に撮影したいと思ってからシャッタ操作を行うまでの間にタイムラグが発生する。運転中のシャッタ操作としては、センターディスプレイへのタッチ、音声入力などが考えられるが、いずれも撮影意思を抱いてから実際に操作が完了するまでに時間がかかる操作である。

図２（ｂ）は、車両１の走行中に運転者が、シャッタ操作を行った時点（ｔ１）を示している。図２（ｃ）は、シャッタ操作に起因した実際の撮像と記録が完了した時点（ｔ２）を示している。このタイミングでシャッタ音（カシャ）が音声出力され、運転者は写真が撮れたことを認識することができる。

シャッタ操作を受け付けてから、実際の撮像と記録が完了するまでの間に、システム遅延が発生する。シャッタ操作を受け付けてから撮像部２０が撮像して記録するまでの間には電子制御が介在しており、厳密には遅延が発生している。

ＰＯＩ（Point Of Interest）は、各時点で車両１（≒撮像部２０）が位置する地点の位置情報であり、例えば、ＧＰＳセンサで検出された緯度経度情報が使用される。ＰＯＩは、静止画ファイルに撮影位置の情報としてタグ付けされる。

図２（ａ）−（ｂ）の下段の画像は、撮像部２０で捉えられている各時点ｔ０、ｔ１、ｔ２の超広角画像Ｍ０、Ｍ１、Ｍ２を示している。扇型の切出領域Ｃ０、Ｃ１、Ｃ２は、超広角画像Ｍ０、Ｍ１、Ｍ２からそれぞれ切り出される領域を示している。実施の形態１では切出領域Ｃ０、Ｃ１、Ｃ２は固定であり、例えば、前方を見ている運転者の視野範囲に相当する領域に設定されている。一般的な人の眼は、画角的には、３５ｍｍ判で焦点距離５０ｍｍのレンズに近似している。なお本明細書では、３５ｍｍ判で焦点距離３５ｍｍ以下のレンズで撮像された画像を広角画像、焦点距離２４ｍｍ以下のレンズで撮像された画像を超広角画像と呼ぶ。

撮影意思を抱いた時点ｔ０の切出領域Ｃ０には、第１被写体Ｏ１及び第２被写体Ｏ２が収まっている。シャッタ操作を行った時点ｔ１の切出領域Ｃ１からは、第１被写体Ｏ１の一部が欠落している。実際の撮像を行った時点ｔ２の切出領域Ｃ２からは、第１被写体Ｏ１の全てが欠落し、第２被写体Ｏ２の一部が欠落している。

図３（ａ）、（ｂ）は、車両１の走行位置と、第１被写体Ｏ１及び第２被写体Ｏ２との位置関係を示す図である。図３（ａ）は、撮影意思を抱いた時点ｔ０の車両１の位置を示している。この時点ｔ０では、第１被写体Ｏ１及び第２被写体Ｏ２は車両１の前方に存在する。その後、道路は右にカーブしている。図３（ｂ）は、実際の撮像を行った時点ｔ２の車両１の位置を示している。この位置からは、第１被写体Ｏ１及び第２被写体Ｏ２は車両１の左方に存在している。

このように運転者が運転中に気になる物を発見し、それを撮影したい場合において、車両１が移動しているため、撮影したいと思ってから実際に撮像部２０で撮像されるまでに撮影地点が動いてしまう。従って、撮影したい被写体の位置も相対的に動いてしまい、意図した写真構図と異なってしまう。以下、車両１の走行中に撮像部２０を用いて、撮影したいと思った構図の写真を撮影することを可能とする仕組みを説明する。

図４は、本発明の実施の形態１に係る、画像撮像システム２の構成を示すブロック図である。画像撮像システム２は、制御装置１０、撮像部２０、ユーザインタフェース部３０、及び位置情報検出部４０を含む。

撮像部２０は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の固体撮像素子を備え、当該固体撮像素子は光電変換した画像信号を制御装置１０に出力する。撮像部２０と制御装置１０間は、バス、有線ＬＡＮ、無線ＬＡＮなど、任意の伝送形態で接続することができ、また、間に何か別の構成（デバイス）が介在していても良い。実施の形態１では撮像部２０は、高画質の動画像を撮像して制御装置１０に出力する。例えば、フルＨＤ以上の解像度で、６０Ｈｚ以上のフレームレートで撮像した画像信号を制御装置１０に出力する。

制御装置１０は処理部１１、Ｉ／Ｏ部１２、記録部１３及び通信部１４を備える。処理部１１は、一時保持部１１１、画像取得部１１２、ＵＩ制御部１１３、画像選択部１１４、画像補正部１１７及び画像投稿部１１８を含む。処理部１１の機能はハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。

記録部１３は不揮発性メモリであり、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ、ＨＤＤ等の記録媒体を備える。通信部１４は、携帯電話通信網または無線ＬＡＮを利用して外部ネットワークに接続し、外部ネットワークに接続された機器と所定の通信プロトコルに準拠した通信処理を実行する。例えば、ＴＣＰ／ＩＰに準拠した通信処理を実行し、インターネット５に接続されたサーバ、ＰＣ、携帯機器などと接続する。

制御装置１０は、専用の筐体内に実装されてもよいし、カーナビゲーション装置や、ディスプレイオーディオ等のヘッドユニット内に実装されてもよい。後者の場合、制御装置１０の機能を実装した基板を、それらの筐体内に追加する形態でもよいし、それらの既存のハードウェア資源を時分割で活用する形態でもよい。また、スマートフォンやタブレット等の外部から持ち込まれた情報機器のハードウェア資源を活用する形態でもよい。

ユーザインタフェース部３０は、表示部３１、操作入力部３２、音声出力部３３、音声入力部３４を含む。表示部３１は、液晶ディスプレイ、有機ＥＬディスプレイ、又はヘッドアップディスプレイ（ＨＵＤ）を有し、制御装置１０から供給される画像信号を再生して表示する。表示部３１は、センタディスプレイ、ヘッドユニットディスプレイ等の車室内に既に設置されているディスプレイを利用してもよいし、専用のディスプレイを新たに設置してもよい。表示部３１と制御装置１０間は、バス、有線ＬＡＮ、無線ＬＡＮなど、任意の伝送形態で接続することができ、また、間に何か別の構成（デバイス）が介在していても良い。

操作入力部３２は、物理ボタン及びタッチパネルの少なくとも１つを有し、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、制御装置１０に出力する。タッチパネルの場合、表示部３１を構成するディスプレイと一体化され、操作入力部３２は、タッチパネルに表示されるＧＵＩ（グラフィカルユーザインタフェース）で実現されることになる。

音声出力部３３はスピーカを有し、制御装置１０から供給される音声信号を再生して音声出力する。音声入力部３４はマイクを有し、集音した音を音声信号に変換して制御装置１０に出力する。音声出力部３３及び音声入力部３４も、車室内に存在する既存のスピーカ及びマイクを利用してもよいし、専用のスピーカ及びマイクを新たに設置してもよい。

位置情報検出部４０はＧＰＳセンサを有し、車両１の位置を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。位置情報検出部４０は算出した緯度経度を位置情報として制御装置１０に出力する。なお位置情報検出部４０はＧＰＳセンサを使用せずに、基地局装置との通信をもとに車両１の位置を検出してもよい。

Ｉ／Ｏ部１２は、撮像部２０から供給される画像信号、操作入力部３２から供給される操作信号、音声入力部３４から供給される音声信号、位置情報検出部４０から供給される位置情報をそれぞれ処理部１１に出力する。またＩ／Ｏ部１２は、処理部１１から供給される画像信号を表示部３１に出力し、処理部１１から供給される音声信号を音声出力部３３に出力する。

またＩ／Ｏ部１２は、車載ネットワーク（例えば、ＣＡＮ（Controller Area Network））に接続されている。Ｉ／Ｏ部１２は車載ネットワークを介して、図示しないＥＣＵ(Electronic Control Unit)から、車速情報、舵角情報などの車両情報を受信して処理部１１に出力する。

一時保持部１１１は、撮像部２０により撮像された一定時間分の画像を保持するための揮発性メモリであり、例えばリングバッファで構成される。一時保持部１１１は、ドライブレコーダのように長時間の画像データを保持できる記憶容量を備えている必要はなく、数秒〜１０秒程度の画像データを保持できる記憶容量を備えていれば足りる。

画像取得部１１２は、撮像部２０により撮像された画像を順次取得し、一時保持部１１１にＦＩＦＯ方式で書き込む。ＵＩ制御部１１３は、ユーザインタフェース部３０に画像／音声信号を出力することにより、車両１内の運転者に所定の情報を通知する。またＵＩ制御部１１３は、運転者によりユーザインタフェース部３０に与えられた操作信号を受け付ける。例えば、運転者によりなされたシャッタ操作を受け付ける。

画像選択部１１４は、ユーザインタフェース部３０に対して与えられたシャッタ操作を受け付けた時刻から設定時間遡った時刻に撮像された、一時保持部１１１に保持されている画像を選択する。当該設定時間は、運転者が撮影意思を抱いてからシャッタ操作を行うまでの想定時間と、制御装置１０がシャッタ操作を受け付けてから撮像部２０が撮像するまでのシステム遅延時間に基づき予め決定された時間である。

図５は、シャッタ操作を受け付けた時刻から遡る設定時間を説明するための図である。運転者が撮影することを決定してからシャッタ操作を行うまでの想定時間（ｔ１−ｔ０）は、数１００ｍｓ〜数ｓの値に設定される。人間の反応速度は時間に換算すると、２２５ｍｓ〜８０８ｍｓ程度といわれている。ただし、この時間は操作対象が手の近傍にあり、選択肢を持たない場合の時間である。このように想定時間（ｔ１−ｔ０）は、シャッタ操作のユーザインタフェースに大きく依存することになる。

例えば、シャッタ操作をセンタディスプレイのタッチパネルで行う場合、運転者が左手（右ハンドル車の場合）をセンタディスプレイまで伸ばす必要があり、手の動きに時間がかかる。またタッチパネルの操作メニューの仕様によっては、シャッタ操作を入力するまでに複数回のタッチが必要な場合もある。例えば、タッチパネルの画面が省電力モードで消灯している場合、１回目のタッチで画面が点灯してホーム画面が表示され、２回目のタッチでホーム画面から写真アプリケーションが選択され、３回目のタッチでシャッタ操作といった仕様が考えられる。

また、シャッタ操作を音声入力で行う場合、音声アシスタントアプリケーションの起動に時間がかかる。２０１７年現在、運転者の最初の発声から、音声アシスタントアプリケーションが起動し、音声アシスタントアプリケーションが音声入力を受け付けるまでに数秒を要している。

なお、想定時間（ｔ１−ｔ０）を短くできるユーザインタフェースとしては、ステアリングの所定の位置に、撮影用の物理ボタンを設置することが考えられる。

設計者は、人間の反応速度とシャッタ操作のユーザインタフェースに基づき、想定時間（ｔ１−ｔ０）を設定する。なお想定時間（ｔ１−ｔ０）は、ユーザの操作により調整可能な設計にしてもよい。人間の反応速度は個人差が大きいため、ユーザが自己の感覚に合った想定時間（ｔ１−ｔ０）を設定できることが好ましい。

シャッタ操作を受け付けてから実際に撮像して記録するまでのシステム遅延時間（ｔ２−ｔ１）は、数１０ｍｓ〜数１００ｍｓの値に設定される。システム遅延時間は、プロセッサの動作クロックやファームウェアの仕様など、ハードウェア資源とソフトウェア資源のスペックに依存する。設計者は、使用するハードウェア資源とソフト資源のスペックに基づき、システム遅延時間（ｔ２−ｔ１）を設定する。

図４に戻る。撮像部２０により撮像され、画像選択部１１４により選択される画像が広角画像または超広角画像の場合、画像補正部１１７は、広角レンズまたは超広角レンズの画角に応じた歪みパラメータに基づき、選択された画像の座標を変換して画像の歪を補正する。また歪補正により生じた空白部分に画素を補間する。なお、選択された画像の一部の領域を切り出して使用する場合は、切り出された領域の画像が補正対象となる。

ＵＩ制御部１１３は、画像補正部１１７により補正された画像を確認画像として表示部３１に表示させる。その際、ＵＩ制御部１１３は、「この画像をＳＮＳサイトに投稿しますか？」といったメッセージも合わせて表示させる。運転者が、操作入力部３２又は音声入力部３４に対してＯＫ操作を行うと、ＵＩ制御部１１３は操作入力部３２又は音声入力部３４から、ＯＫ操作に対応する信号を受信する。

ＵＩ制御部１１３がＯＫ操作に対応する信号を受信すると、画像投稿部１１８は上記確認画像を通信部１４に渡して、予め登録されたＳＮＳサイトにアップロードする。当該確認画像にはＰＯＩが付加される。

なお確認画像とともに、ユーザにより操作入力部３２又は音声入力部３４に入力されたテキストメッセージ又は音声メッセージをアップロードしてもよい。また、ＳＮＳサイトにアップロードされた画像は同時に、記録部１３に記録されてもよいし、自宅のホームサーバーやクラウド上の自己のストレージにアップロードされてもよい。

図６は、本発明の実施の形態１に係る画像撮像システム２の動作例を示すフローチャートである。画像取得部１１２は撮像部２０から画像を取得し、一時保持部１１１に書き込む（Ｓ１０）。一時保持部１１１は、画像取得部１１２により書き込まれた画像を設定時間（ｔ２−ｔ０）保持する（Ｓ１１）。

ＵＩ制御部１１３がユーザインタフェース部３０からシャッタ操作を受け付けると（Ｓ１２のＹ）、画像選択部１１４は一時保持部１１１から、設定時間（ｔ２−ｔ０）遡った時刻に撮像された画像を選択する（Ｓ１３）。ＵＩ制御部１１３は、選択された画像を確認画像として表示部３１に表示させる（Ｓ１４）。ＵＩ制御部１１３がユーザインタフェース部３０から投稿ＯＫの操作を受け付けると（Ｓ１５のＹ）、画像投稿部１１８は確認された画像をインターネット５上の所定のＳＮＳサイトにアップロードする（Ｓ１６）。

以上説明したように実施の形態１によれば、撮像部２０により撮像された一定時間分の画像を一時保持部１１１に保持し、ユーザがシャッタ操作を行った時刻から、設定時間（ｔ２−ｔ０）遡った時刻に撮像された画像を抽出する。これにより、車両１の走行中であっても、カメラを構えて被写体を撮影した場合に撮影可能な画像と同等の画像を撮影することができる。即ち、撮影意思を抱いた瞬間の構図に近い構図の写真を、車両１の走行中に撮影することができる。

また、ドライブレコーダのように大容量のバッファが必要ないため、低コストで実現することができる。また、運転支援や自動運転用の高品位なカメラで撮像された画像を流用すれば、低コストで高画質の写真を、車両１の走行中に撮影することができる。

（実施の形態２）
本発明の実施の形態２も、車両内に構築される画像撮像システム２である。実施の形態２に係る画像撮像システム２は、実施の形態１に係る画像撮像システム２より、さらに撮影者の意図に合致した構図の写真を撮影することが可能な仕組みを導入している。

図７は、本発明の実施の形態２に係る、撮像部２０及び視線検知部５０の設置位置の一例を示す図である。視線検知部５０は、運転者の視線位置を検知するためのセンサであり、例えば可視光カメラ又は赤外線カメラを使用することができる。赤外線カメラを使用する場合、赤外線ＬＥＤを使用して運転者の眼に向けて弱い赤外線を照射し、運転者の眼を赤外線カメラで撮像すると検知精度が向上する。

図７では視線検知部５０が、ステアリング固定部の上部に設置される例を示している。なお視線検知部５０は、運転者の視線を検知可能な位置であれば、車両内のどの位置に取り付けられてもよい。

図８は、本発明の実施の形態２に係る、画像撮像システム２の構成を示すブロック図である。実施の形態２に係る画像撮像システム２は、実施の形態１に係る画像撮像システム２に対して視線検知部５０が追加された構成である。また実施の形態２に係る画像撮像システム２では、処理部１１に視線位置特定部１１５及び画像切出部１１６が追加される。また実施の形態２では、撮像部２０に超広角カメラが使用される。

視線検知部５０は、運転者の眼の画像を撮像して制御装置１０に出力する。視線位置特定部１１５は、視線検知部５０により撮像された画像をもとに運転者の視線位置を特定する。視線検知部５０に可視光カメラが使用されている場合、視線位置特定部１１５は可視光画像内の目頭を基準点に、虹彩を動点に設定し、基準点と動点の位置関係をもとに視線位置を特定する。視線検知部５０に赤外線カメラが使用されている場合、視線位置特定部１１５は赤外線画像内の角膜反射を基準点に、瞳孔を動点に設定し、基準点と動点の位置関係をもとに視線位置を特定する。

視線位置特定部１１５は、撮像部２０で撮像された各時刻の画像に、対応する時刻の視線位置情報を関連付ける。実施の形態２では、一時保持部１１１内の各画像は、撮像時刻の位置情報と、撮像時刻の運転者の視線位置情報とに関連付けられた状態で保持される。

画像選択部１１４は、ユーザインタフェース部３０に対して与えられたシャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡った時刻に撮像された、一時保持部１１１に保持されている複数のフレーム画像から、確認画像を切り出す元になるフレーム画像を選択する。画像切出部１１６は選択されたフレーム画像内から、当該フレーム画像の撮像時刻に検知された運転者の視線位置に基づき、確認画像を切り出す領域を決定する。

図９（ａ）−（ｃ）は、運転者の視線位置の移動例を示す図である。図９（ａ）は車両１を上方から俯瞰した模式図である。この車両１はステアリングホイール３が右側に設置されており、運転者が右側の座席に座っている状態を前提としている。フロントガラス上に描かれた複数の矢印線は、運転者の視線位置の移動軌跡Ｇ１を示している。

図９（ｂ）は、車両１内の運転席付近の模式図である。この例では、センタディスプレイ３１ａのタッチパネルの押下により、シャッタ操作を行う設計としている。なお、ヘッドユニットディスプレイ３１ｂのタッチパネルの押下により、シャッタ操作を行う設計としてもよい。

図９（ｃ）は、運転者の視線位置の移動軌跡Ｇ１を数字で示した図である。数字は時間経過に対して昇順に増加させている。運転者は「１」−「６」の期間では、車両１の前方領域Ｒ１を視認している。「７」−「１０」の期間では車両１の左方領域Ｒ２に興味対象物を発見し、興味対象物を注視している。運転者はこの期間中に興味対象物を撮影したいと思い、「１１」の時点でセンタディスプレイ３１ａを押下して、シャッタ操作を行っている。その後の「１２」−「１６」の期間では、車両１の前方領域Ｒ１の視認に復帰している。

図１０は、図９（ｃ）の運転者の視線位置の移動軌跡Ｇ１を時系列に示した図である。以下、シャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡った画像は、「８」時点で撮像された画像とする。

図１１は、「８」時点で撮像された画像から切り出される切出領域が固定の場合と可変の場合を比較した図である。超広角カメラで「８」時点に撮像された超広角画像Ｍ８には、第１被写体Ｏ１及び第２被写体Ｏ２が収まっている。上段は切出領域Ｃ０を、運転者の前方視認時の視野範囲に固定している例を示している。上段の例では、超広角画像Ｍ８の切出領域Ｃ０から第１被写体Ｏ１が欠落している。

下段は、切出領域Ｃ８を運転者の視線位置情報に基づき可変させる例を示している。「８」時点の運転者の視線位置は左方を見ており、その注視点を中心に切出領域Ｃ８を設定している。下段の例では、超広角画像Ｍ８の切出領域Ｃ８に第１被写体Ｏ１及び第２被写体Ｏ２が収まっている。

図１２は、本発明の実施の形態２に係る画像撮像システム２の動作例を示すフローチャートである。画像取得部１１２は撮像部２０から画像を取得し、一時保持部１１１に書き込む（Ｓ２０）。視線位置特定部１１５は、視線検知部５０から画像を取得して、運転者の視線位置を特定する（Ｓ２１）。一時保持部１１１は、画像取得部１１２により書き込まれた画像と、視線位置特定部１１５により特定された視線位置を関連付けて、設定時間（ｔ２−ｔ０）保持する（Ｓ２２）。

ＵＩ制御部１１３がユーザインタフェース部３０からシャッタ操作を受け付けると（Ｓ２３のＹ）、画像選択部１１４は一時保持部１１１から、設定時間（ｔ２−ｔ０）遡った時刻に撮像された画像を選択する（Ｓ２４）。画像切出部１１６は、選択された画像内から、当該画像に関連付けられた視線位置をもとに、確認画像とすべき領域の画像を切り出す（Ｓ２５）。ＵＩ制御部１１３は、切り出された画像を確認画像として表示部３１に表示させる（Ｓ２６）。ＵＩ制御部１１３がユーザインタフェース部３０から投稿ＯＫの操作を受け付けると（Ｓ２７のＹ）、画像投稿部１１８は確認された画像をインターネット５上の所定のＳＮＳサイトにアップロードする（Ｓ２８）。

以上説明したように実施の形態２によれば、実施の形態１で説明した効果に加えて、広角画像または超広角画像内から、撮影者の視線位置情報に基づき撮影者が見ている方向の画像を切り出すことにより、撮影者の意図により合致した構図の写真を撮影することができる。

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

以下、実施の形態２の変形例を説明する。当該変形例では、画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡った時刻付近に撮像された複数のフレーム画像から、当該時刻付近に検知された運転者の視線位置の推移に基づき、確認画像を切り出す元になるフレーム画像を選択する。

図１３（ａ）−（ｃ）は、図９（ａ）−（ｃ）に示した視線位置の移動例の変形例を示す図である。図１３（ａ）−（ｃ）に示す運転者の視線位置の移動軌跡Ｇ１は、図９（ａ）−（ｃ）に示した運転者の視線位置の移動軌跡Ｇ１と比較して、「８」時点の視線位置が異なる。「７」−「１０」の期間において運転者は基本的に、車両１の左方領域Ｒ２に存在する興味対象物を注視しているが、「８」時点において一時的に前方視認を行っている。運転者が車両１の左方領域Ｒ２の興味対象物を注視中に前方の状況が気になり、一度、前方の状況を視認しにいった状況である。

図１４は、図１３（ｃ）の運転者の視線位置の移動軌跡Ｇ１を時系列に示した図である。シャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡った画像が、「８」時点で撮像された画像であるとすると、選択された「８」時点の画像は、運転者が撮りたい構図の写真と異なり、前方を撮影した写真となってしまう。

そこで変形例では画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡ったフレーム画像付近の複数枚のフレーム画像の視線位置を参照する。画像選択部１１４は、複数枚のフレーム画像の視線位置の平均または重心との乖離が所定値以上大きい視線位置のフレーム画像を、選択対象から除外する。図１４に示す例では、「８」時点のフレーム画像が選択対象から除外されることになる。画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡った「８」時点のフレーム画像に近い「７」又は「９」時点のフレーム画像を選択する。

また画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２−ｔ０）遡ったフレーム画像付近の複数枚のフレーム画像から、視線位置が乖離しているフレーム画像を除外した残りのフレーム画像に対して所定の画質評価を行い、最も評価が高いフレーム画像を選択してもよい。これにより、ブレが大きいフレーム画像は選択対象から除外される。以上の説明したように変形例によれば、撮影者の意図と大きく異なる構図の写真が選択されることを回避することができる。

上述の実施の形態１、２では撮影者として運転者を想定したが、撮影者は運転者に限らず同乗者でもよい。特に実施の形態１では、運転者と、助手席に座っている同乗者は同じ操作で写真を撮影することができる。実施の形態２では助手席に座っている同乗者のための別の視線検知部５０を設置し、シャッタ操作を運転者用と同乗者用で分ける必要がある。

上述の実施の形態１、２では設定時間を、撮影意思を抱いてからシャッタ操作を行うまでの想定時間と、シャッタ操作を受け付けてから撮像するまでのシステム遅延時間をもとに決定したが、車両１の車速情報を考慮してもよい。例えば、車速が速い場合は、写真構図の変化も速くなる。そこで画像選択部１１４は、車速が速いほど上記設定時間が長くなるように上記設定時間を補正し、車速が遅いほど上記設定時間が短くなるように上記設定時間を補正する。

なお、実施の形態は、以下の項目によって特定されてもよい。

［項目１］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）と、任意の画像を表示する表示装置（３１）とに接続される表示制御装置（１０）であって、
前記表示制御装置（１０）の動作を制御する制御部（１１２−１１８）と、
前記撮像装置（２０）から受信した一以上の画像を記憶する記憶部（１１１）と、
を備え、
前記制御部（１１２−１１８）は、
乗員による操作を受け付ける入力部（３２／３４）において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定し、
前記表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
表示制御装置（１０）。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
［項目２］
前記撮像装置（２０）により撮像された前記一以上の画像を受信する受信部（１２）と、
前記表示装置（３１）に対して、当該表示装置（３１）に表示させる情報を送信する送信部（１２）と、を更に備え、
前記制御部（１１２−１１８）は、前記送信部（１２）を介して、前記表示装置（３１）に対して前記表示指示を送信する、
項目１に記載の表示制御装置（１０）。
これにより、表示装置（３１）に任意の画像を任意のタイミングで表示させることができる。
［項目３］
前記設定時間（ｔ２−ｔ０）は、前記入力部（３２／３４）のユーザインタフェースの種類に基づいて決定される、
項目１または２に記載の表示制御装置（１０）。
これにより、操作入力に関するユーザインタフェースの種類に応じて、適切な設定時間（ｔ２−ｔ０）を設定することができる。
［項目４］
前記設定時間（ｔ２−ｔ０）は、乗員が撮影意思を抱いてから前記操作を行うまでの想定時間（ｔ１−ｔ０）と、前記操作を受け付けてから撮像するまでのシステム遅延時間（ｔ２−ｔ１）に基づき決定されている、項目１または２に記載の表示制御装置（１０）。
これにより、乗員が撮影意思を抱いたときの構図の写真を撮影することができる。
［項目５］
前記想定時間（ｔ１−ｔ０）は、前記操作のユーザインタフェースに基づき決定されている、項目４に記載の表示制御装置（１０）。
これにより、より正確な想定時間（ｔ１−ｔ０）を設定することができる。
［項目６］
前記表示装置（３１）は、前記車両（１）内のタッチパネル（タッチディスプレイ）（３１ａ）であり、
前記入力部（３２）は、前記タッチパネル（タッチディスプレイ）（３１ａ）に表示されるグラフィカルユーザインタフェースである、
項目１から５のいずれか一に記載の表示制御装置（１０）。
これにより、シャッタ操作がタッチパネル（タッチディスプレイ）（３１ａ）内のシャッタキーの押下である場合において、より正確な想定時間（ｔ１−ｔ０）を設定することができる。
［項目７］
前記入力部（３４）は、音声によって前記表示制御装置（１０）への指示を入力可能な音声入力部（３４）である、
項目１から５のいずれか一に記載の表示制御装置（１０）。
これにより、シャッタ操作が音声入力である場合において、より正確な想定時間（ｔ１−ｔ０）を設定することができる。
［項目８］
前記制御部（１１２−１１８）は、前記第１画像の中の一部の領域を切り出した第２画像を生成し、
前記表示指示は、前記第２画像を表示させる指示である、
項目１から７のいずれか一に記載の表示制御装置（１０）。
これにより、撮影者の意図に合致した構図の写真を撮影することができる。
［項目９］
前記車両（１）に設置され、前記車両（１）内の乗員の視線位置を検知する検知装置（５０）と、更に接続され、
前記受信部（１２）は、前記検知装置（５０）から、前記乗員の視線位置を示す視線位置情報を受信し、
前記制御部（１１２−１１８）は、
受信した前記視線位置情報に基づいて、前記第１画像から切り出す領域を決定する、
項目２に記載の表示制御装置（１０）。
これにより、撮影者の意図に合致した構図の写真を撮影することができる。
［項目１０］
前記車両（１）に設置され、前記車両（１）内の乗員の視線位置を検知する検知装置（５０）と、更に接続され、
前記一以上の画像は、複数のフレーム画像であって、
前記受信部（１２）は、前記検知装置（５０）から、前記乗員の視線位置を示す視線位置情報を受信し、
前記制御部（１１２−１１８）は、
前記第２時刻付近に撮像された前記複数のフレーム画像の中から、受信した前記視線位置情報に基づいて、第１画像を決定する、
項目２に記載の表示制御装置（１０）。
これにより、撮影者の意図に合致した構図の写真を撮影することができる。また撮影者の意図から外れた構図の写真が選択される可能性を下げることができる。
［項目１１］
前記車両（１）の位置情報を検出する位置情報検出部（４０）をさらに備え、
前記記憶部（１１１）は、前記画像と、前記画像が撮像された時刻において前記位置情報検出部（４０）において検出された位置情報とを関連付けて記憶する、
項目１から１０のいずれか一に記載の表示制御装置（１０）。
これにより、写真の撮影位置情報を記録することができる。
［項目１２］
前記一以上の画像は、広角画像または超広角画像である、
項目１から１１のいずれか一に記載の表示制御装置（１０）。
これにより、広範囲の被写体を撮影することができる。
［項目１３］
インターネット上の所定のサイトと通信を行なう通信部（１４）を更に備え、
前記制御部（１１２−１１８）は、前記通信部（１４）に対して、前記表示装置（３１）に表示させた前記第１画像の少なくとも一部を前記所定のサイトにアップロードさせる、
項目１から１２のいずれか一に記載の表示制御装置（１０）。
これにより、撮影者は走行中に撮影した写真を、車両（１）の中からリアルタイムに、ＳＮＳサイト等に投稿することができる。
［項目１４］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）と、
任意の画像を表示する表示装置（３１）と、
前記撮像装置（２０）と、前記表示装置（３１）とに接続される表示制御装置（１０）と、を備える表示制御システム（２）であって、
前記表示制御装置（１０）は、
前記表示制御装置（１０）の動作を制御する制御部（１１２−１１８）と、
前記撮像装置（２０）により撮像された一以上の画像を受信する受信部（１２）と、
受信した前記一以上の画像を記憶する記憶部（１１１）と、を有し、
前記制御部（１１２−１１８）は、
乗員による操作を受け付ける入力部（３２／３４）において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定し、
前記表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
表示制御システム（２）。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
［項目１５］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）により撮像された一以上の画像を受信するステップと、
受信した前記一以上の画像を記憶部（１１１）に記憶するステップと、
乗員による操作を受け付けるステップと、
前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定するステップと、
任意の画像を表示する表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信するステップと、を有する、
表示制御方法。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
［項目１６］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）により撮像された一以上の画像を受信する処理と、
受信した前記一以上の画像を記憶部（１１１）に記憶する処理と、
乗員による操作を受け付ける処理と、
前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定する処理と、
任意の画像を表示する表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する処理と、をコンピュータに実行させる、
表示制御プログラム。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。

１ 車両、 ２ 画像撮像システム、 ３ ステアリングホイール、 ５ インターネット、 １０ 制御装置、 １１ 処理部、 １２ Ｉ／Ｏ部、 １３ 記録部、 １４ 通信部、 ２０ 撮像部、 ３０ ユーザインタフェース部、 ３１ 表示部、 ３１ａ センタディスプレイ、 ３１ｂ ヘッドユニットディスプレイ、 ３２ 操作入力部、 ３３ 音声出力部、 ３４ 音声入力部、 ４０ 位置情報検出部、 ５０ 視線検知部、 １１１ 一時保持部、 １１２ 画像取得部、 １１３ ＵＩ制御部、 １１４ 画像選択部、 １１５ 視線位置特定部、 １１６ 画像切出部、 １１７ 画像補正部、 １１８ 画像投稿部。

Claims (16)

1. 車両に設置されて当該車両の外部を撮像する撮像装置と、任意の画像を表示する表示装置とに接続される表示制御装置であって、
   前記表示制御装置の動作を制御する制御部と、
   前記撮像装置から受信した一以上の画像を記憶する記憶部と、を備え、
   前記制御部は、
   乗員による操作を受け付ける入力部において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置によって撮像され、前記記憶部に保持されている、前記一以上の画像のうちの第１画像を決定し、
   前記表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
   表示制御装置。
2. 前記撮像装置により撮像された前記一以上の画像を受信する受信部と、
   前記表示装置に対して、当該表示装置に表示させる情報を送信する送信部と、を更に備え、
   前記制御部は、前記送信部を介して、前記表示装置に対して前記表示指示を送信する、
   請求項１に記載の表示制御装置。
3. 前記設定時間は、前記入力部のユーザインタフェースの種類に基づいて決定される、
   請求項１または２に記載の表示制御装置。
4. 前記設定時間は、乗員が撮影意思を抱いてから前記操作を行うまでの想定時間と、前記操作を受け付けてから撮像するまでのシステム遅延時間に基づき決定されている、
   請求項１または２に記載の表示制御装置。
5. 前記想定時間は、前記操作のユーザインタフェースに基づき決定されている、
   請求項４に記載の表示制御装置。
6. 前記表示装置は、前記車両内のタッチパネル（タッチディスプレイ）であり、
   前記入力部は、前記タッチパネル（タッチディスプレイ）に表示されるグラフィカルユーザインタフェースである、
   請求項１から５のいずれか一に記載の表示制御装置。
7. 前記入力部は、音声によって前記表示制御装置への指示を入力可能な音声入力部である、
   請求項１から５のいずれか一に記載の表示制御装置。
8. 前記制御部は、前記第１画像の中の一部の領域を切り出した第２画像を生成し、
   前記表示指示は、前記第２画像を表示させる指示である、
   請求項１から７のいずれか一に記載の表示制御装置。
9. 前記車両に設置され、前記車両内の乗員の視線位置を検知する検知装置と、更に接続され、
   前記受信部は、前記検知装置から、前記乗員の視線位置を示す視線位置情報を受信し、
   前記制御部は、
   受信した前記視線位置情報に基づいて、前記第１画像から切り出す領域を決定する、
   請求項２に記載の表示制御装置。
10. 前記車両に設置され、前記車両内の乗員の視線位置を検知する検知装置と、更に接続され、
    前記一以上の画像は、複数のフレーム画像であって、
    前記受信部は、前記検知装置から、前記乗員の視線位置を示す視線位置情報を受信し、
    前記制御部は、
    前記第２時刻付近に撮像された前記複数のフレーム画像の中から、受信した前記視線位置情報に基づいて、第１画像を決定する、
    請求項２に記載の表示制御装置。
11. 前記車両の位置情報を検出する位置情報検出部をさらに備え、
    前記記憶部は、前記画像と、前記画像が撮像された時刻において前記位置情報検出部において検出された位置情報とを関連付けて記憶する、
    請求項１から１０のいずれか一に記載の表示制御装置。
12. 前記一以上の画像は、広角画像または超広角画像である、
    請求項１から１１のいずれか一に記載の表示制御装置。
13. インターネット上の所定のサイトと通信を行なう通信部を更に備え、
    前記制御部は、前記通信部に対して、前記表示装置に表示させた前記第１画像の少なくとも一部を前記所定のサイトにアップロードさせる、
    請求項１から１２のいずれか一に記載の表示制御装置。
14. 車両に設置されて当該車両の外部を撮像する撮像装置と、
    任意の画像を表示する表示装置と、
    前記撮像装置と、前記表示装置とに接続される表示制御装置と、を備える表示制御システムであって、
    前記表示制御装置は、
    前記表示制御装置の動作を制御する制御部と、
    前記撮像装置により撮像された一以上の画像を受信する受信部と、
    受信した前記一以上の画像を記憶する記憶部と、
    前記表示装置に対して、当該表示装置に表示させる情報を送信する送信部と、を有し、
    前記制御部は、
    乗員による操作を受け付ける入力部において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置によって撮像され、前記記憶部に保持されている、前記一以上の画像のうちの第１画像を決定し、
    前記表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
    表示制御システム。
15. 車両に設置されて当該車両の外部を撮像する撮像装置により撮像された一以上の画像を受信するステップと、
    受信した前記一以上の画像を記憶部に記憶するステップと、
    乗員による操作を受け付けるステップと、
    前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置によって撮像され、前記記憶部に保持されている、前記一以上の画像のうちの第１画像を決定するステップと、
    任意の画像を表示する表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信するステップと、を有する、
    表示制御方法。
16. 車両に設置されて当該車両の外部を撮像する撮像装置により撮像された一以上の画像を受信する処理と、
    受信した前記一以上の画像を記憶部に記憶する処理と、
    乗員による操作を受け付ける処理と、
    前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置によって撮像され、前記記憶部に保持されている、前記一以上の画像のうちの第１画像を決定する処理と、
    任意の画像を表示する表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する処理と、をコンピュータに実行させる、
    表示制御プログラム。

Images