JP2008018853A - 情報記録装置、情報記録方法およびプログラム - Google Patents

Abstract

【課題】会話が行われていない場合にも、運転シーン映像を適切に分割して記録することができる運転シーンクリッピング装置を提供することを目的とする。
【解決手段】運転シーンクリッピング装置１は、乗員が自動車に乗っているときの自動車の内外の映像を撮影する車外カメラ１２、車内カメラ１４と、乗員の注視行動を検出する注視行動検出部２０と、注視行動検出部２０にて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定部３６と、車外カメラ１２、車内カメラ１４にて取得した映像から、切出時間帯決定部３６にて決定された時間帯の情報を切り出す映像切出部４２と、映像切出部４２にて切り出した映像を記録するクリッピング映像記憶部４４とを備える。
【選択図】図１

Description

本発明は、乗物または乗員に関する情報から所定の情報を切り出して記録する情報記録装置に関する。特に、乗員の運転シーン映像を話題ごとに記録する技術に関する。

近年のナビゲーションシステムの発展により、最適ルート検索や渋滞予測などが可能になり、ドライブ時間は大きく短縮されてきた。しかし、ドライブ時間をゼロにすることはできないので、乗員にとって、ドライブ時間を有効に活用することが重要である。

ドライブ旅行等において、目的地へ向かう道のりでは、旅先での予定などについて会話する楽しみがあり、会話が盛り上がる。一方、自宅へ戻る道のりでは、行きの道のりに比べてドライブ時間が退屈なものとなることが多い。このため、居眠り運転などの状態に陥りやすく、安全運転上も問題が多い。

一方、ドライブ旅行の思い出を振り返ったりする際に、ドライブ中にどのような会話で盛りあがったか、そのときの周辺の環境（風景や興味深いお店など）がどのような状況であったかなどの情報を残せることが望ましい。しかし、これらの風景等をカメラやビデオカメラで撮影することは乗員に大きな負担となり、会話への参加も難しくなる。また、乗員が運転手のみの場合には、運転に支障があるので、ドライブ中に見つけたものを撮影できない。

近年、ドライブレコーダの設置が進んでおり、ドライブシーンを記録するためのハードウェア的な要件は整ってきているが、ドライブレコーダは事故シーン以外の記録に利用されていない。また、長時間のドライブにおいて、どのポイントが重要であったかというタグ付けを行う技術が不十分かつ困難であり、データの利用価値を十分に引き出せていないということが課題となっている。

ところで、従来から、会話を話題毎に記録する技術が知られていた。特許文献１には、複数の話者の会話を撮影記録した会話音声を含む会話映像を話題毎、話者毎に分割処理する記録情報処理装置が記載されている。

特許文献１に記載された記録情報処理装置は、セグメンテーション部にて、会話映像を会話音声部分に基づいて話者毎に分割し、セグメント群に分ける。次に、記録情報処理装置は、生成されたセグメント群を議事録の話題毎の重要語に基づいて、時間軸に沿って結合する。これにより、記録情報処理装置は、会話映像を話者毎および話題毎に記録することができる。
特開２００４−２３６６１号公報

従来の記録情報処理装置では、特許文献１に見られるように、会話音声部分に基づいて、会話映像を分割するのが一般的であった。しかしながら、運転シーン映像を分割するために会話音声部分を用いる方法は、会話がなされていないと運転シーンを分割する処理を行えない。長時間のドライブにおいては、常に会話が継続しているわけではないので、上記のような従来の技術を適用しても、必ずしも適切に運転シーンを記録できるわけではない。

そこで、本発明は、上記背景に鑑み、会話が行われていない場合にも、運転シーン映像等の情報を適切に分割して記録することができる情報記録装置を提供することを目的とする。

本発明の情報記録装置は、乗員が乗物に乗っているときの乗物または乗員に関する情報を取得する情報取得部と、乗員の注視行動を検出する注視行動検出部と、前記注視行動検出部にて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定部と、前記情報取得部にて取得した情報から、前記切出時間帯決定部にて決定された時間帯の情報を切り出す情報切出部と、前記情報切出部にて切り出した情報を記録する情報記録部とを備える。

一般に、乗員が何かの対象を注視している場合には、その対象に関心を持っていると考えられる。複数の乗員がいる場合には、その対象について話題が交わされていると考えられる。本発明では、乗員の注視行動を検出し、乗員が注視行動をとった時刻を含む時間帯の情報を切り出すので、情報に会話等の音声情報が含まれていない場合にも、乗員の関心または話題に合わせて情報の切り出しを適切に行える。これにより、例えば、情報として会話映像を取得した場合には、会話映像を注視した対象の話題毎に切り出して記録することができる。また、例えば、乗員が運転手のみの場合にも、乗員の注視行動に基づいて、乗員の関心のある映像等の情報を切り出して記録することができる。なお、情報取得部にて取得する「乗物または乗員に関する情報」には、例えば、乗員の会話映像、乗物の周辺の映像、乗物で流れている音楽、乗物の移動速度等、乗員または乗物に関するあらゆる情報が含まれる。

本発明の情報記録装置において、前記注視行動検出部は、乗員の視線を検出する視線検出部と、異なるタイミングで取得した前記視線の交差を検出する視線交差検出部とを備え、前記視線交差検出部にて求めた交差に基づいて、乗員の注視行動を検出してもよい。

このように乗員の視線の交差を検出するので、視線の交差する位置にある対象を注視する乗員の注視行動を適切に検出できる。

本発明の情報記録装置において、前記情報取得部は、前記情報として映像を取得し、前記情報切出部は、前記映像の特徴量の変化に基づいて情報を切り出してもよい。

乗員の注視行動に加え、映像の特徴量の変化を用いることにより、シーンの変化を適切に捉えることができ、話題ごとに情報を切り出して記録することができる。

本発明の情報記録装置は、乗物の移動速度を検出する移動速度検出部を備え、前記切出時間帯決定部は、前記移動速度検出部にて検出された乗物の移動速度に基づいて、情報切出しの時間帯の長さを決定してもよい。

注視の対象物が視界から消えるまでの時間は乗物の移動速度に応じて決まるので、乗物の移動速度に基づいて情報を切り出す時間帯を決定することにより、適切な長さの情報を切り出すことができる。

本発明の情報記録装置は、前記注視行動検出部にて検出された乗員の注視行動に基づいて、注視対象に関する情報を検出する注視対象検出部と、前記情報記録部は、前記注視対象検出部にて検出された注視対象に関する情報と、切り出した情報とを関連付けて記録してもよい。

このように注視対象に関する情報を関連付けて記録しておくことにより、記録された情報を読み出すときに、話題の中心となっている注視対象に関する情報を参照することができるので便利である。なお、注視対象に関する情報とは、例えば、乗員が注視している注視対象の映像でもよいし、注視対象の位置を示す情報でもよい。注視対象の位置を示す情報があれば、地図情報と併せてその位置に何があるかを知ることができる。

本発明の情報記録装置において、前記注視行動検出部は、乗物の運転行動に関する注視を除外して、乗員の注視行動を検出してもよい。

運転行動に関する注視は、運転をする上での必要に応じて行う動作なので、特別な関心を持って注視行動を取ったわけではなく、運転行動に関する注視の対象が話題になることは少ないと考えられる。本発明では、運転行動に関する注視を除外することにより、話題となり得る対象に対する乗員の注視行動を適切に検出することができる。

本発明の情報記録方法は、乗員が乗物に乗っているときの乗物または乗員に関する情報を取得する情報取得ステップと、乗員の注視行動を検出する注視行動検出ステップと、前記注視行動検出ステップにて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定ステップと、前記情報取得ステップにて取得した情報から、前記切出時間帯決定ステップにて決定された時間帯の情報を切り出す情報切出ステップと、前記情報切出ステップにて切り出した情報を記録する情報記録ステップとを備える。

これにより、本発明の情報記録装置と同様に、情報に会話等の音声情報が含まれていない場合にも、乗員の関心または話題に合わせて情報の切り出しを適切に行える。また、本発明の各種の構成を、本発明の情報記録方法に適用することも可能である。

本発明のプログラムは、乗員が乗物に乗っているときの乗物または乗員に関する情報を記録するためのプログラムであって、コンピュータに、乗物または乗員に関する情報を取得する情報取得ステップと、乗員の注視行動を検出する注視行動検出ステップと、前記注視行動検出ステップにて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定ステップと、前記情報取得ステップにて取得した情報から、前記切出時間帯決定ステップにて決定された時間帯の情報を切り出す情報切出ステップと、前記情報切出ステップにて切り出した情報を記録する情報記録ステップとを実行させる。

これにより、本発明の情報記録装置と同様に、情報に会話等の音声情報が含まれていない場合にも、乗員の関心または話題に合わせて情報の切り出しを適切に行える。また、本発明の各種の構成を、本発明のプログラムに適用することも可能である。

本発明によれば、乗員の注視行動を検出し、乗員が注視行動をとった時刻を含む時間帯の情報を切り出すので、情報に会話等の音声情報が含まれていない場合にも、乗員の関心または話題に合わせて情報の切り出しを適切に行えるというすぐれた効果を有する。

以下、本発明の実施の形態の情報記録装置について図面を参照して説明する。以下では、自動車の車内および車外の映像を撮影し、撮影された映像から話題や乗員の関心ごとに映像を切り出して記録する運転シーンクリッピング装置を例として説明する。なお、本発明の情報記録装置は、以下に説明する運転シーンをクリッピングする装置に限定されず、乗物や乗員に関する別の情報の記録にも適用できる。

（第１の実施の形態）
図１は、第１の実施の形態の運転シーンクリッピング装置１の構成を示す図である。運転シーンクリッピング装置１は、映像を取得する映像取得部１０と、乗員の注視行動を検出する注視行動検出部２０と、注視行動に基づいて映像を切り出す時間帯を決定する切出時間帯決定部３６と、映像を切り出す（クリッピングする）映像切出部４２と、切り出した映像を記憶するクリッピング映像記憶部４４とを備える。

映像取得部１０は、車外を撮影する車外カメラ１２と、自動車の車内を撮影する車内カメラ１４とを有する。車内カメラ１４は、運転手および同乗者の様子や会話映像を撮影する。映像取得部１０は、車外カメラ１２および車内カメラ１４にて撮影した映像を全映像記憶部１６に格納する。全映像記憶部１６は、所定の記憶容量まで映像を格納した後は、新しい映像を格納するために、古い映像を順次削除して新しい映像を格納する。

注視行動検出部２０は、乗員の視線を検出し、検出した視線に基づいて乗員の注視行動を検出する。ここで、注視行動を検出するために用いる乗員の視線は、公共測量などに基づく緯度・経度・標高などを表す地理座標系を基準として計算する。地理座標系における視線方向を求めることにより、注視対象が存在するか否かを判定することができる。視線は、視線の基点となる「視点」の座標と、視線の「方向」とによって特定される。

注視行動検出部２０は、乗員の視線を検出するための構成として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）２２、車両方向検出部２４、頭部検出部２６、眼球検出部２８、視線検出部３０を有している。車両方向検出部２４は、例えば、ジャイロセンサによって、基準となる地理座標系における車両の方向を求める。頭部検出部２６は、車内カメラ１４にて撮影された乗員の映像に基づいて、乗員の頭部の位置および向きを検出する。眼球検出部２８は、車内カメラ１４にて撮影された乗員の映像に基づいて、頭部に対する眼球の位置および頭部正面を基準として黒目の向いている方向を検出する。

図２は、乗員の視線方向を検出する原理を説明するための図である。図２は、地理座標系（Ｘ，Ｙ，Ｚ）、クルマ座標系（Ｘ´，Ｙ´，Ｚ´）、頭部座標系（Ｘ´´，Ｙ´´，Ｚ´´）、眼球座標系（Ｘ´´´，Ｙ´´´，Ｚ´´´）を示している。クルマ座標系は、車内の所定の位置を原点とする座標系である。頭部座標系は、頭部の所定の位置を原点とする座標系である。眼球座標系は、眼球の所定の位置を原点とし、かつ、黒目の向いている方向とＺ´´´軸方向とが一致する座標系である。

地理座標系（Ｘ，Ｙ，Ｚ）におけるクルマ位置座標（Ｘｖ，Ｙｖ，Ｚｖ）にクルマ座標系（Ｘ´，Ｙ´，Ｚ´）が存在し、クルマ座標系（Ｘ´，Ｙ´，Ｚ´）における頭部位置座標に（Ｘｈ´，Ｙｈ´，Ｚｈ´）に頭部座標系（Ｘ´´，Ｙ´´，Ｚ´´）が存在し、頭部座標系（Ｘ´´，Ｙ´´，Ｚ´´）における眼球位置座標（Ｘｅ´´，Ｙｅ´´，Ｚｅ´´）に眼球が存在することから、地理座標系（Ｘ，Ｙ，Ｚ）における眼球の位置、すなわち視点を求めることができる。視線検出部３０は、下記の式（１）によって、地理座標系における乗員の視点を求める。

視線検出部３０は、眼球座標系（Ｘ´´´，Ｙ´´´，Ｚ´´´）上における黒目の向いている方向から、頭部の正面を基準とする乗員の視線方向を求め、その視線方向を下記の式（２）によって変換し、地理座標系（Ｘ，Ｙ，Ｚ）における視線の方向（ξ，η，ζ）を求める。

再び、図１を参照して、注視行動検出部２０について説明する。注視行動検出部２０は、視線交差位置検出部３２と、注視行動判定部３４とを有する。視線交差位置検出部３２は、異なるタイミングで取得した乗員の視線に基づいて、それぞれの視線が交差する位置を地理座標系（Ｘ，Ｙ，Ｚ）において検出する。

図３は、乗員の視線の交差位置を求める例を示す図である。図３の矢印Ｄは、自動車の移動方向を示す。視線検出部３０は、時刻ｔ１に乗員の視線Ｌ１を検出し、時刻ｔ２に視線Ｌ２を検出し、時刻ｔ３に視線Ｌ３を検出している。このように、乗員の視点の位置は、自動車の移動に応じて時刻ｔ１〜ｔ３のそれぞれで異なる。視線交差位置検出部３２は、視線Ｌ１の視点と視線方向、および、視線Ｌ２の視点と視線方向から、視線Ｌ１と視線Ｌ２の交点Ｐ１を求める。同様に、視線交差位置検出部３２は、視線Ｌ１と視線Ｌ３の交点Ｐ２、視線Ｌ２と視線Ｌ３の交点Ｐ３を求める。

なお、図３では、説明の便宜上、平面図を用いて説明しているが、実際には３次元空間において視線が交差する位置を求める。３次元空間においては、直線どうしが交差することはまれである。従って、実際には、注視行動検出部２０は、視線を表す２つの直線上の最近接点間の中点を近似的に交差点として求める。また、人間は、視野中心に感度の高い所定範囲の領域（以下、「視野中心領域」という）を有するので、視線は直線より広がりを持つ。視野中心領域どうしの交差を求める場合には、視野中心領域を確率分布で表現して、視野中心領域どうしの重なりを確率分布で求めてもよい。

図４と図５を用いて、交差点位置の計算について詳しく説明する。図４に視点（Ｘｍ、Ｙｍ、Ｚｍ）とその視線方向（ξｍ、ηｍ、ζｍ）から決まる直線上の点（Ｘ、Ｙ、Ｚ）と視点（Ｘｎ、Ｙｎ、Ｚｎ）とその視線方向（ξｎ、ηｎ、ζｎ）から決まる直線上の点（Ｘ´、Ｙ´、Ｚ´）の位置関係を示す。これらの２直線上の最近接点は式（３）で定義され、この定義式を満たす２点は、式（４）に示すようなラグランジュ関数を最小にする点として求められる。但し、ここで式（３）に示した拘束条件λ１、λ２、λ３、λ４が満たされるように、ラグランジュの未定係数α、β、γ、δを導入した。

このラグランジュ関数が最小となる条件は式（５）で与えられる。式（５）からα、β、γ、δを消去すると、式（６）が得られる。

式（６）はＸ，Ｙ、Ｚ，Ｘ´、Ｙ´、Ｚ´に関する連立一次方程式であり、これを解くことで図５に示す最近接点（Ｘ^*、Ｙ*、Ｚ^*）と（Ｘ´*、Ｙ´*、Ｚ´^*）が求められる。従って、式（７）により、２直線の最近接点の中点として、交差点（Ｘｍｎ、Ｙｍｎ、Ｚｍｎ）が計算される。

注視行動判定部３４は、所定の時間幅に視線交差位置検出部３２にて検出された複数の交差位置の分散が所定の閾値以下であるか否かに基づいて、注視行動があったか否かを判定する。分散が所定の閾値以下の場合には、注視行動があったと判定する。あるいは、分差の代わりに平均からの距離に関するメディアンを用いて、メディアンが所定の閾値以下の場合には、注視行動があったと判定しても良い。このように分散あるいはメディアンを用いて注視行動を検出することにより、乗員の視線が一時的に注視対象から離れた場合であっても、注視行動を適切に検出することができる。

再び、図１を参照して、運転シーンクリッピング装置１の構成について説明する。切出時間帯決定部３６は、注視行動検出部２０にて、乗員の注視行動が検出された場合に、注視行動が検出された時刻を含む時間帯を映像の切出時間帯として決定する。

図６は、切出時間帯決定部３６によって切出時間帯を決定する例を示す図である。切出時間帯決定部３６は、時刻ｔ５から時刻ｔ６の間に乗員の注視行動を検出した場合、時刻ｔ５、ｔ６を含む時刻ｔ４から時刻ｔ７の時間帯を切出時間帯として決定する。ここで、切出時間帯の長さを決める時間幅Ｔａ（ｖ）、Ｔｂ（ｖ）は、自動車の移動速度ｖを変数とする関数である。時間幅Ｔａ（ｖ）、Ｔｂ（ｖ）は、移動速度ｖが速い場合には大きくなり、移動速度ｖが遅い場合には小さくなる。切出時間帯決定部３６は、速度センサ３８にて得られた自動車の速度の情報を速度情報記憶部４０から取得し、注視行動検出時点での自動車の速度に基づいて時間幅Ｔａ（ｖ）、Ｔｂ（ｖ）を決定する。

映像切出部４２は、全映像記憶部１６に記憶された映像を読み出し、切出時間帯決定部３６にて決定された切出時間帯の映像を切り出す。映像切出部４２は、切り出した映像をクリッピング映像記憶部４４に記憶する。

図７は、クリッピング映像記憶部４４に記憶されたデータの例を示す図である。クリッピング映像記憶部４４は、「時間帯」「カメラ映像」「注視座標」「走行位置」「キーワード」の各データを記憶する。「時間帯」は、映像を切り出した時間帯を示すデータである。カメラ映像は、切り出された映像データである。ここでは、車内での会話映像と、車外の風景の映像の両方を記憶する。「注視座標」は、乗員が注視した対象の座標を示すデータである。「走行位置」は、切出映像を取得したときの自動車の位置を示すデータである。「キーワード」は、車内映像に含まれる会話映像から抽出されたキーワードである。

次に、実施の形態の運転シーンクリッピング装置１にて映像をクリッピングする動作について説明する。運転シーンクリッピング装置１は、自動車のエンジンがスタートしてから停止するまでの車内および車外の映像を映像取得部１０にて取得し、全映像記憶部１６に格納する。運転シーンクリッピング装置１は、全映像記憶部１６に格納された映像から、映像を切り出して記録する。

図８は、実施の形態の運転シーンクリッピング装置１が、全映像記憶部１６に格納された映像から所定の映像をクリッピングして記憶する動作を示すフローチャートである。

運転シーンクリッピング装置１は、まず、注視行動検出部２０にて、乗員の視線に基づいて注視行動検出処理を行う（Ｓ１０）。以下、注視行動検出処理について詳しく説明する。

図９は、注視行動検出処理の動作を示すフローチャートである。注視行動検出部２０は、まず、地理座標系における車両の位置および方向を検出する（Ｓ２０）。注視行動検出部２０は、車両の位置をＧＰＳ２２によって検出し、車両の方向をジャイロセンサによって検出する。

次に、注視行動検出部２０の頭部検出部２６は、車内カメラ１４により撮影された映像から乗員の頭部を抽出し、クルマ座標系における頭部の位置および向きを検出する（Ｓ２２）。続いて、注視行動検出部２０の眼球検出部２８は、車内カメラ１４により撮影された映像から乗員の眼球を抽出し、眼球座標系における黒目の向きを求める（Ｓ２４）。視線検出部３０は、車両の位置および方向、頭部の位置および向きと黒目の向きを、式（１）および式（２）に代入して、地理座標系における乗員の視線を求める（Ｓ２６）。

次に、注視行動検出部２０の視線交差位置検出部３２は、複数のタイミングで取得した視線について、それぞれの視線の交差する位置を求める。本実施の形態では、視線交差位置検出部３２は、交差位置の算出処理を行う前に、複数の視線が交差しているか否かを判定する（Ｓ２８）。

図１０は、複数の視線の交差判定について説明するための図である。図１０では、時刻ｔ１および時刻ｔ２に検出した視線Ｌ１、Ｌ２が交差するか否かを判定する例を示している。時刻ｔ１に、移動方向に対して角度θ、視野中心領域の広がり角度Φを持つ視線Ｌ１が検出され、時刻ｔ２に移動方向に対して角度θ´を持つ視線Ｌ２が検出されている。この場合、角度θ、θ´、Φが以下の式（８）（９）を満たす場合に、視線Ｌ１と視線Ｌ２とが交差すると判定する。

式（８）は、自動車の進行方向に向かって右側と左側のうち、視線が同じ側に向けられているか否かを判定する式である。式（８）を満たす場合には、視線交差位置検出部３２は、視線が同じ側に向けられていると判定する。式（９）は視線に重なりがあるか否かを判定する式である。式（８）（９）の両方を満たす場合には、視線交差位置検出部３２は、視線が交差していると判定する。

注視行動検出部２０は、複数の視線が交差していないと判定された場合（Ｓ３０でＮＯ）、注視行動検出処理を終了する。このように、視線が交差するか否かを判定する前処理を行い、視線が交差しない場合に注視行動検出処理を終了することにより、計算処理を軽減できる。

複数の視線が交差していると判定された場合（Ｓ３０でＹＥＳ）、視線交差位置検出部３２は、複数の視線の交点の位置を求める（Ｓ３２）。注視行動判定部３４は、複数の交点位置の分散あるいはメディアンを求め、分散あるいはメディアンが所定の閾値以下であるか否かによって注視行動があったか否かを判定する（Ｓ３４）。

注視行動判定部３４は、注視行動があったと判定された場合には、注視の対象の位置を算出する（Ｓ３６）。注視行動判定部３４は、視線交差位置検出部３２にて求められた複数の視線の交点の重心を求めることによって、注視対象の位置の座標を算出する。
以上、注視行動検出処理の詳しい処理について説明した。

図８を参照して、引き続き、運転シーンクリッピング装置のクリッピング動作について説明する。注視行動が検出されると（Ｓ１２でＹＥＳ）、切出時間帯決定部３６は、注視行動が検出された時刻を含む切出時間帯を決定する（Ｓ１４）。切出時間帯決定部３６は、速度情報記憶部４０から、注視行動が検出された時刻における自動車の速度の情報を読み出し、読み出した速度情報を用いて切り出す時間帯の長さを決定する。そして、切出時間帯決定部３６は、情報切出しの時間帯を決定する。

次に、映像切出部４２は、全映像記憶部１６から切出時間帯に対応する映像を読み出し、読み出した映像を切り出してクリッピング映像を生成する（Ｓ１６）。映像切出部４２は、クリッピング映像を、切出時間帯の情報、注視対象の位置を示す座標、走行位置の座標に関連付けて、クリッピング映像記憶部４４に格納する（Ｓ１８）。
以上、本実施の形態の運転シーンクリッピング装置１の構成および動作について説明した。

本実施の形態の運転シーンクリッピング装置１は、注視行動検出部２０にて乗員の注視行動を検出し、乗員が注視行動をとった時刻を含む時間帯の映像を切り出すので、映像に会話等の音声情報が含まれていない場合にも、乗員の関心または話題に合わせて映像の切り出しを適切に行える。これにより、例えば、会話映像を取得した場合には、会話映像を話題毎に切り出して記録することができる。また、乗員が運転手のみの場合にも、運転手の関心のある映像を切り出して記録することができる。

本実施の形態の運転シーンクリッピング装置１は、乗物の移動速度に基づいて映像を切り出す時間帯を決定するので、適切な長さの時間帯を切り出すことができる。例えば、乗物の移動速度が速い場合には移動速度が遅い場合より、注視している対象が視界から消える時間が短いので切出時間帯の長さを短くする。

本実施の形態の運転シーンクリッピング装置１は、切り出した映像に注視対象に関する情報を関連付けて記録するので、記録された情報を読み出すときに、話題になっている注視対象に関する情報を併せて参照することができるので便利である。

（第２の実施の形態）
次に、第２の実施の形態の運転シーンクリッピング装置について説明する。第２の実施の形態の運転シーンクリッピング装置は、基本的な構成は第１の実施の形態と同じであるが（図１参照）、切出時間帯決定部３６が映像の特徴量を用いて切出時間帯を決定する点が異なる。

図１１は、第２の実施の形態の切出時間帯決定部３６による切出時間帯の決定方法を説明するための図である。図１１において、時刻ｔ８および時刻ｔ９において映像の特徴量が変化したことを示す。時刻ｔ８から時刻ｔ９までは特徴量の変化点がなく、ほぼ同じ特徴量の映像が継続している。

映像の特徴量の変化としては、たとえば、各フレームにおける画像Ｉｎの変化として計算することができる。各フレームの画像Ｉｎにおける特徴量は、撮影されている場所がどのような場所であるかで変化する。場所をタイプ分けし、タイプにラベルｍを付する。すべてのタイプｍから成る集合をモデル空間Mと呼ぶ。運転シーンにおいて、どのようなタイプｍの場所が現れ易いかを事前分布Ｐ（ｍ）として与える。タイプｍを仮定したとき、ある画像Ｉの現れ易さは、条件付確率Ｐ（Ｉ｜ｍ）として与えられる。事前に与えたモデル空間Ｍに対する事前分布Ｐ（ｍ）は、実際に観測された映像によって補正を受ける。これを事後分布と呼び、Ｐ（ｍ｜Ｉｎ、Ｉn−１、…、Ｉ０）と書く。映像特徴量の変化は、下記の式（１０）により、画像の特徴量の事後分布に基づいてカルバック擬距離（ベイジアンサプライズ）を求め、カルバック擬距離が所定の閾値以上である箇所、すなわち、サプライズの高い箇所を特徴量の変化点として検出する。

第２の実施の形態において、切出時間帯決定部３６は、注視行動を検出した時刻を含む時間帯の映像が持つ特徴量と同じ特徴量を有する一連の映像を切り出す。図１１に示す例では、時刻ｔ８から時刻ｔ９までの映像を切り出す。

映像の特徴量が変化する箇所では、運転シーンが大きく変化するので、話題の転換点になりやすい。第２の実施の形態では、映像の特徴量に基づいて切出時間帯を決定するので、話題が変化する箇所で適切に切り出すことができる。

本実施の形態では、映像の特徴量を利用する例について説明したが、図１２に示すように、映像の特徴量に加え、音声レベルや、会話映像を解析して求めた話題に基づいて、映像の切出しを行ってもよい。図１２では、映像の特徴量によって決まる切出しの開始位置を、会話の音声レベルによって延長し、さらに話題によって延長している。このように複数の判断要素を用いて映像の切出しを行うことにより、注視行動を含む時間帯を適切に切り出すことができる。

（第３の実施の形態）
次に、第３の実施の形態の運転シーンクリッピング装置について説明する。第３の実施の形態の運転シーンクリッピング装置は、基本的な構成は第１の実施の形態と同じであるが（図１参照）、注視行動判定部３４が運転に関する注視を除外して注視行動の判定を行う点が異なる。

注視行動判定部３４は、運転に関する注視方向の事前分布確率を設定し、保持しておく。この事前確率分布は、過去のデータに基づいて計算することにより求めることができる。一般的には、運転に関する注視の事前確率分布は、前方の道路上に主に分布する。注視行動判定部３４は、観測された注視行動の方向に対応する確率値を事前確率分布から求め、観測された注視方向に対応する確率値が所定の閾値以上の値を有するか否かを判定する。観測された注視方向の確率値が所定の閾値以上の場合には、その方向への注視行動は運転に関する注視行動であると判定する。注視行動判定部３４は、観測された注視行動から運転に関する注視行動を除外して、乗員の注視行動の有無を判定する。

この構成により、運転に関する注視行動を除く注視行動を検出できるので、話題となり得る対象に対する乗員の注視行動を適切に検出することができる。

以上、本発明の情報記録装置について、運転シーンクリッピング装置１の実施の形態を例として説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、頭部検出部２６および眼球検出部２８は、車内カメラ１４によって撮影された画像に基づいて頭部および眼球を検出しているが、頭部検出部２６および眼球検出部２８の具体的な構成は、他の手法にて頭部および眼球の動きを検出してもよい。例えば、眼球の向きを検出するために、アイマークカメラを用いることとしてもよい。また、頭部の位置および向きを検出するために、ジャイロセンサを用いてもよい。

上記した実施の形態では、切り出した会話映像に注視対象の座標を関連付けて、クリッピング映像記憶部に記録する例について説明したが、注視対象の名称や、注視対象の映像等を関連付けて記憶することとしてもよい。注視対象の名称や映像は、以下のようにして取得することができる。注視対象の名称については、例えば、カーナビゲーションの地図情報を利用して、注視対象の座標に対応する箇所にある施設等の名称を検索する。また、注視対象の映像については、走行位置の座標と注視対象の座標とに基づいて、車外カメラ１２の座標系における注視対象の位置を求め、車外カメラ１２にて撮影した映像の中から注視対象を切り出す。

上記した実施の形態では、運転シーンクリッピング装置１およびその動作について説明したが、上記した実施の形態の運転シーンクリッピング装置１を実行するためのプログラムも本発明に含まれる。

また、上記した実施の形態では、映像から運転シーンを切り出して記録する運転シーンクリッピング装置１について説明したが、映像以外の情報のクリッピングにも適用することができる。

本発明は、話題毎の情報の切り出しを適切に行えるという効果を有し、例えば、乗員の会話や乗物から見える映像を話題ごとに記録する情報記録装置等として有用である。

第１の実施の形態の運転シーンクリッピング装置の構成を示す図 乗員の視線方向を検出する原理を説明するための図 視線の交差位置を求める例を示す図 視点とその視線方向から決まる直線上の点の位置関係を示す図 ２つの視線の最近接点を示す図 切出時間帯決定部によって切出時間帯を決定する例を示す図 クリッピング映像記憶部に記憶されたデータの例を示す図 実施の形態の運転シーンクリッピング装置によって所定の映像をクリッピングする動作を示す図 注視行動検出処理の動作を示す図 複数の視線の交差可能性の判定について説明するための図 第２の実施の形態の切出時間帯決定部による切出時間帯の決定方法を説明するための図 第２の実施の形態の変形例に係る切出時間帯の決定方法を説明するための図

符号の説明

１ 運転シーンクリッピング装置
１０ 映像取得部
１２ 車外カメラ
１４ 車内カメラ
１６ 全映像記憶部
２０ 注視行動検出部
２２ ＧＰＳ
２４ 車両方向検出部
２６ 頭部検出部
２８ 眼球検出部
３０ 視線検出部
３２ 視線交差位置検出部
３４ 注視行動判定部
３６ 切出時間帯決定部
３８ 速度センサ
４０ 速度情報記憶部
４２ 映像切出部
４４ クリッピング映像記憶部

Claims (8)

1. 乗員が乗物に乗っているときの乗物または乗員に関する情報を取得する情報取得部と、
   乗員の注視行動を検出する注視行動検出部と、
   前記注視行動検出部にて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定部と、
   前記情報取得部にて取得した情報から、前記切出時間帯決定部にて決定された時間帯の情報を切り出す情報切出部と、
   前記情報切出部にて切り出した情報を記録する情報記録部と、
   を備える情報記録装置。
2. 前記注視行動検出部は、
   乗員の視線を検出する視線検出部と、
   異なるタイミングで取得した前記視線の交差を検出する視線交差検出部と、
   を備え、
   前記視線交差検出部にて求めた交差に基づいて、乗員の注視行動を検出する請求項１に記載の情報記録装置。
3. 前記情報取得部は、前記情報として映像を取得し、
   前記情報切出部は、前記映像の特徴量の変化に基づいて情報を切り出す請求項１に記載の情報記録装置。
4. 乗物の移動速度を検出する移動速度検出部を備え、
   前記切出時間帯決定部は、前記移動速度検出部にて検出された乗物の移動速度に基づいて、情報切出しの時間帯の長さを決定する請求項１に記載の情報記録装置。
5. 前記注視行動検出部にて検出された乗員の注視行動に基づいて、注視対象に関する情報を検出する注視対象検出部と、
   前記情報記録部は、前記注視対象検出部にて検出された注視対象に関する情報と、切り出した情報とを関連付けて記録する請求項１に記載の情報記録装置。
6. 前記注視行動検出部は、乗物の運転行動に関する注視を除外して、乗員の注視行動を検出する請求項１に記載の情報記録装置。
7. 乗員が乗物に乗っているときの乗物または乗員に関する情報を取得する情報取得ステップと、
   乗員の注視行動を検出する注視行動検出ステップと、
   前記注視行動検出ステップにて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定ステップと、
   前記情報取得ステップにて取得した情報から、前記切出時間帯決定ステップにて決定された時間帯の情報を切り出す情報切出ステップと、
   前記情報切出ステップにて切り出した情報を記録する情報記録ステップと、
   を備える情報記録方法。
8. 乗員が乗物に乗っているときの乗物または乗員に関する情報を記録するためのプログラムであって、コンピュータに、
   乗物または乗員に関する情報を取得する情報取得ステップと、
   乗員の注視行動を検出する注視行動検出ステップと、
   前記注視行動検出ステップにて注視行動を検出した時刻を含む時間帯を情報切出しの時間帯として決定する切出時間帯決定ステップと、
   前記情報取得ステップにて取得した情報から、前記切出時間帯決定ステップにて決定された時間帯の情報を切り出す情報切出ステップと、
   前記情報切出ステップにて切り出した情報を記録する情報記録ステップと、
   を実行させるプログラム。
   
   

Images