JP2023102599A - 映像記録装置、および映像記録方法 - Google Patents

Abstract

【課題】撮影された映像の検索を容易にすること。【解決手段】映像記録装置は、車両の周辺を撮影した第一撮影データおよび車両の車室内を撮影した第二撮影データを取得する撮影データ取得部と、車両の搭乗者の顔を検出し、検出した搭乗者の顔または視線の向きを検出する向き検出部と、車両の搭乗者が車両の進行方向以外を向いているか否かを判断する判断部と、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、判断部が、車両の搭乗者が車両の進行方向以外を向いていると判断した場合、判断したときに対応する撮影ファイルのサムネイル画像を、判断したときの第一撮影データにおける搭乗者が向いた方向の画像から生成するサムネイル画像生成部と、撮影データ処理部が生成した撮影ファイルとサムネイル画像生成部が生成したサムネイル画像とを対応付けて記録部に記録する記録制御部と、を備える。【選択図】図１

Description

本発明は、映像記録装置、および映像記録方法に関する。

車両において主に車両外の映像を撮影するドライブレコーダが普及しており、例えば６０秒毎の所定時間毎にファイルを生成して記録する。また、事故等のイベントが検出された場合は、イベント検出時点を含む所定期間の映像を、イベントデータとして保存する。例えば、特許文献１には、イベントデータを記録し、イベントデータに対応するサムネイル画像を表示することで、イベントデータを選択し、再生することができるドライブレコーダが開示されている。

特開２０２０－１４１１７０号公報

ドライブレコーダは、イベントとして事故を検出したときの映像に加えて、車両の走行時に周囲の映像を記録する目的で利用される場合もある。例えば、車両の走行後に記録した映像を確認する場合、１ファイル毎のサムネイル画像が表示されても、サムネイル画像の表示に基づき所望の映像を見つけることが困難な場合がある。

本発明は、撮影された映像の検索を容易にすることができる映像記録装置、および映像記録方法を提供することを目的とする。

本発明に係る映像記録装置は、車両の周辺を撮影する第一撮影部が撮影した第一撮影データおよび前記車両の車室内を撮影する第二撮影部が撮影した第二撮影データを取得する撮影データ取得部と、前記第二撮影データから、前記車両の搭乗者の顔を検出し、検出した前記搭乗者の顔または視線の向きを検出する向き検出部と、前記向き検出部の検出結果に基づき、前記車両の搭乗者が前記車両の進行方向以外を向いているか否かを判断する判断部と、前記第一撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、前記判断部が、前記車両の搭乗者が前記車両の進行方向以外を向いていると判断した場合、判断したときに対応する前記撮影ファイルのサムネイル画像を、判断したときの前記第一撮影データにおける前記搭乗者が向いた方向の画像から生成するサムネイル画像生成部と、前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、を備える。

本発明に係る映像記録方法は、車両の周辺を撮影する第一撮影部が撮影した第一撮影データおよび前記車両の車室内を撮影する第二撮影部が撮影した第二撮影データを取得する撮影データ取得ステップと、前記第二撮影データから、前記車両の搭乗者の顔を検出し、検出した前記搭乗者の顔または視線の向きを検出する向き検出ステップと、前記向き検出ステップによる検出結果に基づき、前記車両の搭乗者が前記車両の進行方向以外を向いているか否かを判断する判断ステップと、前記第一撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、前記判断ステップにおいて、前記車両の搭乗者が前記車両の進行方向以外を向いていると判断した場合、判断したときに対応する前記撮影ファイルのサムネイル画像を、判断したときの前記第一撮影データにおける前記搭乗者が向いた向きの画像から生成するサムネイル画像生成ステップと、前記撮影データ処理ステップにおいて生成した前記撮影ファイルと前記サムネイル画像生成ステップにおいて生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、を映像記録装置が実行する。

本発明によれば、撮影された映像の検索を容易にすることができる。

図１は、第一実施形態に係る映像記録装置の構成例を示すブロック図である。 図２は、第一実施形態に係る撮像部の配置位置の例を説明するための図である。 図３は、第一実施形態に係る制御部の処理の流れを示すフローチャートである。 図４は、第一実施形態に係る通常記録処理を説明するための図である。 図５は、第一実施形態に係る向き検出処理を説明するための図である。 図６は、第一実施形態に係る搭乗者が向いた方向の画像をサムネイル画像をとして生成する方法を説明するための図である。 図７は、第一実施形態に係る撮影ファイルの最初の画像をサムネイル画像として生成する方法を説明するた目の図である。 図８は、第一実施形態に係るサムネイル画像の表示例を示す図である。 図９は、第一実施形態の変形例に係るサムネイル画像を生成する方法を説明するための図である。 図１０は、第二実施形態に係る制御部の処理の流れを示すフローチャートである。 図１１は、第二実施形態に係るイベント記録期間に、搭乗者は車両の進行方向以外を向いているか否かを判定する方法を説明するための図である。 図１２は、第三実施形態に係る映像記録装置の構成例を示すブロック図である。 図１３は、第三実施形態に係る制御部の処理の流れを示すフローチャートである。 図１４は、第三実施形態の第一変形例に係る切り出し範囲を変更する方法を説明するための図である。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第一実施形態］
（映像記録装置）
図１と、図２とを用いて、第一実施形態に係る映像記録装置の構成例を説明する。図１は、第一実施形態に係る映像記録装置の構成例を示すブロック図である。図２は、第一実施形態に係る撮像部の配置位置の例を説明するための図である。

映像記録装置１は、車両に対して発生したイベントを記録する、いわゆるドライブレコーダである。映像記録装置１は、車両に載置されている装置であってもよいし、可搬型で車両において利用可能な装置であってもよい。映像記録装置１は、車両にあらかじめ設置されている装置やナビゲーション装置等の機能または構成を含んで実現されてもよい。映像記録装置１は、搭乗者の向いている方向を特定し、向いている方向に応じたサムネイル画像を生成する。

図１に示すように、映像記録装置１は、第一カメラ１０と、第二カメラ１２と、記録部１４と、表示部１６と、加速度センサ１８と、操作部２０と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）２２と、制御部（記録制御装置）２４と、を備える。

第一カメラ１０は、車両の周辺を撮影するカメラを有する。第一カメラ１０は、一例としては、映像記録装置１に固有のカメラである。第一実施形態では、第一カメラ１０は、例えば、車両の前方および後方を向いて配置される複数のカメラで構成され、車両の前方および後方を中心とした周辺を撮影する。第一カメラ１０は、例えば、全天周や半天周を撮影可能な単一のカメラであってもよい。第一カメラ１０は、撮影した第一撮影データを制御部２４の撮影データ取得部３０へ出力する。第一撮影データは、例えば毎秒３０フレームの画像から構成される動画像である。

第二カメラ１２は、車両の車室内を撮影するカメラである。第二カメラ１２は、車両の運転者を含む車両の搭乗者の顔部を撮影可能な位置に配置されている。第二カメラ１２は、例えば、車両のルームミラー内部またはルームミラーの周辺に配置されている。第二カメラ１２は、撮影範囲と撮影向きが固定またはほぼ固定である。第二カメラ１２は、例えば、可視光カメラまたは近赤外線カメラで構成される。第二カメラ１２は、例えば、可視光カメラと近赤外線カメラとの組み合わせで構成されてもよい。第二カメラ１２は、撮影した第二撮影データを制御部２４の撮影データ取得部２６へ出力する。第二撮影データは、例えば毎秒３０フレームの画像から構成される動画像である。なお、第一撮影データおよび第二撮影データとの区別を要しない場合、撮影データと記載する。

図２は、車両Ｖの車室内の概略図を示す。車室内には、運転席１０１と、助手席１０２と、後部席１０３とが配置される。第一実施形態では、運転席１０１には搭乗者Ｕ１が搭乗し、助手席１０２には搭乗者Ｕ２が搭乗し、後部席１０３には搭乗者Ｕ３が搭乗しているものとして説明する。

車両Ｖには、第一カメラである、前方カメラ１０ａおよび後方カメラ１０ｂと、第二カメラ１２が配置されている。

前方カメラ１０ａは、車両Ｖの車室内のフロントガラス付近に車両Ｖの前方を向いて配置され、車両Ｖの前方を中心とした周辺を撮影する。撮影範囲ＳＲ１は、前方カメラ１０ａの水平方向の撮影範囲の例である。前方カメラ１０ａの撮影範囲ＳＲ１は、例えば、前方カメラ１０ａの前方を０度としととき、水平方向に±７０度程度の範囲などが撮影可能である。

後方カメラ１０ｂは、車両Ｖの車室内の後方に車両Ｖの後方を向いて配置され、車両Ｖの後方を中心とした周辺を撮影する。撮影範囲ＳＲ２は、後方カメラ１０ｂの水平方向の撮影範囲の例である。後方カメラ１０ｂの撮影範囲ＳＲ２は、例えば、後方カメラ１０ｂの後方を０度としたとき、水平方向に±７０度程度の範囲などが撮影可能である。

第二カメラ１２は、搭乗者Ｕ１、搭乗者Ｕ２、および搭乗者Ｕ３など、車両Ｖの搭乗者の少なくとも顔部を撮影可能な位置に配置されている。撮影範囲ＳＲ３は、第二カメラ１２の水平方向の撮影範囲の例である。第二カメラ１２の撮影範囲ＳＲ３は、搭乗者Ｕ１、搭乗者Ｕ２、および搭乗者Ｕ３など、車両Ｖの搭乗者の少なくとも顔部を撮影可能な範囲である。

第一カメラ１０および第二カメラ１２は、例えば全天周や半天周を撮影可能な単一のカメラであってもよい。この場合、全天周や半天周を撮影した撮影データにおいて、撮影データの全体または車両の周辺を撮影している範囲や、車両の前方などを撮影している範囲を、第一撮影データとする。また、全天周や半天周を撮影した撮影データにおいて、車両の座席に着座している搭乗者の顔を撮影可能な範囲を、第二撮影データとする。全天周や半天周を撮影した撮影データ全体を、第一撮影データおよび第二撮影データとして扱ってもよい。

記録部１４は、映像記録装置１におけるデータの一時記憶などに用いられる。記録部１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。記録部１４は、制御部２４の記録制御部３６から出力された制御信号に基づいて、ループ記録撮影データまたはイベントデータを記録する。

表示部１６は、例えば、映像記録装置１に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部１６は、第一カメラ１０と一体に形成されていてもよい。表示部１６、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１６は、制御部２４の記録制御部３６から出力された映像信号に基づいて、映像を表示する。表示部１６は、第一カメラ１０が撮影している映像、または、記録部１４に記録された映像を表示する。

加速度センサ１８は、車両に対して生じる加速度を検出するセンサである。加速度センサ１８は、検出結果を制御部２４のイベント検出部４８に出力する。加速度センサ１８は、例えば３軸方向の加速度を検出するセンサである。３軸方向とは、車両の前後方向、左右方向、および上下方向である。

操作部２０は、映像記録装置１に対する各種操作を受付可能なインターフェースである。例えば、操作部２０は、撮影した撮影データを記録部１４にイベントデータとして手動で保存する操作を受付可能である。例えば、操作部２０は、記録部１４に記録したループ記録撮影データまたはイベントデータを再生する操作を受付可能である。例えば、操作部２０は、記録部１４に記録したイベントデータを消去する操作を受付可能である。例えば、操作部２０は、ループ記録を終了する操作を受付可能である。操作部２０は、操作情報を制御部２４の操作制御部５０に出力する。操作部２０は、手動で操作するためのタッチパネルや操作ボタンに加えて、音声操作を行うためのマイクロフォンを含む音声取得部であってもよい。

ＧＮＳＳ受信部２２は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ受信部２２は、受信したＧＮＳＳ信号を制御部２４の位置情報取得部５２へ出力する。

制御部２４は、映像記録装置１の各部を制御する。制御部２４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの情報処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置とを有する。制御部２４は、本発明に係る映像記録装置１の動作を制御するプログラムを実行する。制御部２４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。制御部２４は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部２４は、プログラムなどによって実現される機能として、撮影データ取得部３０と、バッファメモリ３２と、撮影データ処理部３４と、記録制御部３６と、再生制御部３８と、表示制御部４０と、向き検出部４２と、判断部４４と、サムネイル画像生成部４６と、イベント検出部４８と、操作制御部５０と、位置情報取得部５２と、を備える。

撮影データ取得部３０は、車両の周辺を撮影した第一撮影データおよび車両の車室内を撮影した第二撮影データを取得する。具体的には、撮影データ取得部３０は、第一カメラ１０が撮影した第一撮影データおよび第二カメラ１２が撮影した第二撮影データを取得する。撮影データ取得部３０は、取得した第一撮影データを、バッファメモリ１２１に出力する。撮影データ取得部３０は、取得した第二撮影データを、向き検出部４２に出力する。撮影データ取得部３０が取得する第一撮影データおよび第二撮影データは、映像のみのデータに限らず、映像と音声とを含む撮影データであってもよい。撮影データ取得部３０は、第一撮影データおよび第二撮影データとして、全天周や半天周を撮影した撮影データを取得してもよい。

バッファメモリ３２は、映像記録装置１が備える内部メモリであり、撮影データ取得部３０が取得した一定時間分の撮影データを、更新しながら一時的に記録するメモリである。

撮影データ処理部３４は、バッファメモリ３２が一時的に記憶している撮影データを、例えばＨ．２６４やＭＰＥＧ－４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部３４は、バッファメモリ３２が一時的に記憶している撮影データから、一定時間分のファイルとした撮影データを生成する。具体例として、撮影データ処理部３４は、バッファメモリ３２が一時的に記憶している撮影データを、記録順に６０秒間の撮影データをファイルとして生成する。撮影データ処理部３４は、生成した撮影データを記録制御部３６へ出力する。撮影データ処理部３４は、生成した撮影データを表示制御部４０へ出力する。ファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。

撮影データ処理部３４は、第一画像データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する。撮影データ処理部３４は、第一画像データから、所定期間毎のサムネイル画像を対応付ける対象となる撮影ファイルを生成する。撮影データ処理部３４は、操作制御部５０がイベント記録を行う操作を受け付けた場合に、イベント操作を受け付けたときを含む所定期間の第一撮影データをイベントデータとしての撮影ファイルを生成する。

記録制御部３６は、撮影データ処理部３４でファイル化された撮影データを、記録部１４に記録させる制御を行う。記録制御部３６は、車両のアクセサリ電源がＯＮであるときなど、ループ記録処理を実行する期間は、撮影データ処理部３４でファイル化された撮影データを、上書き可能な撮影データとして、記録部１４に記録する。記録制御部３６は、ループ記録処理を実行する期間は、撮影データ処理部３４が生成した撮影データを記録部１４に記録し続け、記録部１４の容量が一杯になった場合、最も古い撮影データに新しい撮影データを上書きして記録する。

記録制御部３６は、撮影データ処理部３４が生成した撮影ファイルとサムネイル画像生成部４６が生成したサムネイル画像とを対応付けて記録部１４に記録する。記録制御部３６は、撮影データ処理部３４が生成した所定期間毎の撮影ファイルとサムネイル画像生成部４６が生成したサムネイル画像とを対応付けて記録部１４に記録する。記録制御部３６は、撮影データ処理部３４が生成したイベントデータとしての撮影ファイルを、上書き禁止のデータとして記録部１４に記録する。記録制御部３６は、撮影データ処理部３４が生成したイベントデータとしての撮影ファイルとサムネイル画像生成部４６が生成したサムネイル画像とを対応付けて記録部１４に記録する。

記録制御部３６は、ループ記録撮影データおよびイベントデータが撮影されたときにおける位置情報取得部５２が取得した位置情報を、ループ記録撮影データおよびイベントデータに対応つけて記録部１４に記録する。

再生制御部３８は、操作制御部５０から出力された再生操作の制御信号に基づいて、記録部１４に記録されたループ記録撮影データまたはイベントデータを再生するよう制御する。再生制御部３８は、操作制御部５０から出力された再生操作の制御信号に基づいて、記録部１４に記録されたサムネイル画像を表示部１６に表示させる制御を行う。再生制御部３８は、操作制御部５０から出力された再生操作の制御信号に基づいて、表示部１６に表示されたサムネイルが選択された場合、選択されたサムネイルに対応付けられているループ記録撮影データまたはイベントデータを再生する制御を行う。

表示制御部４０は、表示部１６における撮影データの表示を制御する。表示制御部４０は、撮影データを表示部１６に出力させる映像信号を出力する。より詳しくは、表示制御部４０は、第一カメラ１０が撮影している映像、または、記録部１４に記録されたループ記録撮影データまたはイベントデータの再生によって表示する映像信号を出力する。

向き検出部４２は、第二撮影データから車両の搭乗者を認識する。第一実施形態では、搭乗者には、運転者および運転者以外の乗員が含まれる。搭乗者は、車両の運転者のみであってもよい。第二撮影データから人物を認識する方法は、パターンマッチングや、人の顔を機械学習させたモデルを用いる方法など、公知の方法を使用可能であり、限定されない。

向き検出部４２は、第二撮影データに画像処理を行って、車両の搭乗者の顔部を認識して、顔または視線の向きを検出する。向き検出部４２は、第二撮影データから車両の搭乗者の顔の向きを検出する場合、例えば、人の顔を構成する特徴部の位置関係などに基づき人の顔を検出し、顔中心線などと、顔を構成する各要素の位置関係などから、顔の向きを検出する。向き検出部４２は、第二撮影データから車両の搭乗者の視線の向きを検出する場合、目の映像から検出した目頭と光彩の位置関係に基づく視線検出や、角膜反射と瞳孔の位置関係に基づく視線検出など任意の手法が適用可能である。

向き検出部４２は、第二撮影データから、車両の搭乗者の顔または視線の向きを検出し、車両の前方に対して、車両の搭乗者の顔または視線が向いている角度を算出する。ここで算出する角度は、例えば、車両の前方（進行方向）を０度としたとき、１０度毎の向きが判別できればよい。

判断部４４は、向き検出部４２の検出結果に基づき、車両の搭乗者が車両の進行方向を向いているか、進行方向以外を向いているか否かを判断する。判断部４４は、車両の搭乗者の顔または視線の向きが、例えば、車両の前方（進行方向）を０度としたとき、±３０度程度の範囲を向いている場合は、車両の進行方向を向いていると判断する。判断部４４は、向き検出部４２の検出結果に基づき、車両の搭乗者の顔または視線が向いている方向として、車両に対して右前方向、右方向、左前方向、左方向などを向いていることを判断する。判断部４４は、向き検出部４２が複数の搭乗者を検出した場合、向き検出部４２の検出結果に基づき、複数の搭乗者のうち所定割合以上の搭乗者が車両の進行方向以外の同一方向を向いているか否かを判断する。ここでいう同一方向とは、例えば、複数の搭乗者の顔または視線の向きが±５度程度異なっていても、同一方向とみなしてもよい。

サムネイル画像生成部４６は、第一撮影データからサムネイル画像を生成する。サムネイル画像生成部４６は、判断部４４が車両の搭乗者が車両の進行方向以外を向いていると判断した場合、判断したときに対応する撮影ファイルのサムネイル画像を、判断したときの第一撮影データにおける搭乗者が向いた方向の画像から生成する。サムネイル画像生成部４６は、判断部４４が、複数の搭乗者のうち所定割合以上の搭乗者が車両の進行方向以外の同一方向を向いていると判断した場合、判断したときに対応する撮影ファイルのサムネイル画像を、判断したときの第一撮影データにおける搭乗者が向いた方向の画像から生成する。

イベント検出部４８は、車両に加わる加速度に基づくイベントを検出する。イベント検出部４８は、加速度センサ１８の検出結果に基づいて、イベントを検出する。イベント検出部４８は、加速度情報が、車両の衝突に該当するような設定した閾値以上である場合、イベントが発生したことを検出する。

操作制御部５０は、操作部２０が受け付けた操作の操作情報を取得する。例えば、操作制御部５０は、撮影データの手動保存操作を示す保存操作情報、イベント記録の手動保存操作を示すイベント記録操作情報、再生操作を示す再生操作情報、または、撮影データの消去操作を示す消去操作情報を取得して制御信号を出力する。例えば、操作制御部５０は、ループ記録を終了する操作を示す終了操作情報を取得して制御信号を出力する。操作制御部５０は、音声による操作を受け付ける場合は、操作部２０が取得した音声の発話分析、音声コマンドの特定を行う。

位置情報取得部５２は、車両の現在位置を示す位置情報を取得する。位置情報取得部５２は、ＧＮＳＳ受信部２２が受信したＧＮＳＳ信号に基づいて、車両の現在位置の位置情報を公知の方法によって算出する。位置情報取得部５２は、算出した位置情報を記録制御部３６に出力する。

（制御部の処理）
図３を用いて、第一実施形態に係る制御部の処理の流れを説明する。図３は、第一実施形態に係る制御部の処理の流れを示すフローチャートである。

映像記録装置１の動作の開始に伴い、制御部２４は、通常記録（撮影ファイル生成）、向き検出を開始する（ステップＳ１０）。図４は、第一実施形態に係る通常記録処理を説明するための図である。記録制御部３６は、第一カメラ１０が撮影した第一撮影データＤ１をバッファメモリ３２に送信し、例えば、６０秒毎のような所定期間の映像毎に撮影ファイルを生成し、記録部１４に記録させる。記録制御部３６は、いわゆるループ記録を実行する。図４に示す例では、撮影ファイルＦ１、撮影ファイルＦ２、撮影ファイルＦ３、撮影ファイルＦ４、撮影ファイルＦ５が示されている。図５は、第一実施形態に係る向き検出処理を説明するための図である。向き検出部４２は、映像記録装置１が搭載されている車両の搭乗者の顔または視線の向きを検出する。図５に示す例では、向き検出部４２は、搭乗者Ｕ１の顔または視線の方向Ｖ１と、搭乗者Ｕ２の顔または視線の方向Ｖ２と、搭乗者Ｕ３の顔または視線の方向Ｖ３と、を特定する。そして、ステップＳ１２に進む。

判断部４４は、向き検出部４２の検出結果に基づいて、車両の搭乗者は車両の進行方向以外を向いているか否かを判定する（ステップＳ１２）。具体的には、判断部４４は、車両の搭乗者が進行方向以外を所定時間以上向いているか否かを判定する。所定時間は、例えば、２秒以上であるが、これに限定されない。例えば、図４に示す例では、期間Ｔ１は、車両の搭乗者が進行方向以外を向いている期間である。撮影ファイルＦ１から撮影ファイルＦ３においては、進行方向を向いていると判定され、撮影ファイルＦ４の途中から撮影ファイルＦ５の途中までの期間においては、車両の搭乗者は進行方向以外を向いていると判定される。また、図４に示す例では、期間Ｔ１は、車両の搭乗者が進行方向以外を連続して複数回向いている期間であってもよい。例えば、車両の搭乗者が進行方向以外の同一方向を、５秒間に３回以上見た場合などである。従って、判断部４４は、車両の搭乗者が車両の進行方向以外を向いているか否かの判断に代えて、車両の搭乗者が車両の進行方向以外を向いている傾向があるか否かの判断を行ってもよい。搭乗者が車両の進行方向以外を向いていると判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１４に進む。搭乗者が車両の進行方向以外を向いていると判定されない場合（ステップＳ１２；Ｎｏ）、ステップＳ１６に進む。

ステップＳ１２でＹｅｓと判定された場合、サムネイル画像生成部４６は、搭乗者が向いた方向の画像をサムネイル画像として生成する（ステップＳ１４）。図６は、第一実施形態に係る搭乗者が向いた方向の画像をサムネイル画像をとして生成する方法を説明するための図である。図６に示す撮影画像１００は、第一撮影データにおけるサムネイル画像の対象となる画像である。撮影画像１００は、図４に示す撮影ファイルＦ４でいえば、撮影ファイルＦ４には搭乗者が進行方向以外を向いていると判断された期間が含まれるため、撮影ファイルＦ４における搭乗者が進行方向以外を向いていると判断された期間の最初の画像である。撮影画像１００は、図４に示す撮影ファイルＦ５でいえば、撮影ファイルＦ５を構成する最初の画像である。サムネイル画像生成部４６は、例えば、撮影画像１００から搭乗者が向いている方向の画像領域１００ａを切り出して、切り出した画像領域１００ａの画像を拡大させてサムネイル画像２００として生成する。そして、ステップＳ１８にすすむ。

ステップＳ１２でＮｏと判定された場合、サムネイル画像生成部４６は、撮影ファイルの最初の画像をサムネイル画像として生成する（ステップＳ１６）。図７は、第一実施形態に係る撮影ファイルの最初の画像をサムネイル画像として生成する方法を説明するた目の図である。撮影画像１１０は、第一撮影データにおけるサムネイル画像の対象となる画像である。撮影画像１１０は、図４に示す撮影ファイルＦ１から撮影ファイルＦ３でいえば、撮影ファイルＦ１から撮影ファイルＦ３を構成する各々の最初の画像である。サムネイル画像生成部４６は、画素数などを低減してサムネイル画像を生成する。サムネイル画像生成部４６は、例えば、撮影画像１１０が１９２０×１０８０ピクセルで生成されている場合、４８０×２７０ピクセルにサイズを縮小したサムネイル画像２１０を生成する。そして、ステップＳ１８に進む。

記録制御部３６は、撮影ファイルにサムネイル画像を対応付けて、記録部１４に記録する（ステップＳ１８）。具体的には、記録制御部３６は、撮影ファイルＦ１から撮影ファイルＦ５のそれぞれに、生成したサムネイル画像を対応付けて、記録部１４に記録する。そして、ステップＳ２０に進む。

制御部２４は、処理を終了するか否かを判定する（ステップＳ２４）。具体的には、制御部２４は、操作部２０が電源をオフにする操作や、処理を終了する旨の操作を受け付けた場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ２０；Ｙｅｓ）、図３の処理を終了する。処理を終了すると判定されない場合（ステップＳ２０；Ｎｏ）、ステップＳ１２に進む。

（サムネイル画像表示処理）
表示制御部４０は、操作部２０によって、ループ記録撮影データまたはイベントデータの再生を行うための操作が行われた場合、記録部１４に記録されたループ記録撮影データまたはイベントデータのサムネイル画像を表示部１６に表示させる。図８は、第一実施形態に係るサムネイル画像の表示例を示す図である。図８に示すように、サムネイル画像２００は、表示部１６に少なくとも１つ表示される。サムネイル画像２００は、撮影ファイル毎にタイル状に表示される。サムネイル画像２００は、パーソナルコンピュータやスマートフォンなどの情報端末装置で表示されてもよい。

上述のとおり、第一実施形態は、車両の搭乗者が注目している傾向のある方向の映像を撮影ファイル毎にサムネイル画像として表示する。サムネイル画像には、搭乗者が注目している対象となる事象などが拡大されて含まれている可能性が高い。これにより、第一実施形態は、搭乗者が見ることを所望する映像の検索が容易となる。

［第一実施形態の変形例］
第一カメラ１０が、全天周カメラである場合に、全天周カメラが撮影した撮影データからサムネイル画像を生成する方法について説明する。図９は、第一実施形態の変形例に係るサムネイル画像を生成する方法を説明するための図である。

図９に示す撮影画像３００は、全天周カメラが撮影した第一撮影データにおけるサムネイル画像の対象となる画像である。撮影画像３００は、車両を中心として全方位の画像である。この場合、撮影画像３００における前方の画像領域３００ａを切り出した画像が、通常時のサムネイル画像となる。画像領域３００ａに基づくサムネイル画像は、図３に示すステップＳ１６で生成されるサムネイル画像である。例えば、車両の搭乗者が右方向を向いたと判定された場合に、サムネイル画像生成部４６は、右方向の画像領域３００ｂを切り出して、サムネイル画像を生成する。画像領域３００ｂに基づくサムネイル画像は、図３に示すステップＳ１４で生成されるサムネイル画像である。

［第二実施形態］
第二実施形態について説明する。第二実施形態は、イベント記録操作が行われたか否かに応じて処理を切り替える点で、第一実施形態と異なる。第二実施形態に係る映像記録装置の構成は、第一実施形態に係る映像記録装置の構成と同一なので、説明を省略する。

（制御部の処理）
図１０を用いて、第二実施形態に係る制御部の処理の流れを説明する。図１０は、第二実施形態に係る制御部の処理の流れを示すフローチャートである。

図１０に示すステップＳ３０の処理は、図３に示すステップＳ１０の処理と同一なので、説明を省略する。

操作制御部５０は、操作部２０がイベント記録操作を受け付けたか否かを判定する（ステップＳ３２）。操作部２０におけるイベント記録操作の受け付けとは、例えば、操作部２０の操作によって、手動でのイベント記録操作が行われた場合や、音声コマンドによるイベント記録の指示が行われた場合である。イベント記録操作を受け付けたと判定された場合（ステップＳ３２；Ｙｅｓ）、ステップＳ３４に進む。イベント記録操作を受け付けたと判定されない場合（ステップＳ３２；Ｎｏ）、ステップＳ４２に進む。

判断部４４は、向き検出部４２の検出結果に基づいて、イベント記録期間に、搭乗者は車両の進行方向以外を向いているか否かを判定する（ステップＳ３４）。図１１は、第二実施形態に係るイベント記録期間に、搭乗者は車両の進行方向以外を向いているか否かを判定する方法を説明するための図である。図１１において、期間Ｔ１０は、搭乗者が進行方向以外を向いている期間である。タイミングｔ１は、操作制御部５０がイベント記録操作を受け付けたタイミングである。タイミングｔ１でイベント記録操作を受け付けたことにより、記録制御部３６は、上書禁止のイベントデータとして撮影ファイルＩＦ１を記録部１４に記録する。図１１に示す例では、撮影ファイルＩＦ１の撮影期間には、搭乗者が進行方向以外を向いている期間が含まれる。この場合、判断部４４は、イベント記録期間に、搭乗者は車両の進行方向以外を向いていると判定する。イベント記録期間に、搭乗者が車両の進行方向以外を向いていると判定された場合（ステップＳ３４；Ｙｅｓ）、ステップＳ３６に進む。イベント記録期間に、搭乗者は車両の進行方向以外を向いていると判定されない場合（ステップＳ３４；Ｎｏ）、ステップＳ３８に進む。

ステップＳ３４でＹｅｓと判定された場合、サムネイル画像生成部４６は、イベント記録期間に搭乗者が向いた方向の画像をサムネイル画像として生成する（ステップＳ３６）。ステップＳ３６で、サムネイル画像生成部４６がサムネイル画像を生成する方法は、図６に示した方法と同一なので、説明を省略する。

ステップＳ３４でＮｏと判定された場合、サムネイル画像生成部４６は、イベントデータの最初の画像をサムネイル画像として生成する（ステップＳ３８）。ステップＳ３８で、サムネイル画像生成部４６がサムネイル画像を生成する方法は、図７に示した方法と同一なので、説明を省略する。

記録制御部３６は、イベントデータにサムネイル画像を対応付けて、記録部１４に記録する（ステップＳ４０）。具体的には、記録制御部３６は、撮影ファイルＩＦ１に、生成したサムネイル画像を対応付けて、記録部１４に記録する。そして、ステップＳ４２に進む。

図１０に示すステップＳ４２の処理は、図３に示すステップＳ２０の処理と同一なので、説明を省略する。

上述のとおり、第二実施形態は、イベントデータにサムネイル画像を対応付けて。記録部１４に記録する。これにより、第二実施形態は、イベントデータにおいて搭乗者が見ることを所望する映像の検索が容易となる。

［第三実施形態］
第三実施形態について説明する。第三実施形態は、車両の複数の搭乗者が乗車している場合に、進行方向以外を向いている人数の割合に応じて、サムネイル画像を生成する方法を変更する点で、第一実施形態と異なる。

（映像記録装置）
図１２を用いて、第三実施形態に係る映像記録装置の構成例を説明する。図１２は、第三実施形態に係る映像記録装置の構成例を示すブロック図である。

図１２に示すように、第三実施形態に係る映像記録装置１Ａは、制御部２４Ａが割合算出部５４を備える点で、図１に示す映像記録装置１と異なる。

向き検出部４２Ａは、車両に複数の搭乗者が乗車している場合に、複数の搭乗者の各々が向いている方向を検出する。向き検出部４２Ａ、複数の搭乗者の各々が進行方向を向いているか、進行方向以外を向いているかを検出する。

割合算出部５４は、複数の搭乗者のうち、所定方向を向いている搭乗者の割合を算出する。割合算出部５４は、複数の搭乗者のうち、進行方向以外を向いている搭乗者の割合を算出する。割合算出部５４は、複数の搭乗者のうち、進行方向以外を向いている搭乗者の割合が所定割合以上であるか否かを判定する。所定割合は、例えば、５０％以上である。具体的には、割合算出部５４は、搭乗者が２名の場合には１名以上、搭乗者が３名の場合には２名以上、搭乗者が４名の場合には２名以上が進行方向以外を向いていた場合に、所定以上の割合の搭乗者が進行方向以外を向いていると判定する。なお、所定割合は、５０％に限定されず、その他の値であってもよい。

（制御部の処理）
図１３を用いて、第三実施形態に係る制御部の処理の流れを説明する。図１３は、第三実施形態に係る制御部の処理の流れを示すフローチャートである。

映像記録装置１Ａの動作の開始に伴い、制御部２４Ａは、通常記録、向き検出を開始する（ステップＳ５０）。通常記録の処理は、図３に示すステップＳ１０と同一なので説明を省略する。向き検出部４２Ａは、車両に乗車している複数の搭乗者の各々の顔または視線の向きを検出する。そして、ステップＳ５２に進む。

割合算出部５４は、所定割合以上の搭乗者が車両の進行方向以外の同一方向を向いているか否かを判定する（ステップＳ５２）。具体的には、割合算出部５４は、向き検出部４２Ａの検出結果に基づいて、所定割合以上の搭乗者が車両の進行方向以外の同一方向を向いているか否かを判定する。所定割合以上の搭乗者が車両の進行方向以外を向いていると判定された場合（ステップＳ５２；Ｙｅｓ）、ステップＳ５４に進む。所定割合以上の搭乗者が車両の進行方向以外を向いていると判定されない場合（ステップＳ５２；Ｎｏ）、ステップＳ５６に進む。

ステップＳ５２でＹｅｓと判定された場合、サムネイル画像生成部４６は、所定割合以上の搭乗者が向いた方向の画像をサムネイル画像として生成する（ステップＳ５４）。ステップＳ５４で、サムネイル画像生成部４６がサムネイル画像を生成する方法は、図６に示した方法と同一なので、説明を省略する。

図１３に示すステップＳ５６からステップＳ６０の処理は、それぞれ、図３に示すステップＳ１６からステップＳ２０の処理と同一なので、説明を省略する。

上述のとおり、第三実施形態は、車両に搭乗している複数の搭乗者のうち、進行方向以外を向いている搭乗者の割合に応じて、サムネイル画像を生成する方法を変更する。第三実施形態では、進行方向以外を向いている搭乗者の割合が所定割合以上である場合には、その方向の画像をサムネイル画像として生成する。これにより、第三実施形態は、車両の搭乗者の多くが向いている方向のサムネイル画像を生成することができるので、より多くの人が注目している対象物が含まれている映像の検索が容易になる。

［第三実施形態の第一変形例］
第三実施形態において、車両に搭乗している複数の搭乗者の視線方向に応じて、サムネイル画像を生成する際の、画像の切り出し範囲を変更してもよい。

図１４は、第三実施形態の第一変形例に係る切り出し範囲を変更する方法を説明するための図である。例えば、搭乗者が３人である場合には、判断部４４は、３人の視線方向の平均値を算出してもよい。この場合、サムネイル画像生成部４６は、３人の視線方向の平均値を示す画像領域１００ｂを切り出してサムネイル画像を生成してもよい。例えば、判断部４４は、３人の視線方向は０°から７０°の範囲の方向であるが正確な方向を特定できない場合には、画像領域１００ｂよりも広い範囲である画像領域１００ｃを切り出してサムネイル画像を生成してもよい。例えば、判断部４４は、３人の視線方向が０°から７０°の方を向いているが正確な方向を特定できない場合には、画像領域１００ｂよりも狭い範囲である画像領域１００ｄを切り出してサムネイル画像を生成してもよい。第三実施形態の第一変形例では、複数の搭乗者の視線方向に応じて切り出し範囲を変更することにより、サムネイル画像に対象物が含まれる可能性が高くなるので、所望の映像の検索がより容易になる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 映像記録装置
１０ 第一カメラ
１２ 第二カメラ
１４ 記録部
１６ 表示部
１８ 加速度センサ
２０ 操作部
２２ ＧＮＳＳ受信部
２４，２４Ａ 制御部（記録制御装置）
３０ 撮影データ取得部
３２ バッファメモリ
３４ 撮影データ処理部
３６ 記録制御部
３８ 再生制御部
４０ 表示制御部
４２，４２Ａ 向き検出部
４４ 判断部
４６ サムネイル画像生成部
４８ イベント検出部
５０ 操作制御部
５２ 位置情報取得部
５４ 割合算出部

Claims (5)

1. 車両の周辺を撮影する第一撮影部が撮影した第一撮影データおよび前記車両の車室内を撮影する第二撮影部が撮影した第二撮影データを取得する撮影データ取得部と、
   前記第二撮影データから、前記車両の搭乗者の顔を検出し、検出した前記搭乗者の顔または視線の向きを検出する向き検出部と、
   前記向き検出部の検出結果に基づき、前記車両の搭乗者が前記車両の進行方向以外を向いているか否かを判断する判断部と、
   前記第一撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理部と、
   前記判断部が、前記車両の搭乗者が前記車両の進行方向以外を向いていると判断した場合、判断したときに対応する前記撮影ファイルのサムネイル画像を、判断したときの前記第一撮影データにおける前記搭乗者が向いた方向の画像から生成するサムネイル画像生成部と、
   前記撮影データ処理部が生成した前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御部と、
   を備える、映像記録装置。
2. 前記撮影データ処理部は、前記第一撮影データから所定期間毎の撮影ファイルを生成し、
   前記記録制御部は、前記撮影データ処理部が生成した所定期間毎の前記撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する、
   請求項１に記載の映像記録装置。
3. イベント記録を行う操作を受け付ける操作制御部をさらに備え、
   前記撮影データ処理部は、前記操作制御部がイベント記録を行う操作を受け付けた場合に、イベント操作を受け付けたときを含む所定期間の前記第一撮影データをイベントデータとしての撮影ファイルを生成し、
   前記記録制御部は、前記撮影データ処理部が生成したイベントデータとしての撮影ファイルと前記サムネイル画像生成部が生成した前記サムネイル画像とを対応付けて記録部に記録する、
   請求項１に記載の映像記録装置。
4. 前記判断部は、前記向き検出部が複数の搭乗者を検出した場合、前記向き検出部の検出結果に基づき、前記複数の搭乗者のうち所定割合以上の搭乗者が前記車両の進行方向以外の同一方向を向いているか否かを判断し、
   前記サムネイル画像生成部は、前記判断部が、前記複数の搭乗者のうち所定割合以上の搭乗者が前記車両の進行方向以外の同一方向を向いていると判断した場合、判断したときに対応する前記撮影ファイルのサムネイル画像を、判断したときの前記第一撮影データにおける前記搭乗者が向いた方向の画像から生成する、
   請求項１から３のいずれか１項に記載の映像記録装置。
5. 車両の周辺を撮影する第一撮影部が撮影した第一撮影データおよび前記車両の車室内を撮影する第二撮影部が撮影した第二撮影データを取得する撮影データ取得ステップと、
   前記第二撮影データから、前記車両の搭乗者の顔を検出し、検出した前記搭乗者の顔または視線の向きを検出する向き検出ステップと、
   前記向き検出ステップによる検出結果に基づき、前記車両の搭乗者が前記車両の進行方向以外を向いているか否かを判断する判断ステップと、
   前記第一撮影データから、サムネイル画像を対応付ける対象となる撮影ファイルを生成する撮影データ処理ステップと、
   前記判断ステップにおいて、前記車両の搭乗者が前記車両の進行方向以外を向いていると判断した場合、判断したときに対応する前記撮影ファイルのサムネイル画像を、判断したときの前記第一撮影データにおける前記搭乗者が向いた向きの画像から生成するサムネイル画像生成ステップと、
   前記撮影データ処理ステップにおいて生成した前記撮影ファイルと前記サムネイル画像生成ステップにおいて生成した前記サムネイル画像とを対応付けて記録部に記録する記録制御ステップと、
   を映像記録装置が実行する映像記録方法。

Images