JP2021100188A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】再生すべき映像の選択を容易に行う。【解決手段】映像処理装置は、所定のフレーム毎に撮像環境を示す環境情報が記録された複数の映像データを保持するデータ保持手段と、検索情報を入力する入力手段と、前記入力された検索情報に基づいて所定の環境情報の範囲を設定する設定手段と、前記複数の映像データから前記設定された所定の範囲内の環境情報を有する映像データを表示候補として選択する候補選択手段と、前記選択された表示候補の映像データを提示する提示手段と、前記提示された表示候補の前記映像データから選択された映像データを表示させる表示手段とを備える。【選択図】図１

Description

本発明は、映像処理システム及び映像処理方法に関する。

従来、路面に関連する路面構造物や路面の周辺に設置された付属構造物等を含む道路構造物を点検する場合、点検用車両に搭載したカメラ等によって撮像した映像を点検者が確認している。
特許文献１には、光学映像に応じた撮像信号を用いて光学映像に応じた映像データを生成するときに、位置情報および方位情報を、映像データに挿入する技術が開示されている。

２００９−１５９２７９号公報

カメラ等で撮像された映像をもとに点検対象となる物体の状態を確認する場合、例えば、特定の撮像条件で撮像されたフレームを取り出して確認することができると、点検作業効率が一段と向上する。
しかしながら、特許文献１に記載の技術では、撮像条件に応じて、複数の映像データから、再生すべき映像データの選択を容易にすることは考慮されていない。
本発明は、上記した従来技術に鑑み考案されたもので、再生すべき映像の選択を容易に行うことができる映像処理システム及び映像処理方法を提供することを目的とする。

上記課題を解決するために、本発明にかかる映像処理装置のある態様によれば、所定のフレーム毎に撮像環境を示す環境情報が記録された複数の映像データを保持するデータ保持手段と、検索情報を入力する入力手段と、前記入力された検索情報に基づいて所定の環境情報の範囲を設定する設定手段と、前記複数の映像データから前記設定された所定の範囲内の環境情報を有する映像データを表示候補として選択する候補選択手段と、前記選択された表示候補の映像データを提示する提示手段と、前記提示された表示候補の前記映像データから選択された映像データを表示させる表示手段とを備える映像処理装置が提供される。

また、ある態様によれば、環境情報には、映像データが撮像された時刻、映像データが撮像された位置、映像データが撮像された際の車両の姿勢、映像データが撮像された際の車両の振動、映像データが撮像された際の車両の周囲の温度、映像データが撮像された際の車両の周囲の音、映像データが撮像された際の車両の速度、の少なくとも１つが含まれる。

本発明によれば、再生すべき映像の選択を容易に行うことができる。

本発明の第１の実施形態に係る映像処理システムの一例を示す概略構成図である。 映像を撮像する撮像システムの一例を示す概略構成図である。 撮像装置の構成を示すブロック図である。 映像ファイルの構成例である。 再生制御装置のハードウェア構成の一例を示す図である。 映像ファイルの表示処理を示すフローチャートである。 検索情報を選択する画面の例を示す図である。 検索情報を入力する画面の例を示す図である。 検索情報の入力の例を示す図である。 所定の環境情報の範囲の設定と表示候補の映像ファイルの選択処理を概念的に示す図である。 表示候補となる映像ファイルの提示の例を示す図である。 表示候補となる映像ファイルの提示の例を示す図である。 表示候補のいずれかを選択した状態の画面の例を示す図である。 本発明の第２の実施形態に係る映像処理システムにおける映像ファイルの表示処理を示すフローチャートである。 選択された映像の表示画面の例を示す図である。 検索情報を選択する画面の例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における映像処理システム１００の一例を示す概略構成図である。
この映像処理システムは、撮像された映像ファイル（映像データ）等が格納されている映像ＤＢ（データベース）１と、映像ファイルの再生等の処理を行う表示制御装置２と、ユーザからの指示等を入力する入力装置３と、映像ファイルに応じた画像等を表示する表示装置４とを備えている。
映像ＤＢ１には、様々な撮像条件で撮像された道路や周囲の風景等の映像ファイル１ａと、地図等の画像データ１ｂと、条件設定や表示制御等に用いる設定データ１ｃとが格納されている。
表示制御装置２は、入力装置３を介してユーザからの指示を入力する指示入力部２ａと、再生候補の映像ファイルを選択する候補選択部２ｂと、ユーザによって選択された映像を取得する映像取得部２ｃと、映像取得部２ｃが取得した映像ファイルに応じた画像等を表示装置４に表示させる表示制御部２ｄとを備えている。
入力装置３は、ユーザからの指示を入力するキーボード３ａとマウス３ｂ等を備えている。
表示装置４は、液晶ディスプレイ装置等からなり、表示制御装置２の表示制御部２ｄからの制御に応じた画像を表示させる。

映像ＤＢ１に格納されている映像ファイル１ａは、例えば図２に示す撮像システム３００によって様々な撮像条件で撮像されている。この撮像システム３００は、例えば車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、所定の日数毎に行われる点検を実施するための点検用車両である。撮像システム３００は、３つの撮像装置１０ａ、１０ｂ、１０ｃを備えている。３つの撮像装置１０ａ、１０ｂ、１０ｃは同じ構造を有する。撮像装置１０ａ、１０ｂ、１０ｃは同期制御部３０に接続されている。同期制御部３０は、各撮像装置１０ａ〜１０ｃの撮像タイミングをフレーム単位で同期させるための制御を行う。また、撮像システム３００は、撮像条件（例えば撮像時刻、車両２００の位置や姿勢あるいは振動、周囲の温度、周囲の音、車両２００の走行速度等）を測定するセンサ部３７を備えている。このセンサ部３７の出力は、同期制御部３０を介して各撮像装置１０ａ〜１０ｃに供給されている。

センサ部３７は、例えば時刻情報取得部３７ａと、位置情報取得部３７ｂと、姿勢情報取得部３７ｃと、温度情報取得部３７ｄと、音情報取得部３７ｅと、速度情報取得部３７ｆとを備えている。
時刻情報取得部３７ａは、例えば、電波時計等に用いられる標準電波を受信する受信機を備え、当該受信機で受信した標準電波から得られる標準時刻情報を、撮像時刻を示す情報として同期制御部３０を介して各撮像装置１０ａ〜１０ｃの信号処理部１４に出力する。ここで、標準電波としては、日本のＪＪＹ、米国のＷＷＶＢ、英国のＭＳＦ、及び、独国のＤＣＦ７７などがある。なお、インターネットを通じて時刻情報を提供する時刻情報提供サービスや放送の時報を利用して時刻情報を取得してもよいし、同期制御部３０や図示しないパソコンに内蔵された時計を利用して時刻情報を取得してもよい。

位置情報取得部３７ｂは、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から送信される信号を受信するＧＮＳＳ受信機を含んで構成される。位置情報取得部３７ｂは、受信した信号から撮像装置１０ａの位置（車両２００の位置）を示す位置情報を取得し、その位置情報を、撮像位置を示す情報として各撮像装置１０ａ〜１０ｃの信号処理部１４に出力する。なお、ＧＮＳＳとは、ＧＰＳ（米国）、ＧＡＬＩＬＥＯ（欧州）、ＣＬＯＮＡＳＳ（ロシア）、準天頂衛星（日本）などの測位衛星の総称である。
姿勢情報取得部３７ｃは、例えば、３軸加速度センサ、３軸ジャイロセンサ等の３軸センサにより構成される。姿勢情報取得部３７ｃは、撮像装置１０ａ（車両２００）の加速度情報や角速度情報を取得し、取得した情報を、撮像姿勢を示す情報として各撮像装置１０ａ〜１０ｃの信号処理部１４に出力する。なお、この姿勢情報取得部３７ｃが３軸加速度センサを備える場合、３軸加速度センサの出力によって、車両２００の振動を検出することができる。

温度情報取得部３７ｄは、例えば車両２００の周囲の温度を検出する温度センサにより構成される。あるいは、車両２００が走行している路面の温度を検出する放射温度計等のセンサを用いることもできる。温度情報取得部３７ｄは、取得した温度情報を各撮像装置１０ａ〜１０ｃの信号処理部１４に出力する。
音情報取得部３７ｅは、例えば車両２００の周囲の騒音のレベルを検出する騒音センサにより構成される。あるいは、車両２００の周囲の音を収音するマイク等を用いることもできる。音情報取得部３７ｅは、取得した音情報を各撮像装置１０ａ〜１０ｃの信号処理部１４に出力する。
速度情報取得部３７ｆは、例えば車両２００の車輪２００ｗ（車軸）の回転数から車両２００の走行速度を検出する速度センサにより構成される。速度情報取得部３７ｆは、取得した速度情報を各撮像装置１０ａ〜１０ｃの信号処理部１４に出力する。
なお、時刻情報取得部３７ａ、位置情報取得部３７ｂ及び姿勢情報取得部３７ｃは、それぞれ時刻情報、位置情報及び姿勢情報を取得可能な構成であれば、上記の構成に限定されない。また、時刻情報取得部３７ａ、位置情報取得部３７ｂ及び姿勢情報取得部３７ｃは、それぞれ撮像装置１０ａに内蔵してもよいし、車両２００に設置してもよい。例えば、姿勢情報取得部３７ｃを車両２００のサスペンションによって車体の揺れが緩衝されない位置（例えば、車輪近傍）に設置した場合、路面の僅かな変動による揺れを検出することができる。
また、温度情報取得部３７ｄ及び音情報取得部３７ｅは、それぞれ温度情報及び音情報を取得可能な構成であれば、上記の構成に限定されず、それぞれ撮像装置１０ａに内蔵してもよいし、車両２００に設置してもよい。

撮像装置１０ａ、１０ｂ、１０ｃは、車両２００のルーフに取り付けられる。撮像装置１０ａ、１０ｂ、１０ｃは、それぞれ約６０度の画角（視野角）のデジタルビデオカメラである。撮像装置１０ｂは、車両２００の長手方向正面（進行方向）に向けられて設置されており、当該方向の左右３０度ずつ（合計６０度）の範囲で車両２００の周辺を撮像する。撮像装置１０ａは、撮像装置１０ｂの左６０度の範囲で車両２００の周辺を撮像する。撮像装置１０ｃは、撮像装置１０ｂの右６０度の範囲で車両２００の周辺を撮像する。従って、撮像装置１０ａ、１０ｂ、１０ｃは、合計で１８０度の撮像範囲を有することになる。なお、図示の都合上、図１では撮像装置１０ａ、１０ｂ、１０ｃが車両２００の長手方向に並んで配置されているように描かれているが、撮像装置１０ａ、１０ｂ、１０ｃは、車両２００の幅方向に配置されてよい。撮像装置１０ａ、１０ｂ、１０ｃは、同じ構造を有するので、以下の説明では、撮像装置１０ａを説明する。

撮像装置１０ａは、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮像するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮像することができる。撮像装置１０ａは、例えば車両２００が所定の点検対象道路を走行しているとき、若しくは車両２００が停車しているときに、当該車両２００の周辺の映像を撮像する。

以下、撮像装置１０ａ、１０ｂ、１０ｃの構成について、撮像装置１０ａを例に具体的に説明する。
図３に示すように、撮像装置１０ａは、被写体からの光を集光するレンズ１１と、撮像素子１２と、撮像素子１２を駆動する駆動回路１３と、駆動回路１３の制御や撮像素子１２からの撮像信号に対する処理等を行う信号処理部１４と、信号処理部１４からの映像ファイルを記録する記録部１５とを備えている。
撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成される。
駆動回路１３は、信号処理部１４からの同期信号に応じて撮像素子１２を駆動する。
信号処理部１４は、同期信号を発生する同期信号発生部１４ａと、撮像素子１２からの信号アナログ映像信号を入力し、アナログデジタル変換等の処理を行う信号処理回路１４ｂと、信号処理回路１４ｂの処理結果として得られるデジタル映像信号を符号化するエンコーダ１４ｃと、信号処理部１４全体の処理を制御する制御部１４ｄとを備えている。

従来の撮像装置では、撮像素子からのアナログ映像信号に対して雑音除去やアナログデジタル変換等の処理を行うＡＦＥ（Analog Front End）を設けている。このような従来の撮像装置では、本実施例の信号処理部１４に相当する部分において、ＡＦＥで処理されたデジタル映像信号に対して処理を行うようになっている。ＡＦＥを用いた場合、ＡＦＥでの処理が間に合わないフレームあるいはエラーが生じたフレームに対しては、ＡＦＥから映像のないフレーム（いわゆる黒フレーム）が出力される。従来の撮像装置の信号処理部１４に相当する部分では、当該黒フレームに対するデジタル映像信号を出力せずに（つまり、黒フレームを捨てる。）、次の映像のあるフレームを出力する。これにより、出力される映像信号中にフレームの欠落が生じ、実際に撮像を行った時間よりも、全てのフレームの時間を足した時間が短くなる場合がある。
また、従来の撮像装置では、本実施形態の表示装置４に相当する部分から出力されたデジタル映像信号に対して時刻情報を記録するようになっている。このため、フレームの欠落があると、このようなデジタル映像信号に基づいて映像ＤＢ１に格納されている映像ファイル１ａ中の特定の時刻のフレームを取り出すことが困難になる。

これに対し、本実施形態の撮像装置１０ａ（１０ｂ、１０ｃ）では、ＡＦＥを設けず、信号処理部１４側で、アナログデジタル変換等の処理を行うようにしており、黒フレームが生じた場合でも、そのまま（黒フレームを捨てることなく）デジタル映像信号として出力している。また、本実施形態の撮像装置１０ａ（１０ｂ、１０ｃ）では、信号処理部１４内で、黒フレームも含めて、全てのフレームのデジタル映像信号に時刻情報を記録している。これにより、撮像装置１０ａでは、フレーム欠落は生じない。よって、実際に撮像を行った時間と、全てのフレームの時間を足した時間とが等しくなる。
このため、本実施形態では、信号処理部１４からのデジタル映像信号に基づいて映像ＤＢ１に格納されている映像ファイル１ａ中のフレーム数をカウントするだけで特定の時刻のフレームを取り出すことができるようになっている。

信号処理部１４は、撮像素子１２から得られた電気信号に所定の信号処理を施し、複数のフレーム（画像フレーム）を含む映像データを生成する。本実施形態では、撮像時刻、撮像位置、撮像時の姿勢（撮像姿勢）、振動、周囲の温度、周囲の音、車両２００の走行速度などの撮像環境に関する情報（以下、「環境情報」と称す。）を、各フレームに対応付けて映像データを生成する。この映像データの生成方法については後述する。また、信号処理部１４は、エンコーダを介して映像データを圧縮処理するなどにより映像ファイルを生成する。ここでの圧縮方式は、例えば、Ｈ．２６４、ＭＰＥＧ４（Moving Picture Experts Group phase4）、ＭＪＰＥＧ（Motion-JPEG）などの規格に基づく。記録部１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記録媒体を備えており、信号処理部１４が生成した映像ファイルを記録する。

図４は、映像ファイルの一例を示している。図４に示すように、映像ファイル４０は、ヘッダ部４１と映像データ部４２とを含んで構成されている。ヘッダ部４１には、映像ファイル４０のファイル名、ファイルの種類、ファイルサイズ等、映像ファイル４０の構造を示すヘッダ情報（Ｈ）が含まれる。また、映像データ部４２には、フレーム単位（１Ｆ，２Ｆ，…）の映像データが含まれる。映像データ部４２内におけるフレームとフレームとの間には、環境情報４３が、例えば数値データとして書き込まれる。環境情報４３は、例えば、対応するフレームの直前に書き込む。すなわち、第２フレーム（２Ｆ）の環境情報４３は、第１フレーム（１Ｆ）と第２フレーム（２Ｆ）との間に書き込む。なお、環境情報４３とそれに対応するフレームとの対応付けがされていれば、環境情報４３を書き込む位置は上記に限定されない。また、環境情報４３は、映像データの全フレームに対して書き込んでもよいし、所定間隔で書き込んでもよい。なお、フレーム中に環境情報を書き込むようにしてもよい。

本実施形態においては、信号処理部１４は、環境情報４３を、映像データの再生に影響しない形で書き込む。例えば、環境情報４３は、フレームごとに設けられたヘッダ（フレームヘッダ）内に格納してもよいし、フレームごとのメタデータとして格納してもよい。また、映像再生時に環境情報４３が読み飛ばされるような制御コードを付加して環境情報４３を書き込んでもよい。なお、映像再生時に環境情報４３がコメントアウトされる形で環境情報４３を書き込んでもよい。環境情報４３の書き込み方法は、映像処理システム１００のユーザ（例えば、車両２００の乗員）が適宜設定することができる。
このように、信号処理部１４は、各フレームに関連する環境情報４３を書き込みながらフレーム単位で映像データ部４２を順次生成していく。そして、信号処理部１４は、映像データ部４２の生成が完了すると、映像データ部４２に対応するヘッダ部４１を生成し、映像ファイル４０を生成する。信号処理部１４は、生成した映像ファイル４０を記録部１５に記録する。記録部１５に記録された映像ファイルは、記録媒体若しくはネットワーク等を介して、上述の映像処理システム１００に供給され、映像ＤＢ１に格納される。

図５は、表示制御装置２のハードウェア構成の一例を示す図である。
画像処理装置２０は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、外部メモリ５４と、入力部５５と、出力部５６と、通信Ｉ／Ｆ５７と、システムバス５８とを備える。
ＣＰＵ５１は、画像処理装置２０における動作を統括的に制御するものであり、システムバス５８を介して、各構成部（５２〜５７）を制御する。

ＲＯＭ５２は、ＣＰＵ５１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ５４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ５３は、ＣＰＵ５１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ５１は、処理の実行に際してＲＯＭ５２から必要なプログラム等をＲＡＭ５３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ５４は、例えば、ＣＰＵ５１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を予め記憶している。また、外部メモリ５４には、例えば、ＣＰＵ５１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。外部メモリ５４は、ＳＤカードやＵＳＢメモリ等の外部記憶媒体であってもよい。また、外部メモリ５４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記憶媒体（記憶装置）であってもよい。

入力部５５は、図１の入力装置３に相当し、キーボードやマウス等のポインティングデバイスで構成され、表示制御装置２のユーザは、入力部５５を介して当該表示制御装置２に指示を与えることができるようになっている。
出力部５６は、図１の表示装置４等に相当し、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。
通信Ｉ／Ｆ５７は、外部装置（例えば撮像装置１０ａ〜１０ｃ等）と通信するためのインターフェースである。通信Ｉ／Ｆ５７は、例えばＬＡＮインターフェースである。
システムバス５８は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、外部メモリ５４、入力部５５、出力部５６及び通信Ｉ／Ｆ５７を通信可能に接続する。
すなわち、ＣＰＵ５１は、ＲＯＭ５２に記憶されたプログラムを実行することで、図１の表示制御装置２として機能する。

次に、図６のフローチャートを用いて映像処理システム１００の動作を説明する。
なお映像ＤＢ１には、予め撮像システム３００で撮像された映像ファイル１ａが格納されているものとする。
図６の処理を開始すると、表示制御装置２は、Ｓ１において、検索情報とする環境情報の種類をユーザに選択させるための画面（選択画面）を表示させるための画像を生成し、表示装置４に表示させる。
具体的には、候補選択部２ｂは、表示制御部２ｄに、例えば図７に示すように、選択画面６０の選択領域６１に、「時刻」を選択する選択ボタン６１ａと、「位置」を選択する選択ボタン６１ｂと、「姿勢」を選択する選択ボタン６１ｃと、「振動」を選択する選択ボタン６１ｄと、「温度」を選択する選択ボタン６１ｅと、「音」を選択する選択ボタン６１ｆと、「速度」を選択する選択ボタン６１ｇとを表示させる。

ユーザはマウス３ｂを操作して、選択画面６０に表示されているカーソル６５を移動させ、所望の環境情報に対応するボタンを選択した後、決定ボタン６３を指示する。ユーザの選択が指示入力部２ａを介して入力されると（Ｓ２）、候補選択部２ｂは、表示制御部２ｄに、検索情報を入力する入力画面を表示させる（Ｓ３）。
具体的には、例えば検索情報の種類として「位置」が選択されている場合には、候補選択部２ｂは、表示制御部２ｄに、図８に示すような入力画面７０を表示させる。この入力画面７０には、地図を表示する領域７１と、ユーザの指示を入力するボタン７２ａ〜７２ｊを表示する領域７２と、環境情報を表示する領域７３と、映像を表示する領域７４ａ、７４ｂ、７４ｃが設けられている。なお、地図を表示する領域７１には、候補選択部２ｂが、表示制御部２ｄに、初期状態の位置に対応する地図を表示させる。
このような入力画面７０を表示させた後、候補選択部２ｂは、ユーザからの検索情報の入力を待機する（Ｓ４）。
検索情報の種類として「位置」が選択されており、図８に示す入力画面７０が表示されている場合には、ユーザがマウス３ｂを操作して、マーカの表示を指示するボタン７２ｅを指示（クリック）すると、候補選択部２ｂは、表示制御部２ｄに、例えば図９に示すように、入力画面７０の領域７１内にマーカ７５を表示させる。さらに、ユーザがマウス３ｂを操作して、所望の位置にマーカ７５を移動させて地図上のあるポイントをクリックすることによって、クリックされたポイントが位置に関する検索情報となる。
あるいは、検索情報の種類として「姿勢」が選択されている場合には、例えば車両２００の前後あるいは左右の傾きの値を入力させる画面を表示させ、ユーザに姿勢の値（例えば「１５°」等）を入力させるようにしてもよい。すなわち、この入力された姿勢の値が検索情報となる。また、検索情報の種類として「振動」が選択されている場合には、例えば振動の値を入力させる画面を表示させ、ユーザに振動の値を入力させるようにしてもよい。また、検索情報の種類として「温度」が選択されている場合には、例えば温度の値を入力させる画面を表示させ、ユーザに温度の値を入力させるようにしてもよい。また、検索情報の種類として「音」が選択されている場合には、例えば音の値（騒音レベル）を入力させる画面を表示させ、ユーザに音の値を入力させるようにしてもよい。また、検索情報の種類として「速度」が選択されている場合には、例えば速度の値を入力させる画面を表示させ、ユーザに速度の値を入力させるようにしてもよい。

Ｓ４においてユーザが検索情報を入力すると、候補選択部２ｂは、入力された検索情報に基づいて所定の環境情報の範囲を設定する（Ｓ５）。具体的には、検索情報として「位置」が入力されている場合には、候補選択部２ｂは、例えば図１０に破線８５で示すように、マーカ７５の位置を中心とした所定の半径内の位置を所定の環境情報の範囲として設定する。なお、同図中において、位置情報８１〜８３は、映像ＤＢ１に格納複数の映像ファイル１ａの各フレームの位置情報を地図上にプロットしたものである。
あるいは、検索情報として「姿勢」の値が入力されている場合には、例えば車両２００の前後あるいは左右の傾きの値の入力値から所定の範囲を所定の環境情報の範囲として設定する。この場合には、さらに左右の傾きの値が所定の範囲にある状態が所定の時間（所定のフレーム数）継続することを所定の環境情報の範囲として設定してもよい。これにより、道路のねじれのある区間を所定の環境情報の範囲として設定することができる。また、検索情報として「振動」の値が入力されている場合には、例えば振動の値の入力値から所定の範囲を所定の環境情報の範囲として設定する。また、検索情報として「温度」の値が入力されている場合には、例えば温度の値の入力値から所定の範囲を所定の環境情報の範囲として設定する。また、検索情報として「音」の値が入力されている場合には、例えば音の値の入力値から所定の範囲あるいは所定のレベル以上を所定の環境情報の範囲として設定する。また、検索情報として「速度」の値が入力されている場合には、例えば速度の値の入力値から所定の範囲あるいは入力値から所定の速度以上を所定の環境情報の範囲として設定する。

上記Ｓ５において、所定の環境情報の範囲を設定すると、候補選択部２ｂは、映像取得部２ｃを介して表示すべき映像ファイル１ａの候補（表示候補）を検索する（Ｓ６）。
表示すべき映像ファイル１ａの候補の検索は、候補選択部２ｂが、映像ＤＢ１に格納されている各映像ファイル１ａの環境情報と、設定した所定の環境情報の範囲とを比較して行う。具体的には、マーカ７５の位置位置を中心とした所定の半径内が所定の環境情報の範囲として設定されている場合には、候補選択部２ｂは、映像ファイル１ａ内の位置情報がマーカ７５の位置から所定の距離以内にあるか否かを判断し、マーカ７５の位置から所定の距離以内にある位置情報を有する映像ファイル１ａを表示候補として選択する。
また、他の所定の環境情報の範囲が設定されている場合には、候補選択部２ｂは、各映像ファイル１ａの環境情報と設定された所定の環境情報の範囲とを比較して、表示候補を選択する。
表示候補を選択すると、候補選択部２ｂは、表示候補の映像データをユーザに提示する。具体的には、候補選択部２ｂは、表示制御部２ｄに指示して、選択した表示候補を表示装置４に表示させる（Ｓ７）。具体的には、マーカ７５の位置から所定の距離以内にある位置情報を有する映像ファイル１ａが表示候補として選択されている場合には、例えば図１１に示すように、候補選択部２ｂは、地図を表示させる領域７１に表示されている地図に重畳させて、表示候補の映像ファイル１ａの位置情報８１、８２を表示させる。なお、図１０中の位置情報８３は、破線８５の範囲内にないため、表示候補に入らない。よって、図１１の領域７１には、位置情報８１〜８３のうちの位置情報８１、８２のみが表示される。
なお、候補選択部２ｂは、マーカ７５の位置が領域７１の中心付近になるように地図を移動させる。また、この場合の位置情報８１、８２は、各表示候補の映像ファイル１ａの各フレームの位置情報をプロットした線として表示している。
なお、表示候補の映像ファイル１ａが複数ある場合には、視認性の向上のため、各々の映像ファイル１ａの位置情報の表示態様（色、線種等）を異ならせてもよい。図１１の例では、２つある映像ファイル１ａの位置情報８１、８２を異なる線種で表示させている。また、表示候補の映像ファイル１ａの位置情報８１、８２軌跡を表示させる代わりに、例えば図１２に示すように、表示候補の映像ファイル１ａをリスト形式で表示させるウィンドウ７６を表示させてもよい。候補選択部２ｂは、このウィンドウ７６内の表示領域７６ａ、７６ｂに、各表示候補の映像ファイル１ａの時刻情報、位置情報等の環境情報を表示させる。なお、このウィンドウ７６内の並び順は、例えば映像ファイル１ａが有する位置情報がマーカ７５の位置に近い順とする。あるいは、映像ファイル１ａが有する時刻情報が新しい順としてもよい。
また、他の所定の環境情報の範囲に応じて表示候補の映像ファイル１ａが選択された場合には、例えば図１２と同様のリスト形式で表示してもよいし、図１１と同様に映像ファイル１ａの位置情報を地図に重畳させて表示してもよい。

この後、候補選択部２ｂは、ユーザが表示候補の映像ファイル１ａのいずれかを選択するのを待機する（Ｓ８）。
ユーザが表示候補のいずれかの映像ファイル１ａを選択すると、候補選択部２ｂは、映像取得部２ｃを介して当該選択された映像ファイル１ａを取得し、表示制御部２ｄを介して当該映像ファイル１ａのマーカ７５に最も近い位置の位置情報に対応するフレームの画像を表示させる（Ｓ９）。具体的には、例えば図１３に示すように、撮像装置１０ａ、１０ｂ、１０ｃで撮像された映像ファイル１ａを同期させて、各々映像を表示する領域７４ａ、７４ｂ、７４ｃに表示させる。すなわち、撮像装置１０ａ、１０ｂ、１０ｃで同時に撮像された映像ファイル１ａのいずれか（例えば撮像装置１０ｂで撮像された映像ファイル１ａ）が選択され、候補選択部２ｂが、当該映像ファイル１ａの所定のフレームの画像を表示させると共に、当該映像ファイル１ａ内の表示させているフレームに対応する時刻情報を用いて、同時に撮像された他の映像ファイル１ａの同じ時刻情報を有するフレームの画像（撮像装置１０ａ、１０ｃで撮像された映像ファイル１ａのフレームの画像）を表示させる。
また、表示制御部２ｄは、当該フレームに対応する位置情報の位置にマーカ７５’を表示させる。さらに、候補選択部２ｂは、表示制御部２ｄを介して、現在表示させている映像ファイル１ａのフレームに対応する環境情報を領域７３内にさせる。
この後、表示制御部２ｄは、ユーザからの指示に応じて映像ファイル１ａの表示を制御する。例えばユーザがボタン７２ｇを指示すると、映像ファイル１ａの再生を開始する。あるいは、ユーザがボタン７２ｆを指示すると、映像ファイル１ａの巻き戻しを実行する。また、ユーザがボタン７２ｈを指示すると、映像ファイル１ａの早送りを実行する。
表示制御部２ｄは、映像ファイル１ａの再生に応じて領域７１の位置を変更し、現在再生中のフレームに対応する位置情報に対応する地図上の位置が領域７１の中央になるように地図を移動させる。
表示制御部２ｄは、以上のような処理をユーザから終了の指示があるまで継続する（Ｓ１０）。あるいは、映像ファイル１ａの再生が終了した時点で、処理を終了する。
なお、Ｓ６で得られた表示候補が１つである場合には、Ｓ８の処理を実行せずにＳ９の処理を実行するようにしてもよい。

本実施形態では、上述のように、ユーザが入力した検索情報に該当する映像ファイル１ａを表示すべき候補としてユーザに提示し、提示した候補からユーザが再生すべき映像ファイル１ａの選択を行っているため、再生すべき映像の選択を容易に行うことができる。

（第２の実施形態）
本発明の第２の実施形態に係る映像処理システム１００は、図１と同様に構成されている。
第１の実施形態では、入力された検索情報に基づいて所定の環境情報の範囲を設定し、設定した所定の範囲内の環境情報を有する映像ファイルを表示候補として選択し、表示候補の映像ファイルをユーザに提示し、提示した表示候補の映像ファイルから選択された映像ファイルを表示させるようにしていた。
これに対し、第２の実施形態では、地図上の位置を入力し、当該位置から所定の距離以内にある位置情報を有する映像ファイルを表示させるようにしている。
本実施形態の映像処理システム１００では、例えば図１４に示すように、まず、候補選択部２ｂが、図８と同様の入力画面を表示させ（Ｓ１１）、ユーザからの位置入力を待機する（Ｓ１２）。
まず、ユーザがマウス３ｂを操作して、マーカの表示を指示するボタン７２ｅを指示（クリック）すると、候補選択部２ｂは、表示制御部２ｄに、図９と同様に、入力画面７０の領域７１内にマーカ７５を表示させる。さらに、ユーザがマウス３ｂを操作して、所望の位置にマーカ７５を移動させて地図上のあるポイントをクリックすると、クリックされたポイントが位置に関する検索情報として入力される。
ユーザが位置を入力すると、候補選択部２ｂは、映像取得部２ｃを介して表示すべき映像ファイル１ａの候補（表示候補）を検索する（Ｓ１３）。
具体的には、候補選択部２ｂは、マーカ７５の位置から一番近い位置情報を有する映像ファイル１ａを１つだけ表示候補として選択する。
この後、候補選択部２ｂは、表示制御部２ｄに、表示候補の映像ファイル１ａを表示させる（Ｓ１４）。
具体的には、候補選択部２ｂは、例えば図１５に示すように、表示制御部２ｄに、表示させる映像ファイル１ａの所定のフレームの画像を表示させると共に、当該フレームの位置情報に対応する地図上の位置にマーカ７５’を表示させる。
この後の表示制御部２ｄによる表示制御は、第１の実施形態と同様であり、表示制御部２ｄは、ユーザから終了の指示があるまで表示制御を継続する（Ｓ１５）。
なお、Ｓ１４において、映像ファイル１ａの表示を行うと共に、図１１と同様に、表示候補の映像データ１ａの位置情報を重畳させて表示させておき、ユーザからの指示に応じて候補選択部２ｂが表示する映像ファイル１ａを切り替えるようにしてもよい。

この実施形態では、ユーザが地図上の位置を入力するだけで、入力した位置から最も近い位置情報を有する映像ファイルを表示させることができるため、再生すべき映像の選択を容易に行うことができると共に、ユーザの入力負担を小さくすることができる。

（変形例）
上記実施形態においては、撮像環境に関する環境情報として、撮像時刻、撮像位置および撮像姿勢等を記録する場合について説明したが、環境情報には少なくとも撮像時刻を含んでいればよい。また環境情報として、例えば撮像時の速度に関する情報や、撮像時の音に関する情報などを含んでもよい。また、撮像時の音（音声データ）は、各フレーム１Ｆ、２Ｆ、３Ｆに含まれてもよい。
また、上記実施形態においては、撮像装置１０ａ〜１０ｃを車両２００に設置する場合について説明したが、これに限定されるものではない。例えば、車両以外の移動体（ラジコン、ドローン（無人航空機）、ヘリコプターなど）に撮像装置１０ａ〜１０ｃを設置してもよいし、路肩等に撮像装置１０を固定してもよい。さらに、撮像装置１０ａ〜１０ｃは、店舗や施設等に設置することもできる。この場合、映像処理システム１００は、店舗や施設内を監視する監視システムとして機能させることができる。また、撮像装置１０ａ〜１０ｃは、人が携帯してもよい。

また、上記実施形態においては、映像処理システム１００と撮像システム３００を別個に設けた構成について説明したが、映像処理システム１００と撮像システム３００をひとつの装置あるいはシステムとして構成してもよい。
また、上記実施形態においては、表示制御装置２において、画像検索処理で検索したフレームを表示部に表示する場合について説明したが、検索したフレームを記録媒体に記録したり、サーバ装置へ転送したりするようにしてもよい。
なお、上記実施形態における表示制御装置２で実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における表示制御装置２で実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。

また、第１の実施形態において、複数の表示候補の映像ファイル１ａがある場合の並び順を選択できるようにしてもよい。この場合は、図７の選択画面の代わりに、例えば図１６に示すように、複数の環境情報を選択し得る選択画面を表示させる。
複数の環境情報は、例えば「第１キー」、「第２キー」とし、候補選択部２ｂは、各々の種類を入力させる。さらに、候補選択部２ｂは、「第１キー」に基づいて上述の所定の環境情報の範囲を設定して表示候補を選択し、表示候補を提示するときに、「第２キー」に基づいて表示候補の並び順として、表示候補の提示を行う。
また、表示候補となるべき映像ファイル１ａを予めある程度選択しておいてから、図６の処理を実行するようにしてもよい。例えば、映像ファイル１ａの撮像位置に対応する都道府県を示す情報を記録しておき、検索情報として都道府県名を入力した際に、入力された都道府県名に対応する映像ファイル１ａのみを検索対象とすることによって、検索時間を短縮することができる。

１…映像ＤＢ、２…表示制御装置、２ａ…指示入力部、２ｂ…候補選択部、２ｃ…映像取得部、２ｄ…表示制御部、３…入力装置、４…表示装置、１０ａ、１０ｂ、１０ｃ…撮像装置、３０…同期制御部、３７…センサ部

上記Ｓ５において、所定の環境情報の範囲を設定すると、候補選択部２ｂは、映像取得部２ｃを介して表示すべき映像ファイル１ａの候補（表示候補）を検索する（Ｓ６）。
表示すべき映像ファイル１ａの候補の検索は、候補選択部２ｂが、映像ＤＢ１に格納されている各映像ファイル１ａの環境情報と、設定した所定の環境情報の範囲とを比較して行う。具体的には、マーカ７５の位置を中心とした所定の半径内が所定の環境情報の範囲として設定されている場合には、候補選択部２ｂは、映像ファイル１ａ内の位置情報がマーカ７５の位置から所定の距離以内にあるか否かを判断し、マーカ７５の位置から所定の距離以内にある位置情報を有する映像ファイル１ａを表示候補として選択する。
また、他の所定の環境情報の範囲が設定されている場合には、候補選択部２ｂは、各映像ファイル１ａの環境情報と設定された所定の環境情報の範囲とを比較して、表示候補を選択する。
表示候補を選択すると、候補選択部２ｂは、表示候補の映像データをユーザに提示する。具体的には、候補選択部２ｂは、表示制御部２ｄに指示して、選択した表示候補を表示装置４に表示させる（Ｓ７）。具体的には、マーカ７５の位置から所定の距離以内にある位置情報を有する映像ファイル１ａが表示候補として選択されている場合には、例えば図１１に示すように、候補選択部２ｂは、地図を表示させる領域７１に表示されている地図に重畳させて、表示候補の映像ファイル１ａの位置情報８１、８２を表示させる。なお、図１０中の位置情報８３は、破線８５の範囲内にないため、表示候補に入らない。よって、図１１の領域７１には、位置情報８１〜８３のうちの位置情報８１、８２のみが表示される。
なお、候補選択部２ｂは、マーカ７５の位置が領域７１の中心付近になるように地図を移動させる。また、この場合の位置情報８１、８２は、各表示候補の映像ファイル１ａの各フレームの位置情報をプロットした線として表示している。
なお、表示候補の映像ファイル１ａが複数ある場合には、視認性の向上のため、各々の映像ファイル１ａの位置情報の表示態様（色、線種等）を異ならせてもよい。図１１の例では、２つある映像ファイル１ａの位置情報８１、８２を異なる線種で表示させている。また、表示候補の映像ファイル１ａの位置情報８１、８２軌跡を表示させる代わりに、例えば図１２に示すように、表示候補の映像ファイル１ａをリスト形式で表示させるウィンドウ７６を表示させてもよい。候補選択部２ｂは、このウィンドウ７６内の表示領域７６ ａ、７６ｂに、各表示候補の映像ファイル１ａの時刻情報、位置情報等の環境情報を表示させる。なお、このウィンドウ７６内の並び順は、例えば映像ファイル１ａが有する位置情報がマーカ７５の位置に近い順とする。あるいは、映像ファイル１ａが有する時刻情報が新しい順としてもよい。
また、他の所定の環境情報の範囲に応じて表示候補の映像ファイル１ａが選択された場合には、例えば図１２と同様のリスト形式で表示してもよいし、図１１と同様に映像ファイル１ａの位置情報を地図に重畳させて表示してもよい。

Claims (9)

1. 所定のフレーム毎に撮像環境を示す環境情報が記録された複数の映像データを保持するデータ保持手段と、
   検索情報を入力する入力手段と、
   前記入力された検索情報に基づいて所定の環境情報の範囲を設定する設定手段と、
   前記複数の映像データから前記設定された所定の範囲内の環境情報を有する映像データを表示候補として選択する候補選択手段と、
   前記選択された表示候補の映像データを提示する提示手段と、
   前記提示された表示候補の前記映像データから選択された映像データを表示させる表示手段と、
   を備えることを特徴とする映像処理装置。
2. 前記環境情報は、映像データが撮像された時刻、映像データが撮像された位置、映像データが撮像された際の車両の姿勢、映像データが撮像された際の車両の振動、映像データが撮像された際の車両の周囲の温度、映像データが撮像された際の車両の周囲の音、映像データが撮像された際の車両の速度、の少なくとも１つを含む
   ことを特徴とする請求項１記載の映像処理装置。
3. 前記環境情報は、映像データが撮像された位置を示す位置情報を含み、
   地図を表示させる地図表示手段を備え、
   前記入力手段は、前記地図上の位置を入力する位置入力手段を備え、
   前記設定手段は、前記入力した位置から所定の距離以内にある前記位置情報を前記検索範囲として設定する
   ことを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記提示手段は、前記選択された表示候補の映像データが有する前記位置情報を前記地図に重畳させてユーザに提示する
   ことを特徴とする請求項３に記載の映像処理装置。
5. 前記提示手段は、前記表示候補の映像データが複数ある場合に、当該各映像データが有する前記位置情報毎に異なる表示形態で表示させる
   ことを特徴とする請求項４に記載の映像処理装置。
6. 検索情報を入力するステップと、
   前記入力された検索情報に基づいて所定の環境情報の範囲を設定する設定手段と、
   所定のフレーム毎に撮像環境を示す環境情報が記録された複数の映像データから前記設定された所定の範囲内の環境情報を有する映像データを表示候補として選択するステップと、
   前記選択された表示候補の映像データを提示するステップと、
   前記提示された表示候補の前記映像データから選択された映像データを表示させるステップと、
   を備えることを特徴とする映像処理方法。
7. 所定のフレーム毎に撮像位置を示す位置情報が記録された複数の映像データを保持するデータ保持手段と、
   地図を表示させる地図表示手段と、
   前記地図上に位置を入力する位置入力手段と、
   前記入力した位置に基づいて前記位置情報を有する前記映像データを表示させる映像データ表示手段と、
   前記表示された映像データが有する前記位置情報を前記地図に重畳させて表示させる重畳手段とを備え、
   前記重畳手段は、前記入力した位置から所定の距離以内にある前記位置情報を有する前記映像データのみを表示することを特徴とする映像処理装置。
8. 前記重畳手段は、前記入力した位置から所定の距離以内にある前記位置情報を有する前記映像データのみを表示するが複数ある場合に、当該各映像データに記録された前記位置情報毎に異なる表示形態で表示することを特徴とする請求項７に記載の映像処理装置。
9. 前記地図表示手段は、前記映像データの表示に応じて前記表示させる地図を移動させることを特徴とする請求項７または８に記載の映像処理装置。
   

Images