JP2016115082A

JP2016115082A - 画像検索システム及び画像検索方法

Info

Publication number: JP2016115082A
Application number: JP2014252374A
Authority: JP
Inventors: 森田　豊久; Toyohisa Morita; 豊久森田
Original assignee: Hitachi Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2016-06-23
Anticipated expiration: 2034-12-12
Also published as: JP6509546B2

Abstract

【課題】複数カメラの撮影画像から所望の場所及び日時を指定した画像を検索すること。【解決手段】地図情報及び位置情報を含む地図データ１０９及び撮影した画像データ１１１を格納する記憶装置１０４と、画像の撮影開始・撮影終了日時・多角形座標の頂点の数及び頂点座標列を含む属性を管理する画像インデクスデータ１１０を格納し、画像の被写領域を管理する被写領域管理装置１０２とを備え、検索装置１０３が入力装置１０５から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を記憶装置１０４から画像インデクスデータを用いて検索する画像検索システム。【選択図】図１

Description

本発明は、複数のカメラが撮影した複数の画像から所望の場所及び日時を指定した画像を容易に検索することができる画像検索システム及び画像検索方法に関する。

近年、監視カメラの低廉化を背景として、金融機関・店舗・商店街等の路上などでの不審者のリアルタイム監視や、事件・事故発生後の遡及的な解析のために、多数の監視カメラが街中に配置されている。この事件・事故発生後の遡及的な解析のために監視カメラにより撮影した画像から所望の画像を検索するためには一般に該当の事象が写っている監視カメラを特定し、さらに当該の事象が写っている時刻部分を目視により探すというプロセスが必要となる。

また、撮影機器を搭載した車両を走行させながら道路伝いの映像を撮影するストリートビューがインターネット上のウェブサイトのサービスとして提供されているが、このストリートビューの所望の画像を検索するためには住所や緯度経度を指定し、この指定した住所や緯度経度の周囲を見回すプロセスが必要となる。

なお、従来技術によるカメラ撮影の画像を取り扱う技術が記載された文献としては下記の特許文献が挙げられる。特許文献１には「カメラで捉えられた対象物の存在位置を地図上に表示するための処理を行う」という記載がある。特許文献２には、「撮影範囲の平面図情報とカメラの高さ情報とを利用して簡単な作業でカメラパラメータを算出することができるカメラキャリブレーション装置を得る」及び「カメラキャリブレーション装置により得られたカメラパラメータを利用して監視エリアを自動的に設定できる」との記載がある。

国際公開２０１３／１８３７３８号特開２０１０−１９３１７０号公報

前述の特許文献１に記載された技術は、対象物の地図上における軌跡がユーザ指定の存在可能領域の内部に収まるように変換式パラメータが決定され、ユーザの使い勝手を低減することができる効果に留まり、特許文献２に記載された技術は、カメラパラメータを利用して三次元的な監視エリアを自動的に設定することができる効果に留まる。

そこで、本発明では、複数のカメラが撮影した複数の画像から所望の場所及び日時を指定した画像を容易に検索することができる画像検索システム及び画像検索方法を提供することを目的とする。

前記目的を達成するため本発明による画像検索システムは、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報の属性が付与された画像を撮影するカメラと接続され、該カメラにより撮影した複数画像から日時及び位置を指定した画像を検索する画像検索システムであって、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶装置と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理装置と、
該被写領域管理装置に格納した画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索装置と、
前記画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力装置と、
該検索装置が検索した結果を表示出力する出力装置を備え、
前記検索装置が、入力装置から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶装置から画像インデクスデータを用いて検索することを主な特徴とする。

また、本発明による画像検索システムは、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと接続され、該カメラが移動及び又は回転しながら撮影した複数画像から日時及び位置を指定した画像を検索する画像検索システムであって、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶装置と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理装置と、
該被写領域管理装置に格納した第１画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索装置と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力装置と、
該検索装置が検索した結果を表示出力する出力装置を備え、
前記被写領域管理装置が、
前記記憶装置から前記方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程と、
前記検索装置が、入力装置から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶装置から第２画像インデクスデータを用いて検索することを主な特徴とする。

また、本発明による画像検索システムは、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと、公物の公物名称・属する自治体名称・築年・種類・工法・公物位置情報を含む公物情報及び建設時及び前回撮影時の撮影画像その他を格納した公物資産データベースとに接続され、該カメラが走行中の車両から公物を撮影した複数画像から日時及び位置を指定した画像を検索する画像検索システムであって、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶機能と、
画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理装置と、
該被写領域管理装置に格納した第１画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索装置と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力装置と、
該検索装置が検索した結果を表示出力する出力装置を備え、
前記被写領域管理装置が、
前記記憶装置から前記方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程と、
前記検索装置が、入力装置から入力した日時以前であり且つ頂点座標列に囲まれる位置の画像及び最新日時であり且つ頂点座標列に囲まれる位置の画像を検索する工程と、
前記工程により検索した入力日時以前且つ頂点座標に囲まれる画像及び最新日時且つ頂点座標に囲まれる画像と、前記公物資産データベースに格納した公物情報とを出力装置に表示出力することを主な特徴とする。

さらに、本発明による画像検索方法は、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報の属性が付与された画像を撮影するカメラと接続され、該カメラにより撮影した複数画像から日時及び位置を指定した画像を検索するコンピュータシステムにおける画像検索方法であって、
前記コンピュータシステムに、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像を格納する記憶機能と、
画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理機能と、
該被写領域管理機能により格納した画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索機能と、
前記画像インデクスデータの頂点座標列の入力と、前記検索機能を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力機能と、
前記検索機能が検索した結果を表示出力する出力機能を設け、
前記検索機能に、入力機能により入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶機能により記憶した画像インデクスデータから検索させることを主な特徴とする。

また、本発明による画像検索方法は、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと接続され、該カメラが移動及び又は回転しながら撮影した複数画像から日時及び位置を指定した画像を検索するコンピュータシステムにおける画像検索方法であって、
前記コンピュータシステムに、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶機能と、
画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理機能と、
該被写領域管理機能に格納した第１画像インデクスデータを用いて記憶機能により格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索機能と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力機能と、
該検索装置が検索した結果を表示出力する出力機能を設け、
前記被写領域管理機能に、
前記記憶機能により格納した方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程を実行させ、
前記検索機能に、
入力装置から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶装置から第２画像インデクスデータを用いて検索させることを主な特徴とする。

また、本発明による画像検索方法は、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと、公物の公物名称・属する自治体名称・築年・種類・工法・公物位置情報を含む公物情報及び建設時及び前回撮影時の撮影画像その他を格納した公物資産データベースとに接続され、該カメラが走行中の車両から公物を撮影した複数画像から日時及び位置を指定した画像を検索するコンピュータシステムにおける画像検索方法であって、
前記コンピュータシステムに、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶機能と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理機能と、
該被写領域管理機能により格納した第１画像インデクスデータを用いて記憶機能により格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索機能と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索機能を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力機能と、
該検索機能により検索した結果を表示出力する出力機能を設け、
前記被写領域管理機能に、
前記方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力機能により表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程を実行させ、
前記検索機能に、
入力装置から入力した日時以前であり且つ頂点座標列に囲まれる位置の画像及び最新日時であり且つ頂点座標列に囲まれる位置の画像を検索する工程と、
前記工程により検索した入力日時以前且つ頂点座標に囲まれる画像及び最新日時且つ頂点座標に囲まれる画像と、前記公物資産データベースに格納した公物情報とを出力機能により表示出力させる工程を実行させることを主な特徴とする。

本発明による画像検索システム及び画像検索方法は、複数のカメラが撮影した複数の画像から所望の場所及び日時を指定した画像を容易に検索することができる。

本発明の第１実施例による画像検索システムの構成を示す図。第１実施例による画像インデクスデータの形式を示す図。第１実施例による画像の被写領域の多角形近似を説明するための図。第１実施例による画像検索システムの全体処理フローを示す図。第１実施例による画像検索システムのチェック処理フローを示す図。第１実施例による地図上での位置と日時の入力画面を示す図。第１実施例による任意点が多角形内部点か否かを判定する方法を説明するための図。第１実施例による任意の２点が直線の同一方向か否かを判定する方法を説明するための図。第１本実施例によるサマリ画面例を示す図。第１実施例による再生画面を示す図。第１実施例による画像インデクスデータ生成処理フローを示す図。第１実施例による画像インデクスデータ生成画面を示す図。本発明の第２実施例による方向回転時の補正処理を説明するための図。第２実施例による平行移動時の補正処理を説明するための図。第２実施例による画像インデクスデータの形式を示す図。第２実施例によるカメラの方位回転時の補正処理フローを示す図。第２実施例によるカメラの移動回転時の補正処理を説明するための図。本発明の第３実施例による車載カメラの撮影形態を説明するための図。第３実施例による車両へのカメラ及び端末装置の搭載例を示す図。第３実施例による撮影画像を示す図。第３実施例による初期台帳（紙）例を示す図。第３実施例による初期台帳例（電子システム）を示す図。

以下、本発明による画像検索システム及び画像検索方法の実施例を説明する。

［構成］
本発明の第１実施例による画像検索システムは、図１に示す如く、次の機器によって構成される。
（１）商店街等の路上などに設置される複数の監視カメラ１０８と有線あるいは無線等の任意の手段で接続される伝送装置１０１。
（２）地図データ１０９及び複数の監視カメラ１０８が撮影した画像データ１１１を格納する記憶装置１０４。
前記地図データ１０９は、地図情報そのものの他に、少なくとも地図上の任意の点の緯度経度が算出できるような位置情報を含み、例えば長方形の形状の地図の四隅の緯度経度を参照し、後述する内分点の計算により任意位置における緯度経度の算出が可能に構成されている。

（３）前記画像データ１１１の属性を管理するデータである画像インデクスデータ１１０を格納し、画像データ１１１に含まれる被写領域を管理するための被写領域管理装置１０２。
この画像インデクスデータ１１０の属性は、画像データ１１１が時系列の画像（静止画）列のため、撮影開始日時と撮影終了日時とを含む。本実施例においては、一つの画像データに対しては、一つの監視カメラが対応し、一つの画像データの中では監視カメラのフレームが静止している（固定された監視カメラがズームやパン［固定したカメラの向きを「振る」こと］を行わないこと）と仮定する。

このため本実施例における画像データは、フレームが変化した時点で別の画像データとして取り扱う。また、画像データはいわゆるコンピュータ上の１ファイルとしての動画像であっても良いし、ある１ファイルの動画像のある時間区間の画像列であっても良い。

前記画像インデクスデータ１１０は、図２に示す如く、複数の画像データをレコード毎に格納し、画像データを特定するための一意の画像データＩＤと、撮影カメラを特定するための一意のカメラＩＤと、撮影の開始日時と、同終了日時と、頂点数と、頂点座標列との各項目情報とから成る。

前記頂点数と頂点座標列は、画像の被写領域（画像に写っている領域）を二次元の地図上において多角形で近似したときの多角形の座標であり、前述したように一つの画像データ内ではフレームは動かないため、一つの画像データに対して一意に定まる。頂点数は多角形の頂点数であり、例えば四角形であれば４である。頂点座標列はその多角形頂点の複数座標である。
具体的には、前記頂点数は、図３（ａ）に示す監視カメラ１０８により撮影した撮影画像に対して図３（ｂ）に示す二次元の地図上において多角形で近似したときの多角形の座標ＡＢＣＤである。前記頂点座標列は、前記多角形座標ＡＢＣＤの緯度及び経度である。

（４）前記被写領域管理装置１０２に格納した画像インデクスデータ１１０を用いて記憶装置１０４に格納した地図データ１０９及び画像データ１１１から所望の場所及び日時を指定した画像を検索する検索装置１０３。
（５）前記画像インデクスデータ１１０の頂点座標列の入力並びに該検索装置１０３を用いて所望の場所及び日時を指定した画像検索条件を入力する入力装置１０５。

（６）前記検索装置１０３が検索した結果を表示する表示部や検索結果を印刷するためのプリンタ等の出力装置１０６（本明細書では出力装置１０６を用いて印字又は表示することを表示出力と呼ぶ）。
（７）前記伝送装置１０１と被写領域管理装置１０２と検索装置１０３と記憶装置１０４と入力装置１０５と出力装置１０６を接続するバス１０７。

なお、本実施例においては画像検索システムを複数の電子機器として説明したが、一般のＣＰＵとメモリと基本ソフトウェア・各種ソフトウェア・データを記憶する磁気ディスク装置等のデータ記憶手段と表示部とキーボード等の入出力機器と各種インターフェース機器を含むコンピュータによって構成しても良い。

［動作］
次いで本実施例による画像検索システムは、図４に示すステップを実行することによって日時での位置情報を含む画像データを抽出するように動作する。

ステップＳ４０１：入力装置１０５から、検索したい位置情報と日時を入力するステップ。
このステップＳ４０１において、入力装置１０５を用いた位置情報及び日時の入力する際、地図データ１０９を出力装置１０６に表示し、この表示した地図上で位置情報をポインティングデバイスの入力装置１０５によって入力しても良く、位置座標を緯度経度の座標情報として入力装置１０５から数値入力しても良い。

ステップＳ４０２：検索装置１０３が画像データ１１１の中で前記ステップＳ４０１により入力された日時での位置情報を含む画像データを抽出するステップ。
ステップＳ４０３：該ステップＳ４０２によって抽出した画像データを出力装置に出力して処理を終了するステップ。

前記ステップＳ４０１による出力装置１０６への出力画面６０１は、図６に示す如く、画面上に二次元の地図データを表示する地図領域６０２と、日時と経度と緯度を入力するための入力領域６０３とを表示する。この入力領域６０３からは、入力装置１０５を介して得たい画像の日時と位置情報を入力できる。緯度、経度については、入力領域６０３に入力する代わりに、マウスカーソル６０４を地図領域６０２に重畳表示させ、目的とする位置座標６０５を指定することで入力することもできる。

［画像データ抽出処理］
前記ステップＳ４０２による入力された日時での位置情報を含む画像データを抽出する処理は、図５に示す次のステップによって実行される。

ステップＳ５０１：ステップＳ４０２の出力となる候補リストを初期化するステップ。この候補リストは、所望の画像の画像データＩＤのレコードを図示しないメモリエリアに格納するデータである。
ステップＳ５０２：全ての画像データ処理が終了したか否かを判定し、全ての画像データ処理が終了したと判定したときに処理を終了するステップ。

ステップＳ５０３：該ステップＳ５０２において全ての画像データ処理が終了していないと判定したとき、前記メモリエリアに格納した画像データＩＤの１つを選択するステップ。
ステップＳ５０４：該ステップＳ５０３において選択した画像データＩＤの画像データが、図４のステップＳ４０１で入力された日時を含む否かを判定し、該日時を含まないと判定したときに前記ステップＳ５０２に戻るステップ。このステップＳ５０４における入力された日時を含む否かの判定は、ステップＳ５０３で選択された画像データの画像データＩＤに対応する行（レコード）の開始日時と終了日時を抽出し、ステップＳ４０１により入力された日時が開始日時と終了日時の間に含まれているか否かを判定することによって行う。

ステップＳ５０５：該ステップＳ５０４において日時を含むと判定したとき、ステップＳ５０３で選ばれた画像データがステップＳ４０１で入力された位置を撮影しているか否かを判定し、含まれていないと判定したときに前記ステップＳ５０２に戻るステップ。
このステップＳ５０５におけるステップＳ４０１で入力された位置を撮影しているか否かの判定は、ステップＳ５０３で選択された画像データの画像データＩＤに対応する行（レコード）の頂点数と頂点座標列に着目し、頂点座標は緯度と経度で記述されているため、これらの情報を用いて緯度と経度の二次元空間上での多角形を確定し、これら複数座標内に撮影位置が含まれるか否かを判定することによって行う。

この処理を図７を参照して説明する。図７では、例として凸六角形の図を示すが、六角形に限らず何角形でも良い。ここで、与えられた点７０３（座標）が凸六角形７０１の内部にあるかどうかを判定する。凸六角形７０１の全頂点の座標の平均を座標とする点を点７０２とする。凸六角形７０１のうち一つの辺を選び、その直線７０４を想定する。この直線７０４に対して点７０３と点７０２が同じ側にあればよい。これをすべての辺で六回繰り返すことによって、すべて同じ側であれば点７０３は凸六角形７０１の内部と判定する。

前記ある二点が直線に対して同じ側であるか否かの判定方法を図８を用いて説明する。図８に示すように、点Ｘと点Ｙを通る直線に対して、点Ａと点Ｂが同じ側にあるかどうかを判定することを考える。点Ｘを始点として点Ｙを終点とするベクトル、点Ｘを始点として点Ａを終点とするベクトル、点Ｘを始点として点Ｂを終点とするベクトルを考え、それぞれ、ベクトルＸＹ、ベクトルＸＡ、ベクトルＸＢと呼ぶ。ベクトルＸＹからベクトルＸＡに対して回転した角度をθＡ、ベクトルＸＹからベクトルＸＢに対して回転した角度をθＢとする。角度の正弦（Ｓｉｎ）は、０度から１８０度で正、１８０度から３６０度で負となるので、ＳｉｎθＡとＳｉｎθＢが同じ符号（正又は負を表す記号）かどうかを確かめれば良い。ＳｉｎθＡは、二次元空間のベクトルの正弦なので、ベクトルＸＹとベクトルＸＡの外積（ベクトル積）から下記の［数１］のように求められる。ＳｉｎθＢについても同様である。これによってＳｉｎθＡとＳｉｎθＢが同じ符号かどうかは判定できるため、直線の同じ側にあるか否かを判定することができる。

すなわち、ステップＳ５０５による平均座標である点７０２と入力座標である点７０３の点二点が多角形座標の頂点が形成する辺の直線に対して同じ側であるか否かの判定は、前記多角形座標の頂点が形成する点Ｘと点Ｙを結ぶ辺の基ベクトル（ＸＹ）と、該基ベクトルの一端の座標の点Ｘから平均座標の点Ａに延びる平均ベクトル（ＸＡ）と、前記基ベクトルの一端の座標の点Ｘから前記入力された位置座標の点７０３に延びる入力ベクトル（ＸＢ）とを想定し、前記基ベクトルに対して該平均ベクトルが成す回転角度と該入力ベクトルが成す回転角度の正負記号が同一か否かにより判定する工程によって行う。

ステップＳ５０６：前記ステップＳ５０５においてステップＳ４０１で入力された位置を撮影していると判定したとき、前記ステップＳ４０１により指定された日時及び位置が画像に含まれていた画像データの画像データＩＤを候補リストに追加し、前記ステップＳ５０２に戻るステップ。

［画像データ出力処理］
この検索された画像データは、図９に示す如く、前記ステップＳ４０３により、出力装置１０６にサマリ画面９０１として表示される。このサマリ画面９０１の出力は、検索を行った日時及び場所を表示する条件表示領域９０２と、ヒットした該当の画像データの縮小画面（静止画）及びカメラＩＤを一覧表示する一覧表示領域９０３と、選択された画像データを撮影したカメラ位置及び撮影範囲を表す二次元の地図データを表示する地図表示領域９０４とからなる。

前記地図表示領域９０４は、地図データ１０９に重畳して前記ステップＳ４０１で入力された検索条件の点９０５と、ステップＳ４０２で出力された候補リストの画像データＩＤの数だけ、カメラＩＤと被写領域の多角形９０６を重畳表示する。

また、検索された画像データは、一覧表示領域９０３のカメラＩＤ又は縮小画像又は地図表示領域９０４のカメラＩＤ又は被写領域の多角形９０６のいずれかをマウスカーソル９０７によって指示することによって、図１０に示す如く該当カメラＩＤの該当する日時の画像を再生画面９０８として表示することができる。

この再生画面９０８は、撮影日時とカメラＩＤを表示する再生情報表示領域９０９と、撮影した画像（静止画又は動画）を表示する画像表示領域９１０と、動画画像の巻き戻し・逆再生・停止・再生・早送りの操作ボタンを表示する画像操作領域９１１とからなる。

このように本実施例による画像検索システムは、一つの監視カメラが対応し、一つの画像データの中では監視カメラのフレームが静止している条件において、検索位置（座標）が撮影されているか否かを判定するとき、全ての画像データから日時が含まれている画像データを検索する工程と、該工程において日時が含まれる画像データの中から入力位置が画像データ中の多角形に含まれている画像データを検索する工程を実行することによって、入力した日時及び位置を撮影した画像データを容易に抽出することができる。

前述の第１実施例は、画像データに対応した画像インデクスデータが既に存在することを前提として画像を検索するシステムについて述べたが、本発明による画像検索システムは、画像データと対応した画像インデクスデータを生成する機能を、先の実施例に追加することもでき、この第２実施例を次に説明する。

この第２実施例によるハードウェア構成は前述の第１実施例と同様であり、画像データと対応した画像インデクスデータを生成する機能は、図１２に示す画像インデクスデータ生成画面を参照して図１１に示す次のステップによって実行される。

図１２に示す画像インデクスデータ生成画面は、図１２に示す如く、カメラＩＤと撮影開始終了を表示する画像インデクスデータ生成条件表示領域１１０２と、撮影画像を表示する画像表示領域１１０３と、該画像表示領域１１０３に表示した画像の再生・停止等を操作するための操作ボタンを表示する画像操作領域１１０４と、画像を撮影したカメラ位置及び撮影範囲を表す二次元の地図データを表示する地図領域１１０５とからなる。

本実施例による画像データと対応した画像インデクスデータを生成する機能は、被写領域管理装置１０２が、図１１に示す次のステップを実行することによって達成される。

ステップＳ１００１：入力装置１０５から操作者によるカメラＩＤの入力を受け付け、入力されたカメラＩＤを画像インデクスデータ生成条件表示領域１１０２に表示するステップ。
ステップＳ１００２：入力装置１０５から開始日時の操作者による入力を受け付け、入力された開始日時を画像インデクスデータ生成条件表示領域１１０２に表示すると共に画像表示領域１１０３に当該カメラＩＤの当該時刻の静止画を表示するステップ。

このステップＳ１００２において、操作者が画像操作領域１１０４の再生や早送りのボタンをマウスカーソル１１０６で操作することにより、画像表示領域１１０３に表示される画像の日時を変えることができる。ここで、画像表示領域１１０３に画像が表示されているときに、開始日時ボタン１１０８を押す操作により当該画像の日時が開始日時として上書き入力される。

ステップＳ１００３：入力装置１０５から終了日時の操作者による入力を受け付け、入力された終了日時を画像インデクスデータ生成条件表示領域１１０２に表示するステップ。
このステップＳ１００３において、操作者が開始日時から終了日時までの間、画像の写すフレームが固定で変わらないことを確認し、その条件を満たすように終了日時を選んで入力する操作をすれば、その効果として、このカメラＩＤのこの開始日時と終了日時の間の画像が被写領域の同一な画像であることになる。従って、この機能によって同じフレームである画像の時間区間を手作業で指定することができる。また、画像表示領域に画像が表示されているときに、終了日時ボタン１１０９を押せば、その画像の日時が終了日時として入力される。終了日時の入力がなされれば、画像表示領域１１０３の画像は開始日時の静止画像で止める。

ステップＳ１００４：地図領域１１０５において操作者からのマウスカーソル９０７による地図上での頂点１１０７の指定を受け付けるステップ。このステップＳ１００４は、操作者が画像表示領域１１０３の画像を見ながら、被写領域の境界を地図上で指定するという操作をすれば、その効果として、二次元空間である地図上において被写領域の境界を記録できることになる。従って、この機能を提供することによって被写領域の境界を手作業で指定することができる。ここでは、被写領域を多角形で記述するとしたときの頂点を一つ入力する。

ステップＳ１００５：頂点の入力が終了したか否かを判定し、終了していないと判定したときに該ステップＳ１００４に戻るステップ。この頂点の入力が終了したか否かの判定は、例えば、図示の例では、入力が４個目以上であり且つ最初に入力された点と予め定められた距離以下の点が入力されたか否かを判定し、予め定められた距離以下と判定したときには入力終了と判定し、予め定められた距離より遠い点が入力されたと判定したときに頂点入力が終了していないと判定することや、操作者によるマウスカーソル移動で所定時間以上停止している等の操作者による操作時間を監視することによって判定することが考えられる。

ステップＳ１００６：入力された情報を被写領域管理装置１０２に画像インデクスデータ１１０として出力し、処理を終了するステップ。この画像データは、図２に示すデータ形式で有り、画像データＩＤは、未使用のＩＤを一つ生成し、カメラＩＤと開始日時と終了日時は、それぞれステップＳ１００１〜ステップＳ１００３で入力された値とする。頂点数は、ステップＳ１００４で入力された頂点のうち、最後のステップＳ１００５の終了判定で入力した頂点を除いた数をここに登録する。頂点座標列は、ステップＳ１００４で入力された頂点の位置座標を順に、緯度・経度で登録するが、これも同様に、ステップＳ１００４で入力された頂点のうち、最後のステップＳ１００５の終了判定で入力した頂点を除いて登録する。

このように本実施例による画像検索システムは、画像データと対応した画像インデクスデータを容易に生成することができる。また、本実施例による画像は、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報を含む属性が付与された静止画像を連続して撮影した動画であっても良い。

前述の２つの実施例においては被写領域が固定された画像に対して画像インデクスデータを生成し、複数の固定カメラが撮影した複数の画像から所望の場所及び日時を指定した画像を検索する例を説明したが、本発明による画像検索システム及び方法は、カメラ自体が移動し、向きも変わり得る状況で撮影された画像に対して画像インデクスデータを生成し、画像を検索することもでき、この実施例を次に説明する。

この第３の実施例による画像検索システム及び方法において使用する画像データ１１１は、位置情報（緯度、経度）及び方位情報が付加されているものとする。この画像データ１１１は静止画の並びの動画であるが、それぞれの静止画に画像データ撮影の際に撮影時の日時情報と位置情報と方位センサによる方位情報が記録され、ある日時において画像が抽出できると同様にその日時のカメラの位置情報と方位情報が抽出できるように管理されているものとする。例えば、画像データに対するメタデータとして、日時をインデクスとして位置情報と方位情報を格納した別ファイルとして記憶装置１０４に別途管理する方法や、画像データ１１１そのものに位置情報と方位情報を書き込むことができる。

さらに、本実施例による画像検索システム及び方法は、図２で示した画像インデクスデータの頂点座標例にある頂点の座標を、実空間の絶対座標としてみなさずに、カメラ位置からの相対座標とみなして扱う。この画像インデクスデータを生成する処理と画像を検索する処理について説明する。

［画像インデクスデータ生成処理］
この第３実施例による画像インデクスデータを生成する処理は、前述の第２実施例における画像インデクスデータを生成する図１１に示した各ステップを実行する際に、次のステップを修正することによって生成される。

ステップＳ１００３：入力された終了日時を画像インデクスデータ生成条件表示領域１１０２に表示するステップ。
このステップＳ１００３において、第２実施例では、画像の写すフレームが固定で変わらないことを確認して、その条件を満たすように終了日時を選んで入力する操作を想定したが、第３実施例では操作者がズーム処理をしていない時間区間であることを確認して終了日時を選ぶ操作を行う。これにより当該カメラＩＤのこの開始日時と終了日時の間のすべての画像の被写領域はカメラの位置や向きによらずカメラが正対する方向に対して相対的な被写領域は同じとなり、地図上での被写領域がカメラの向きが変わった分だけ向きを相対的に回転させ、カメラ位置が移動した分だけ相対的に移動すれば、全ての画像において被写領域が推定できることになる。

従って、カメラ自体が移動し、向きが変わるような状況で撮影されていたとしても、ズームをしていない時間領域を選択することにより、被写領域のカメラからの相対座標が分かっていれば、被写領域の絶対座標を推定することが可能となる。画像表示領域に画像が表示されているときに、終了日時ボタン１１０９を押せば、その画像の日時が終了日時として入力される。終了日時の入力により、画像表示領域１１０３の画像は終了日時の静止画像で止める。

ステップＳ１００４：地図領域１１０５において操作者からのマウスカーソル１１０６による地図上での頂点１１０７の指定を受け付けるステップ。
このステップＳ１００４においては頂点入力の参考になるようにまず地図領域１１０５を表示するが、その表示の際に、第３実施例ではカメラの向きが常に地図の上側になるように地図を回転し、カメラが平行移動した場合にはその分だけ地図を移動させる。

これを説明すると、図１３に示すようにカメラ方位がθ回転した場合には、地図画像を逆に−θ回転させる。また、図１４に示すようにカメラがベクトルｘだけ移動した場合には、地図画像をベクトル−ｘだけ移動させて表示する。

ステップＳ１００６：入力された情報を被写領域管理装置１０２に画像インデクスデータ（図２）として出力する際、第３実施例においては、頂点座標からカメラ位置座標を引き算した差の値を求め、カメラ位置に対する相対座標として画像インデクスデータの頂点座標を出力する。方位情報は、ステップＳ１００４で述べたように、カメラの向きが常に地図の上側になるように地図が回転された上で頂点座標が入力されているので、既に相対座標となっているため、第３実施例において画像インデクスデータは相対座標の意味を持たせる。

これら動作によって第３実施例による画像インデクスデータ生成処理は、向きや場所が移動し得るカメラで撮影した画像であっても、ズーム処理がなされない範囲において、カメラからの相対的な被写領域を画像インデクスデータの頂点座標列に格納する。

［画像データ検索処理］
次に、第３実施例による画像インデクスデータ２を用いて、画像を検索する処理について説明する。この検索処理自体は、第１実施例の検索処理を実施することが必要であるが、この第３実施例では、第１実施例に加えて、その前に以下に示す前処理を行ってから第１実施例の検索処理を実施することにより、日時及び位置を指定した画像データを検索することができる。

この第３実施例における画像インデクスデータ生成処理は、まず、前述の処理によって図１５に示す画像インデクスデータ２を生成する。この画像インデクスデータ２は、形式自体は図２で説明した画像インデクスデータと同一であるが、第３実施例においては、画像インデクスデータの中の頂点座標列は前述したとおり相対座標であるため、これを絶対座標に変換し且つ開始日時と終了日時をその絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直す処理を行う。なお、図１５に示す開始日時２及び終了日時２はカメラ位置座標とカメラ向きがほぼ同一とみなせる微小時間区間であり、画像データＩＤ２はその時間区間に対応する画像データのインデクスである。

この相対座標の画像インデクスデータから絶対座標の画像インデクスデータ２を生成する処理を図１６を参照して次のステップを実行することによって達成される。

ステップＳ１６０１：被写領域管理装置１０２が、頂点座標列の頂点座標がカメラ位置座標からの相対座標である画像インデクスデータ１１０を読み出して図示しないメモリエリアに入力するステップ。
ステップＳ１６０２：全ての画像データＩＤを画像インデクスデータ１１０から読み出した否かを判定し、読み出したと判定したときに処理を終了するステップ。

ステップＳ１６０３：該ステップＳ１６０２により全ての画像データＩＤを読み出していないと判定したとき、画像データＩＤの中の画像において、開始日時２及び終了日時２の初期設定を行うステップ。

このステップＳ１６０３において、開始日時２には、画像データＩＤの元の開始日時をそのまま入れ、終了日時２には、開始日時２にΔｔを加えた日時を入れる。ここでΔｔとは、予め定められた微小な時間（例えば、０．００１秒〜０．１秒）である。このΔｔが十分小さければ、その開始時間２と終了時間２との間の時間では、カメラの位置座標とカメラの方位がそれぞれ同一であるとみなすことができる。以降、この時間区間で相対座標を絶対座標に変換する。

ステップＳ１６０４：前記ステップＳ１６０２で選ばれた画像データＩＤの中の画像の開始日時２が終了日時より前か否かを判定し、開始日時２が終了日時より前であれば、さらに、終了日時２が終了日時より大きいか判定し、終了日時２が終了日時より大きければ終了日時２を終了日時と同じ値に修正し、終了日時２が終了日時以前であればそのままの終了日時２の値として次のステップＳ１６０５に移るステップ。

ステップＳ１６０５：頂点座標列内の頂点座標を相対座標から絶対座標に変換するステップ。
このステップＳ１６０５は、被写領域管理装置１０２が開始日時２のカメラ位置座標情報及び方位情報を画像データ１１１又は関連するメタデータから入力し、開始日時２のカメラの座標情報と方位情報が終了日時２まで続いたと仮定しても誤差が小さいと考えられる為、開始日時２の方位を半時計回りでθと仮定し、相対座標での位置座標をθだけ回転させる。これは、二次元の座標の回転変換で可能である。また、開始日時２でのカメラ位置座標が絶対座標で（Ｓ、ｔ）で表されるとき、相対座標での位置座標に（Ｓ，ｔ）だけ加えて平行移動させる。

図１７に、カメラが移動、向きを変更する場合を説明図する。図１７において、カメラが点Ａにあり、向きが北から半時計回りにα度であったとし、その後にカメラが点Ｂ（絶対座標（Ｂｘ、Ｂｙ））に移動し、さらに向きが北から反時計回りにβ度回転したと仮定する。

このとき、頂点座標の相対座標が（Ｂｘ、Ｂｙ）で、点Ｂの絶対座標をＸ、Ｙとしたときに、Ｘ，Ｙは数２で表される。

ステップＳ１６０６：上記で得られた値を、図１５で示した画像インデクスデータ２に出力するステップ。画像データＩＤ２には、使われていない新しい番号を付与する。開始日時２及び終了日時２には上記ステップで得られた値をそれぞれ出力する。頂点座標列２には、前述のステップＳ１６０５で計算された絶対座標に変換された座標を頂点座標列２として出力する。

ステップＳ１６０７：開始日時２及び終了日時２をΔｔだけインクリメント（増加）し、ステップＳ１６０４に戻るステップ。

このように第３実施例によれば、カメラが移動し、向きを変える場合であっても、位置と方位がほぼ同じとみなせる微小時間区間で画像インデクスデータを分割し、その区間内で被写領域となる頂点座標列を生成し、第１実施例の画像検索を実行することによって、見たい地点の位置座標とその日時を指定すれば複数のカメラの画像の中から、その日時のその地点が写っているカメラを検索して所望の画像を抽出することができる。また、本実施例による画像は、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報を含む属性が付与された静止画像を連続して撮影した動画であっても良い。

前述の実施例においては街中等に設置された複数の監視カメラが撮影した画像から日時及び位置を指定した画像を検索する例を説明したが、本発明による画像検索システム及び方法は、例えば走行する車両から撮影した画像から日時及び位置を指定した画像を検索することもでき、この第４実施例を次に説明する。

第４実施例による画像検索システム及び方法は、走行する車両から撮影した道路・橋梁・トンネル等の公物の点検台帳及び初期台帳の作成利用に用いるものであって、例えば、道路等を上空から見た鳥瞰図である図１８に示す如く、道路１８０１の周辺に建物１８０２や歩道橋１８０３があり、測定車１８０４に監視カメラ１９０８及び本実施例による画像検索システムを構成する携帯端末１９０４を搭載して動画を撮影する例を説明する。

本実施例による画像検索システムは、図１９に示す如く、測定車１８０４の監視カメラ１９０８に接続され、ダッシュボード１９０３に取り付けられた端末ホルダ１９０５に保持された画像検索システムを構成する携帯端末１９０４であって、該携帯端末１９０４には図１に示した構成の他にＧＰＳ機能と方位センサ機能と通信機能付きの携帯端末１９０４が端末ホルダ１９０５により据え付けられている。

前記監視カメラ１９０８は、フロントガラス１９０２を通して前方を撮影できるような位置と向きに固定される。なお、前記携帯端末１９０４は、カメラ機能付きスマートフォンであっても良く、使い方によっては監視カメラ１９０８又は携帯端末が前方を写すように固定することや側方を写すように固定して道路側方を撮影することや下斜め方向を撮影するようにして道路舗装面を集中的に撮影するように変更しても良い。

この実施例においては図１に示した伝送装置・被写領域管理装置・検査機装置・記憶装置・入力装置・出力装置の各機能を携帯端末１９０４がインストールされ、実行される。この携帯端末１９０４は、被写体である橋梁等の公物名称・属する自治体名称・築年・種類・工法・公物位置情報（経度緯度）・建設時及び前回撮影時の撮影画像その他を格納した公物資産データベースと接続される。

このように構成された第４実施例による画像検索システムは、走行する測定車１８０４から監視カメラ１９０８により撮影した画像データ１１１をＧＰＳ機能による位置情報と方位センサによる方位情報と日時情報と共に携帯端末１９０４が記憶装置に記録する。この場合の監視カメラに対する被写領域の相対座標は、測定車１８０４が位置や向きを変えたとしても、監視カメラ１９０８が測定車１８０４に固定されているため、前述の第３実施例と同様に不変であり、携帯端末１９０４の時々刻々の位置座標と方位情報と日時情報が記憶される。

次いで、本実施例による画像検索システムは、被写領域管理装置１０２が前述の第１実施例と同様に画像インデクスデータを図１２に示した画像インデクスデータ生成画面１１０１を用いて生成する。

ここで、本実施例による画像検索システムは、被写領域管理装置１０２が、第１実施例にて説明した図５を参照した画像データ抽出処理のステップＳ５０４の判定を「ステップＳ５０３において選択した画像データＩＤの画像データが、図４のステップＳ４０１で入力された日時以前か否かを判定し、該日時以前でないと判定したときにステップＳ５０２に戻るステップ」に修正し、図４を参照した画像データ出力処理のステップＳ４０３を「候補リストの中で最近の時刻の画像データを出力するステップ」に修正した処理を実行する。

この修正ステップの実行により第４実施例による画像データ検索システムは、ステップＳ４０１により入力された日時より以前且つ最近の該当地点の写った画像を抽出することができる。この実施例において、日時に「現在」を入力すれば、最近のその地点の画像が得られ、ある特定の日時を入力すれば、その日時以前の最近のその地点の画像が得られる。

本実施例による画像検索システムを用いて走行する車両から撮影した道路等の公物の紙の初期台帳２１０１は、例えば、橋梁の台帳であれば、図２１に示す如く、その橋梁の名称や、属する自治体名称、築年や橋の種類や工法の他、その橋梁を前回撮影した画像２１０２が掲載される。この初期台帳を出力するために、画像２１０２を抽出する際に、本実施例による画像データ抽出処理を採用し、公物の位置情報に基づいて最近の公物画像データを抽出することができる。

また、上記の台帳は、紙に出力することを想定したが、これを変更し、電子的なシステムの出力画面として実施することもできる。この電子システムの出力画面例２２０１は、図２２に示す如く、橋梁を指定すると、出力装置１０６に公物資産データベースに格納した該当橋梁の名称・属する自治体名称・築年や橋の種類や工法の他・その橋梁の建設時に撮影した画像２２０２が表示出力される。

加えて、図２２の右下の画像２２０３に示すように、操作者が入力した日時且つ位置情報の画像データを検索して表示する。この検索条件は、条件入力領域２２０４に位置情報及び日時を入力することによって、検索装置１０３が当該公物を撮影している入力日時以前の最近の画像を表示出力することができる。

このように本実施例による画像検索システムは、これにより、最近の画像２２０２とある時点以前の最近の画像２２０３を比較表示することができる。本実施例によれば、紙ではなくインタラクティブに位置や年度の異なる画像を抽出できるため、初期台帳としてだけではなく、任意の過去の点検データを表示する点検台帳として利用することができる。

また、本実施例によれば、道路・橋梁・トンネル等の公物の点検台帳及び初期台帳を作成する際、作業員がその場に徒歩で赴いて写真を撮影する必要が無く、カメラを測定車１８０４が撮影する道路走行しながら動画を撮影することで、低コストで簡易に高頻度に画像を検索することができる。
この様に第４実施例による画像検索システムは、橋梁・道路・設備等の公物の維持管理等や、補修工事・作業・保全・点検などの分野の業務に適用できる。

１０１伝送装置、１０２被写領域管理装置、１０３検索装置、
１０４記憶装置、１０５入力装置、１０６出力装置、１０７バス、
１０８監視カメラ、１０９地図データ、１１０画像インデクスデータ、
１１１画像データ、１８０４測定車、１９０２フロントガラス、
１９０３ダッシュボード、１９０４携帯端末、１９０５端末ホルダ、
１９０８監視カメラ

Claims

一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報の属性が付与された画像を撮影するカメラと接続され、該カメラにより撮影した複数画像から日時及び位置を指定した画像を検索する画像検索システムであって、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶装置と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理装置と、
該被写領域管理装置に格納した画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索装置と、
前記画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力装置と、
該検索装置が検索した結果を表示出力する出力装置を備え、
前記検索装置が、入力装置から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶装置から画像インデクスデータを用いて検索することを特徴とする画像検索システム。
前記被写領域管理装置が、前記入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像か否かの判定を、
前記多角形座標の平均座標を算出する第１工程と、前記多角形座標の頂点が形成する全ての辺に対して前記第１工程により算出した平均座標及び前記入力された位置の座標が同一方向と判定したとき、前記頂点座標列内に含まれる位置と判定する第２工程によって実行することを特徴とする請求項１記載の画像検索システム。
前記被写領域管理装置が、前記多角形座標の頂点が形成する全ての辺に対して前記算出した平均座標及び前記入力された位置の座標が同一方向か否かの判定を、
前記多角形座標の頂点が形成する辺の基ベクトルと、該基ベクトルの一端の座標から前記平均座標に延びる平均ベクトルと、前記基ベクトルの一端の座標から前記入力された位置の座標に延びる入力ベクトルとを想定する第３工程と、前記基ベクトルに対して該平均ベクトルが成す回転角度と該入力ベクトルが成す回転角度の正負記号が同一か否かにより判定する第４工程によって実行することを特徴とする請求項２記載の画像検索システム。
前記被写領域管理装置が、前記記憶装置から位置情報を含む被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力し、該二次元の地図データの被写領域を指定する前記多角形座標の頂点座標列を入力装置から入力し、前記画像インデクスデータに格納することを特徴とする請求項１から３何れかに記載の画像検索システム。
一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと接続され、該カメラが移動及び又は回転しながら撮影した複数画像から日時及び位置を指定した画像を検索する画像検索システムであって、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶装置と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理装置と、
該被写領域管理装置に格納した第１画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索装置と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力装置と、
該検索装置が検索した結果を表示出力する出力装置を備え、
前記被写領域管理装置が、
前記記憶装置から前記方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程と、
前記検索装置が、入力装置から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶装置から第２画像インデクスデータを用いて検索することを特徴とする画像検索システム。
前記被写領域管理装置が、前記入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像か否かの判定を、
前記多角形座標の平均座標を算出する第１工程と、前記多角形座標の頂点が形成する全ての辺に対して前記第１工程により算出した平均座標及び前記入力された位置の座標が同一方向と判定したとき、前記頂点座標列内に含まれる位置と判定する第２工程によって実行することを特徴とする請求項５記載の画像検索システム。
前記被写領域管理装置が、前記多角形座標の頂点が形成する全ての辺に対して前記算出した平均座標及び前記入力された位置の座標が同一方向か否かの判定を、
前記多角形座標の頂点が形成する辺の基ベクトルと、該基ベクトルの一端の座標から前記平均座標に延びる平均ベクトルと、前記基ベクトルの一端の座標から前記入力された位置の座標に延びる入力ベクトルとを想定する第３工程と、前記基ベクトルに対して該平均ベクトルが成す回転角度と該入力ベクトルが成す回転角度の正負記号が同一か否かにより判定する第４工程によって実行することを特徴とする請求項６記載の画像検索システム。
一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと、公物の公物名称・属する自治体名称・築年・種類・工法・公物位置情報を含む公物情報及び建設時及び前回撮影時の撮影画像その他を格納した公物資産データベースとに接続され、該カメラが走行中の車両から公物を撮影した複数画像から日時及び位置を指定した画像を検索する画像検索システムであって、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶機能と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理装置と、
該被写領域管理装置に格納した第１画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索装置と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力装置と、
該検索装置が検索した結果を表示出力する出力装置を備え、
前記被写領域管理装置が、
前記記憶装置から前記方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程と、
前記検索装置が、入力装置から入力した日時以前であり且つ頂点座標列に囲まれる位置の画像及び最新日時であり且つ頂点座標列に囲まれる位置の画像を検索する工程と、
前記工程により検索した入力日時以前且つ頂点座標に囲まれる画像及び最新日時且つ頂点座標に囲まれる画像と、前記公物資産データベースに格納した公物情報とを出力装置に表示出力することを特徴とする画像検索システム。
前記画像が、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報を含む属性が付与された静止画像を連続して撮影した動画であることを特徴とする請求項１から４何れかに記載の画像検索システム。
前記画像が、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報を含む属性が付与された静止画像を連続して撮影した動画であることを特徴とする請求項５から８何れかに記載の画像検索システム。
一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報の属性が付与された画像を撮影するカメラと接続され、該カメラにより撮影した複数画像から日時及び位置を指定した画像を検索するコンピュータシステムにおける画像検索方法であって、
前記コンピュータシステムに、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像を格納する記憶機能と、
画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理機能と、
該被写領域管理機能により格納した画像インデクスデータを用いて記憶装置に格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索機能と、
前記画像インデクスデータの頂点座標列の入力と、前記検索機能を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力機能と、
前記検索機能が検索した結果を表示出力する出力機能を設け、
前記検索機能に、入力機能により入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶機能により記憶した画像インデクスデータから検索させることを特徴とする画像検索方法。
前記被写領域管理機能による前記入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像か否かの判定を、
前記多角形座標の平均座標を算出する第１工程と、前記多角形座標の頂点が形成する全ての辺に対して前記第１工程により算出した平均座標及び前記入力された位置の座標が同一方向と判定したとき、前記頂点座標列内に含まれる位置と判定する第２工程によって実行させることを特徴とする請求項１１記載の画像検索方法。
前記被写領域管理機能による、前記多角形座標の頂点が形成する全ての辺に対して前記算出した平均座標及び前記入力された位置の座標が同一方向か否かの判定を、
前記多角形座標の頂点が形成する辺の基ベクトルと、該基ベクトルの一端の座標から前記平均座標に延びる平均ベクトルと、前記基ベクトルの一端の座標から前記入力された位置の座標に延びる入力ベクトルとを想定する第３工程と、前記基ベクトルに対して該平均ベクトルが成す回転角度と該入力ベクトルが成す回転角度の正負記号が同一か否かにより判定する第４工程によって実行させることを特徴とする請求項１２記載の画像検索方法。
前記被写領域管理機能に、前記位置情報を含む被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力機能により表示出力し、該二次元の地図データの被写領域を指定する前記多角形座標の頂点座標列を入力機能により入力し、前記画像インデクスデータに格納することを特徴とする請求項１１から１３何れかに記載の画像検索方法。
一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと接続され、該カメラが移動及び又は回転しながら撮影した複数画像から日時及び位置を指定した画像を検索するコンピュータシステムにおける画像検索方法であって、
前記コンピュータシステムに、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶機能と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理機能と、
該被写領域管理機能に格納した第１画像インデクスデータを用いて記憶機能により格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索機能と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索装置を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力機能と、
該検索装置が検索した結果を表示出力する出力機能を設け、
前記被写領域管理機能に、
前記記憶機能により格納した方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力装置に表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程を実行させ、
前記検索機能に、
入力装置から入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像を前記記憶装置から第２画像インデクスデータを用いて検索させることを特徴とする画像検索方法。
前記被写領域管理機能による、前記入力した日時に含まれ且つ頂点座標列に囲まれる位置の画像か否かの判定を、
前記多角形座標の平均座標を算出する第１工程と、前記多角形座標の頂点が形成する全ての辺に対して前記第１工程により算出した平均座標及び前記入力された位置の座標が同一方向と判定したとき、前記頂点座標列内に含まれる位置と判定する第２工程によって実行させることを特徴とする請求項１５記載の画像検索方法。
前記被写領域管理機能による、前記多角形座標の頂点が形成する全ての辺に対して前記算出した平均座標及び前記入力された位置の座標が同一方向か否かの判定を、
前記多角形座標の頂点が形成する辺の基ベクトルと、該基ベクトルの一端の座標から前記平均座標に延びる平均ベクトルと、前記基ベクトルの一端の座標から前記入力された位置の座標に延びる入力ベクトルとを想定する第３工程と、前記基ベクトルに対して該平均ベクトルが成す回転角度と該入力ベクトルが成す回転角度の正負記号が同一か否かにより判定する第４工程によって実行させることを特徴とする請求項１６記載の画像検索方法。
一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報の属性が付与された画像を撮影するカメラと、公物の公物名称・属する自治体名称・築年・種類・工法・公物位置情報を含む公物情報及び建設時及び前回撮影時の撮影画像その他を格納した公物資産データベースとに接続され、該カメラが走行中の車両から公物を撮影した複数画像から日時及び位置を指定した画像を検索するコンピュータシステムにおける画像検索方法であって、
前記コンピュータシステムに、
地図情報及び位置情報を含む地図データ及び前記カメラが撮影した画像データを格納する記憶機能と、
前記画像データの撮影開始日時と撮影終了日時と画像の被写領域を二次元の地図上において多角形で近似したときの多角形座標の頂点の数及び頂点座標列を含む属性を管理する第１及び第２画像インデクスデータを格納し、画像の被写領域を管理する被写領域管理機能と、
該被写領域管理機能により格納した第１画像インデクスデータを用いて記憶機能により格納した地図データ及び画像データから所望の場所及び日時を指定した画像を検索する検索機能と、
前記第１画像インデクスデータの頂点座標列の入力と、前記検索機能を用いた所望の日時及び位置を指定する画像検索条件を入力するための入力機能と、
該検索機能により検索した結果を表示出力する出力機能を設け、
前記被写領域管理機能に、
前記方位情報に基づいてカメラの向きが常に地図の北側になるように回転し、カメラが平行移動したときには移動量だけ移動させた被写領域を表す二次元の地図データ及び前記カメラが撮影した画像を出力機能により表示出力する工程と、
撮影のズーム処理をしていない時間区間における頂点座標からカメラ位置座標を引き算した差の値であるカメラ位置に対する相対座標形式の頂点座標を第１画像インデクスデータに格納する工程と、
前記第１画像インデクスデータに格納した相対座標形式の頂点座標を絶対座標に変換し且つ開始日時と終了日時を該絶対座標が有効であるような微小時間区間で分割し直し、画像データＩＤを振り直し処理を行った第２画像インデクスデータに格納する工程を実行させ、
前記検索機能に、
入力装置から入力した日時以前であり且つ頂点座標列に囲まれる位置の画像及び最新日時であり且つ頂点座標列に囲まれる位置の画像を検索する工程と、
前記工程により検索した入力日時以前且つ頂点座標に囲まれる画像及び最新日時且つ頂点座標に囲まれる画像と、前記公物資産データベースに格納した公物情報とを出力機能により表示出力させる工程を実行させることを特徴とする画像検索方法。
前記画像が、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報を含む属性が付与された静止画像を連続して撮影した動画であることを特徴とする請求項１１から１４何れかに記載の画像検索方法。
前記画像が、一意のカメラＩＤと撮影の開始日時と撮影終了日時と位置情報と方位情報を含む属性が付与された静止画像を連続して撮影した動画であることを特徴とする請求項１５から１８何れかに記載の画像検索方法。