JP2010055138A - 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム - Google Patents

画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム Download PDF

Info

Publication number
JP2010055138A
JP2010055138A JP2008216121A JP2008216121A JP2010055138A JP 2010055138 A JP2010055138 A JP 2010055138A JP 2008216121 A JP2008216121 A JP 2008216121A JP 2008216121 A JP2008216121 A JP 2008216121A JP 2010055138 A JP2010055138 A JP 2010055138A
Authority
JP
Japan
Prior art keywords
data
image
unit
image data
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008216121A
Other languages
English (en)
Other versions
JP4995787B2 (ja
Inventor
Yasuhiko Miyazaki
泰彦 宮崎
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008216121A priority Critical patent/JP4995787B2/ja
Publication of JP2010055138A publication Critical patent/JP2010055138A/ja
Application granted granted Critical
Publication of JP4995787B2 publication Critical patent/JP4995787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】同じ位置において重複して撮影されたような画像のうち有効な画像だけを自動選別して蓄積し,記憶容量の削減を実現する。
【解決手段】データ評価部22は,撮影端末10から受信した画像データと同じ位置または所定の範囲内の位置で撮影された画像データが画像データ蓄積部23に既に蓄積されている場合に,受信したデータから所定の評価式に従ってそのデータの有効度の値を算出し,蓄積されているデータの有効度の値との大小比較によって,画像データ蓄積部23に蓄積されているデータを,撮影端末10から受信した新しいデータで更新するかどうかを決定する。
【選択図】図1

Description

本発明は,撮影端末で撮影された画像(または映像)を整理して蓄積する画像蓄積装置に関するものである。
デジタルビデオカメラの小型化・低価格化に伴い,これらのカメラを,自動車をはじめとした移動体に搭載することが一般化してきている。実際にこのようなカメラは,車載カメラとして製品化され市販されている。
デジタルビデオカメラで撮影された映像データ(以下,時間的に連続な画像データを「映像データ」と呼ぶ)は比較的大容量になるが,振動等に強いSDメモリカード等の大容量化に伴い,相当長い時間の映像データをデジタルデータファイルの形式で格納することも可能になっている。
また,GPS(Global Positioning System )の小型化・低価格化に伴い,このような自己位置を特定することができる機器も,自動車をはじめとした移動体に搭載することが一般化してきている。
一方で,撮影されたデータに対しては,ハードディスク装置(HDD)等の大容量化・低価格化に伴い,やはりデジタルデータファイルの形式で,オフィス・データセンタ等に設置されたパーソナルコンピュータ(PC)やサーバ機器にコピーをして,長時間分の撮影データを蓄積することが可能になっている。
これらの従来技術により,車載カメラで撮影され,SDメモリカード等に蓄積された映像データを,そのまま撮影者によりサーバ等のHDDへ順次ファイルとしてコピーしていった場合,それだけではそのファイル名等を知らない限り,記録した映像データを有効に利用することができない。
これに対しては,例えば下記の特許文献1では,GPSから得られた位置情報を画像情報と同期させて記録する方法が考えられており,この方法を用いることにより,車載カメラで撮影された映像データのフレーム番号と,その時点で取得した位置情報とをセットで記録しておくことによって,利用者により指定された緯度・経度等の位置情報から指定された距離範囲内にある映像データの対象フレーム画像を検索するシステムを,容易に構成することができる。なお,フレーム番号は,映像データ中の何番目の画像データかを示す番号であり,フレーム番号が特定されることにより,映像データ内の画像データが特定される。
また,画像処理技術の発達により,映像データファイルから直接的に取得できる画素数,フレームレート(映像1秒当たりが何フレームの画像から構成されているかを示す値)や,画素値から簡単に算出できる画像の明るさといった特徴量のほかに,映像内における動き(カメラワーク)を抽出することが可能であり,さらに画像認識によりオブジェクトを検出することも可能である。
また,特許文献2の主に段落0037から段落0047には,映像における隣接フレーム間において,画像全体の類似度による全体変化量と局所的な類似度による局所集合変化量という2種類の特徴量を求めることによって,手ぶれと急激なカメラワークを検出する技術が記載されている。
特許文献3の主に段落0041から段落0049には,あらかじめ撮影された画像(登録用画像)から特徴点を抽出して学習マップを用意しておき,それを入力画像(認識用画像)から抽出された特徴点を,ずらしマッチング処理を行うことにより探索し,画像認識を行う技術が記載されている。
また,非特許文献1に記載の方法によれば,指定された文字列が含まれる画像の検索を行うことが可能であり,この方法を使うことによって,画像中の案内標識,看板(文字看板)等に特定の文字列が含まれるかどうかを自動認識することができる。
特開平7−123348号公報 特開2000−261757号公報 特開2007−299364号公報 「画像インデクシングを目的としたテキスト領域抽出不要の景観中文字認識」,電子情報通信学会 信学技報 PRMU2004-89 (2004-10) ,p.37-42
しかしながら,従来の技術では,複数の撮影者により長期間にわたって繰り返し撮影を続けることにより,サーバに蓄積されるデータの更新がなされることに関しての考慮がなされていない。
すなわち,同一市町村内や担当営業地域内など,一定の地域内で繰り返し車を走らせるような業務を行っている業種は,物流業者・タクシー事業者・設備や道路の維持管理工事業者など多々あり,これらの車に搭載したデジタルビデオカメラにより撮影を行ってくると,対象地域を網羅した画像データが取得できるはずである。しかしながら,単純に撮影した画像データをサーバに逐次追加して記憶していくと,いかにHDD等の外部記憶装置が大容量化しているとはいえ,一方的に増加していくため,簡単にサーバの記憶容量限界を超えてしまう。
また,他の課題として,位置を指定して画像検索を行った場合,特にそれが幹線道路等の撮影者が頻繁に通る位置であったときに,検索結果として条件に合致するデータが不必要なまでに数多くヒットしてしまうという問題もある。
以上のような問題への対策として,サーバの容量を一定に保つために,同時に取得された位置情報をもとに,同一位置(もしくは,ある閾値距離以内)のデータが既にサーバ存在する場合には,古いデータを削除して新たに撮影されたデータのみを記憶することが考えられる。また,検索における結果を絞り込むために,撮影時刻あるいはサーバへの更新時刻が新しいもののみを検索結果としてヒットさせることも考えられる。
しかしながら,例えばある日に撮影した画像データは晴れた日中で画像が鮮明に映っており,その翌日に同一地点から撮影した画像データは雨天の夕暮れ時で画像が不鮮明というような場合もあり得る。このようなケースがあることを考えると,最新のデータだけを蓄積したり,最新のデータだけを検索結果としてヒットさせる方式では,不鮮明な翌日のデータが参照されるようになってしまうという課題が生じる。
この例の場合,2日間の撮影者が同一であった場合には,その撮影者の判断として,翌日のデータはサーバに登録しないといった対処方法は可能であるが,多人数の撮影者がいる場合には,いちいち上書き登録すべきか否かの確認を行うことは大きな作業負担となるという課題がある。
本発明は,以上のような課題を解決し,画像の利用者にとって有効なデータだけをサーバに簡単に登録することができるようにすることを目的とする。
本発明は,上記課題を解決するために,受信したデータからそのデータの有効度を算出する評価部を設け,その評価結果に応じてサーバ登録時に上書きして登録すべきか否かを自動的に判断する。
詳しくは,本発明は,撮影端末で撮影された画像を受信し,蓄積する画像蓄積装置(データ処理サーバ)であって,画像データとその画像データに対応付けられた撮影位置を示す位置データとを含むデータを,前記撮影端末から受信するサーバデータ受信部と,前記撮影端末から受信したデータを蓄積する画像データ蓄積部と,前記サーバデータ受信部により前記撮影端末からデータを受信したときに,既に同じ位置または所定の範囲内の位置で撮影された画像データが前記画像データ蓄積部に蓄積されている場合には,受信したデータから所定の評価式に従ってそのデータの有効度の値を算出し,蓄積されているデータの有効度の値との大小比較によって,前記画像データ蓄積部に蓄積されているデータを前記受信したデータで更新するかどうかを決定するデータ評価部とを備えることを特徴とする。
これによって,画像データ蓄積部に蓄積する価値の小さい不要なデータが蓄積されることを回避することができるようになる。
前記データ評価部が用いる評価式としては,前記有効度の値が,所定の区間内の連続する画像データからなる映像のフレーム数が大きいほど大きくなる評価式,もしくは前記映像の解像度が大きいほど大きくなる評価式,もしくは前記映像に含まれるピクセルの明度の平均値が大きいほど大きくなる評価式,もしくは前記映像における各フレームの明度差の平均値が大きいほど大きくなる評価式,もしくは撮影日時が新しいほど大きくなる評価式,もしくはカメラワークが安定しているほど大きくなる評価式,またはこれらの評価式のうち複数を組み合わせた評価式を用いることできる。
これにより,鮮明な画像データを優先的に画像データ蓄積部に蓄積することができるようになる。
さらに,前記画像蓄積装置は,前記撮影端末から受信したデータ内の画像データに写っているオブジェクトを認識するデータ認識部と,前記データ認識部が認識した認識結果を蓄積する認識データ蓄積部とを備え,前記データ評価部は,前記データの有効度の値の算出において前記認識データ蓄積部に蓄積された認識結果を利用し,認識率が大きいほど有効度の値が大きくなる評価式を用いて有効度の値を算出するように構成してもよい。
被写体である何らかのオブジェクトに対する認識率が高い画像データは,鮮明な画像データであることが多いので,認識率を有効性の判断に用いることにより,適切な画像データを画像データ蓄積部に蓄積することが可能になる。
また,前記発明において,前記データ評価部は,前記画像データ蓄積部に蓄積する同じ位置または所定の範囲内の位置で撮影された画像データの個数を最大n個(ただし,nは1以上の整数)とし,前記受信したデータの有効度の値が,前記画像データ蓄積部に蓄積されている同じ位置または所定の範囲内の位置で撮影された画像データを含むデータの有効度のn番目に大きい値より大きい場合に,その蓄積されているデータのうち最も有効度の小さいデータを削除して前記受信したデータを前記画像データ蓄積部に保存し,小さい場合に,前記受信したデータを前記画像データ蓄積部に蓄積しないで棄却するように構成することもできる。
これによって,nの設定値に応じた量の有効な画像データの蓄積が可能になる。
また,前記発明において,前記データ評価部は,前記画像データ蓄積部に,連続する画像データのうち所定の区間内の画像データを保存するときに,前記区間の起点から終点までの上り方向と下り方向とを区別しないで同じ位置または所定の範囲内の位置であるか否かを判断するように構成することもできる。
車載カメラで撮影した画像のような場合,画像データ蓄積部に蓄積する画像データの用途によっては,上り方向と下り方向とを区別したほうがよい場合もあるが,区別する必要がない場合には,画像データ蓄積部に蓄積する画像データの量を少なくすることができる。
また,前記発明において,前記データ評価部は,異なる時間帯,曜日,期日または期間に撮影された画像データについては,別々に前記データの有効度の値の算出および有効度の値の大小比較を行うように構成することもできる。
これによって,例えば昼に撮影された画像と,夜に撮影された画像,もしくは通勤時間帯に撮影された画像などのように,異なる時間帯の画像データを別々に蓄積することができるようになる。あるいは,平日/休日で分けることや,降雪地域では,12月から3月頃までの降雪季節とそれ以外の季節に分けるというようなことも同様に可能である。
また,画像蓄積システムは,前記画像蓄積装置を備えるとともに,画像を撮影する撮影部と,撮影時の位置情報を取得する位置取得部と,前記撮影された画像データと前記取得された位置データとを対応付けて蓄積する端末蓄積部と,前記端末蓄積部に蓄積されたデータを前記画像蓄積装置へ送信する端末送信部とを有する撮影端末を備える。
前記画像蓄積システムにおいて,前記撮影端末と前記画像蓄積装置との間に,前記撮影端末からのデータを無線LANインタフェースにより受信するアクセスポイントデータ受信部と,受信したデータを前記画像蓄積装置に送信するアクセスポイントデータ送信部とからなるデータ中継器を備える構成としてもよい。
このデータ中継器を備える画像蓄積システムでは,撮影端末として携帯電話などを利用する場合に比べて,撮影端末の通信コストを削減することができる。
本発明によれば,同じ位置において重複して撮影されたような画像のうち,鮮明な画像だけを蓄積することができるようになり,画像の利用者にとって有効なデータを少ない記憶容量で保存することができるようになる。
以下,本発明を適用した画像蓄積装置の実施の形態を図面を用いて詳細に説明する。
図1は,本発明の実施の形態に係るシステム全体の構成例を示している。図1において,10は車載カメラやカメラ付き携帯電話その他の撮影端末,20は撮影端末10で撮影された画像を蓄積する画像蓄積装置であるデータ処理サーバ,30は無線LANでの通信をインターネットに中継するデータ中継器である。撮影端末10が,直接,電話網や通信網を介してデータ処理サーバ20と通信を行えるような構成の場合には,データ中継器30は設けなくてもよい。
撮影端末10は,撮影部11,位置情報取得部12,端末蓄積部13,端末データ送信部14を備える。これらの詳細については後述する。
データ処理サーバ20は,サーバデータ受信部21,データ評価部22,画像データ蓄積部23,データ認識部24,認識データ蓄積部25を備える。これらの詳細についても後述する。
データ中継器30は,撮影端末10から通信要求を受け付けるアクセスポイントデータ受信部31,要求された通信データをインターネット等を介してデータ処理サーバ20へ送信するアクセスポイントデータ送信部32を備える。
図2は,撮影端末10の構成例を示している。この例では,撮影端末10の本体部として,フラッシュメモリ130を内蔵した小型可搬PC(パーソナルコンピュータ)100を用い,図1の撮影部11としてデジタルカメラ110,位置情報取得部12としてGPS装置120,端末データ送信部14としてデータ通信用携帯電話140を用いている。フラッシュメモリ130は,端末蓄積部13として用いられている。デジタルカメラ110,GPS装置120,データ通信用携帯電話140は,USBケーブル等により,小型可搬PC100に接続される。もちろん,本発明は,これらの機器を一体型として組み込んだものを撮影端末10として実施することも可能である。
デジタルカメラ110は,車両のダッシュボードやフロントグリル内など,前方外部が撮影できる位置に固定して設置される。また,GPS装置120も,GPS衛星からの電波を受信可能なダッシュボードや車外の天井等に設置される。小型可搬PC100とデータ通信用携帯電話140も車内の運転に支障がない場所に固定して設置される。
デジタルカメラ110により撮影された,2次元配列上の画素(ピクセル)ごとのRGB値の数値データに変換された画像データは,逐次,JPEG形式の瞬間ごとの画像に変換され,それらのデータを一定時間分まとめたモーションJPEG形式のファイルとしてフラッシュメモリ130を利用した記憶ドライブに格納される。あるいは,連続した画像が1つの映像としてMPEG形式のファイルに変換されて,フラッシュメモリ130を利用した記憶ドライブに格納される。このようなモーションJPEGあるいはMPEGといった標準形式のファイルとして映像データを保存するための手段は,市販されているPC上のソフトウェアを利用して実現することもできる。
GPS装置120からも,逐次,GPS衛星からの電波を受けて算出された自己位置のデータが小型可搬PC100に送られてくる。自己位置のデータは,決められた様式のテキストデータとして送られてくるので,そのテキストデータを小型可搬PC100上のソフトウェアで解析することにより,緯度・経度のデータを取り出すことができる。その時点で,デジタルカメラ110から取得し映像ファイルとして書き込みを行っている映像のファイル名とフレーム番号とともに,緯度・経度のデータを,例えば図3のような表形式の画像データ管理テーブルに,1レコードずつ書き込む。あるいは,図3のようなデータを表すカンマ区切りのテキストファイル等に1行ずつ書き込むといった実施も可能である。
図3に示す画像データ管理テーブル(あるいはテキストファイル)は,映像ファイルのファイル名,フレーム番号,撮影時刻,緯度,経度等のデータ項目により構成され,フラッシュメモリ130上のファイルとして格納される。このように,端末蓄積部13は,フラッシュメモリ130上に撮影された画像データと取得された位置データを共に蓄積するように構成できる。
この小型可搬PC100に接続したデータ通信用携帯電話140を用いて,インターネットにこの端末を接続し,やはりインターネット上に接続されたデータ処理サーバ20に対して,データ通信用のコネクションを確立することができる。このようにして確立されたデータ通信コネクションを通じて,フラッシュメモリ130上に蓄積された画像データと位置データを,データ処理サーバ20に転送する。特に,標準化されたHTTPプロトコルを利用し,データ処理サーバ20上のHTTPサーバプロセスに対してデータを送信するソフトウェアを,撮影端末10を構成する小型可搬PC100上に実装することは容易である。
この場合に,データ送信のためのHTTPリクエストに対する正常・異常を示すリターン値を定めておくことにより,データ処理サーバ20が確実にデータの転送を受けたか否かを送信側である小型可搬PC100上のソフトウェアが判断できるので,処理異常時にはリトライを行い,処理正常時には送信済みのデータをフラッシュメモリ130から削除するという構成をとることができる。
図4は,撮影端末10の他の構成例を示す図である。図2で説明した撮影端末10との差異がある部分は,撮影端末10からのデータ送信方式にあり,図2の撮影端末10では,端末データ送信部14としてデータ通信用携帯電話140を用いていたのに対し,本実施例では,無線LANカード141を用いている。他のデジタルカメラ111,GPS装置121,フラッシュメモリ131,小型可搬PC101の部分は,図2に示すものとほぼ同様である。
無線LANカード141を用いる場合,データ通信用携帯電話140とは異なり,無線LANアクセスポイントの電波範囲内という限られた場所でのみ利用可能であるため,撮影端末10の処理としては,あらかじめアクセスポイント(データ中継器30)の位置を登録しておき,位置情報がその範囲内に入ったときにデータ通信用コネクションを確立するようにしておく。あるいは,撮影端末10上に利用者が操作できる「通信ボタン」を配置し,そのボタンが押されたときに接続するようにするという実施例も考えられる。
データ中継器30は,無線LANカード141を用いた無線LANインタフェースでの通信をインターネットに中継するもので,このような機能を持った装置は市販されている。また,このようにして送信されるデータは,図2の撮影端末10を用いた場合と変わらないため,データ処理サーバ20はまったく同じ構成で実施できる。
図4に示す撮影端末10では,一般に通信コストが高く通信速度も低速な携帯電話を使わないので,コストと通信速度の面で有利であるという効果がある。
図5は,図4に示す撮影端末10を用いるときに利用するデータ中継器30の構成例を示している。
本実施例におけるデータ中継器30は,撮影端末10からの無線LANアクセスポイント301と,インターネット50に接続するためのネットワークカード(イーサネットカード)303と,これらを制御する制御用CPU302から構成される。このようなデータ中継器30としては,市販されている既存のものを用いることができる。
次に,データ処理サーバ20の実施例について説明する。図6は,データ処理サーバ20のハードウェア構成例を示している。
データ処理サーバ20は,図6に示すように,プログラム格納域202に格納された命令をフェッチして実行するCPU201,磁気ディスク装置(HDD)203,メモリ204,インターネット50に接続するためのアダプタであるネットワークカード205などからなる汎用的な計算機を用いて構成され,これらのハードウェアとプログラム格納域202に格納されるソフトウェアプログラムとによって,図1に示すサーバデータ受信部21,データ評価部22,画像データ蓄積部23,データ認識部24,認識データ蓄積部25が実現される。
このうち,データ処理サーバ20における画像データ蓄積部23としては,汎用的なデータベースマネージメントシステム(DBMS)を利用し,図7のようなテーブルを構成することで実現する。すなわち,画像データ蓄積部23には,単位映像データ(詳細は後述),撮影時刻,起点と終点のそれぞれの緯度・経度のデータなどが格納される。なお,この例では,映像データそのものをテーブル上の1つのカラムとして格納する方式としているが,他の実施例として,映像データは通常のファイル形式としておき,DBMS内のテーブルには,そのファイル名を管理することで同様に本発明を実施することも可能である。
図8は,サーバデータ受信部21の処理フローチャートである。サーバデータ受信部21は,上記で説明した撮影端末10の端末データ送信部14の実施例に対応して,図8のような処理の実行機能を持つ。
サーバデータ受信部21は,まずステップS1において,端末データ送信部14から送られてきたHTTPリクエストを受信し,ステップS2では,HTTPプロトコルにより送信されてくる映像データと位置データとを,それぞれデータ処理サーバ20内に映像ファイル40,位置情報テキストファイル41の一時ファイルとして復元する。
次に,ステップS3により,エラーなく復元できたかどうかを判定し,正常に復元できた場合には,ステップS4により,データ評価部22に対してファイル受信があったことをファイル名と共にイベント情報として通知する。また,撮影端末10に対しては,ステップS5により,処理途中での異常の有無を返却する。
図9は,データ評価部22の処理フローチャートである。なお,ここでは主に分割された単位映像ごとにデータを評価する例を説明するが,もっと単純に各フレームの画像ごとにデータを評価する実施も可能であることは,以下の説明から明らかである。
データ評価部22は,ステップS10にて,サーバデータ受信部21からイベントの通知を受けて処理を開始する。まず,ステップS11では,一時ファイルとして保存されている映像ファイル40と位置情報テキストファイル41のデータから,単位映像に分割する処理を行う。ここで単位映像とは,撮影された地域の道路をあらかじめ区切った単位のことをいう。
図10は,単位映像区間の説明図である。映像区間は,図10(A)に示すように各交差点で区切ることや,図10(B)に示すように交差点とは無関係に一定間隔で区切ることなどが考えられる。さらに,極端な場合として,図10(C)に示すように一地点ごと(映像の1フレーム画像)に区切ることも考えられる。
映像ファイル40に格納されている映像を単位映像に分割するためには,映像内の各フレームごとの位置情報が必要であるが,映像取得の間隔(すなわち映像のフレームレート)と位置情報取得の間隔が異なり,フレーム番号に対応する位置情報がないこともあり得る。しかし,その場合には,前後のフレームのうち位置情報が付与された情報を利用して,比例配分などの計算式によって近似することで,各フレームに対する位置情報を付与できる。
なお,図10(A)および(B)のような区切りを行う例の場合には,あらかじめ,対象となる地域の道路地図データなどを保持しておき,映像中の各フレームの画像が,どの道路地点のデータであるかを検索する。このとき,一般にGPSで取得される位置には誤差があるので,もっとも近い道路上の位置にマッピングさせる。あるフレームの位置をマッピングした道路位置が属する道路区間が,その前のフレームの位置をマッピングした道路位置が属する区間と異なる場合には,そのフレーム間に区切り位置あると判断できるので,そのフレーム位置で映像を分割する。このような処理により,映像分割を実施することがてきる。
以下の実施例の説明では,区切りの区間の距離を数十メートル程度と考え,それぞれ区切られた区間は,起点と終点の緯度・経度で唯一に指定できる(起点終点間に迂回路がない)という条件が成り立つという想定で説明する。以上のような条件が成立しない場合にも,道路ID番号を付与するとか,中間経由地の緯度・経度を付与するとかいう方法により,本発明を実施することができる。
さらに,区間ごと(一地点ごとに区切る場合には映像内の画像ごと)に下記の処理(S121〜S126)を繰り返す。まず,ステップS121では,対象の区間と同一のデータが,画像データ蓄積部23内に存在するかどうかを検索する。これは,DBMSの機能により,起点と終点の緯度・経度を条件として検索することにより実現できる。ステップS122の判定により,もし,条件に合致するデータがない場合には,ステップS123へ進み,新たな分割映像の区間データを追加登録して,繰り返し処理に戻る。追加登録もDBMSの機能を用いて実現できる。
条件に合致するデータが存在する場合には,ステップS124へ進み,蓄積データと新たなデータのそれぞれに対して,有効度を計算する。新たなデータの有効度をA,蓄積データの有効度をBとして説明する。
有効度の計算方法の一例を図11に示す。この例では,フレームレートが高い,解像度が高い,明るい(悪天候や夕暮れ時等の撮影ではない),コントラストがはっきりしている,最近撮影された,といった条件ほど有効であるとし,これらの数値に加重係数を掛けた上で合計するといった比較的単純な式により計算することとしている。
ステップS30では,区間映像のフレーム数(またはフレームレート)を有効度Afrとする。ステップS31では,区間映像の解像度をAres とする。区間映像の解像度は,1フレームの縦ピクセル数×横ピクセル数である。次に,ステップS32では,明るさに着目した有効度Abrを,区間映像の各フレームの各ピクセルの明度の平均値として算出する。
br=Σf Σx Σy Y(f,x,y)/(フレーム数×縦ピクセル数×横ピクセル数)である。ただし,NTSC系加重平均法と呼ばれる下記の式で,画素のRGB値から明度Yを計算する。すなわち,fフレーム目の(x,y)画素の明度をY(f,x,y)としたとき,Y(f,x,y)を次の式で算出する。
Y(f,x,y)=0.298912*R(f,x,y)+0.586611*G(f,x,y)+0.114478*B(f,x,y)
次のステップS33では,区間映像の各フレームの明度差の平均値を,コントラストに着目した有効度Acon として算出する。
con = Σf {Ymax (f)−Ymin (f)}/フレーム数
として算出される。ただし,Ymax (f)はフレームfにおける明度の最大値,Ymin (f)はフレームfにおける明度の最小値である。
ステップS34では,ある基準日時からの経過秒数を,撮影日時に関する有効度Atiとする。なお,基準日時は最も古い撮影日時より古い時点であれば,いつでもよい。
最後に,ステップS35では,以上を総合した有効度Aを,次式により算出する。
A=ΣCi ×Ai
ここで,Ai は,ステップS30〜S34で算出したAfr(フレーム数に着目した有効度),Ares (解像度に着目した有効度),Abr(明るさに着目した有効度),Acon (コントラストに着目した有効度),Ati(撮影日時に着目した有効度)である。また,Ci は,あらかじめ定められた各Ai の評価項目に対する加重係数である。
図9のステップS125で,新たな映像データの有効度Aのほうが,蓄積データの有効度Bより高いと評価された場合には,ステップS126へ進み,DBMSの機能を用いて画像データ蓄積部23に蓄積されている蓄積映像を削除し,新たな分割映像を画像データ蓄積部23に登録する。すなわち,画像データ蓄積部23に蓄積されている同一位置の映像データを,新たな映像データに更新する。なお,画像データ蓄積部23に新たな映像データを格納するとき,その有効度Aを蓄積データの有効度Bとして保存しておくようにしてもよい。
ステップS125の有効度の評価において,蓄積データの有効度Bのほうが高い場合には,新たな映像データは画像データ蓄積部23に登録しないで棄却する。以上のステップS121〜S126を,分割された映像ごとに繰り返す。
図11に示したような有効度の算出方法で用いる計算式は,本発明の具体的な使用目的に応じて,適当な式に変更して実施することもできる。以下に,その具体的な変更例を挙げる。
例えば,明るさに関しては,図11の例では,明るいほど「Abr」の値が大きくなるようにしているが,明る過ぎる画像が必ずしも望ましくない場合もあり得る。これを考慮して,理想とする期待値との差を「Abr」の値として計算してもよい。なお,この場合には,期待値に近いほど数値が小さくなるため,加重係数としては,マイナス値を取るようにすることで,期待値に近いほど有効度が高く評価されるようにできる。すなわち,
br=区間映像の各フレームの各ピクセルの明度の期待値からのずれの平均値
=Σf Σx Σy abs(Y(f,x,y)−Y0 )/(フレーム数×縦ピクセル数 ×横ピクセル数)
である。ただし,abs()は,絶対値を求める関数,Y0 は理想とする明度の値である。
また,コントラストについては,図11の例では,最大値と最小値のみを利用して評価するため,ごく限られた画素のみが極端に明るかったり極端に暗かったりすることがあり,不適切に「Acon 」の値が高く評価されることがあり得る。そこで,画素全体の明度を統計処理することにより,明度の分布の指標となる標準偏差を算出することができるので,その指標を「Acon 」の値として利用する実施も好適である。すなわち,
con =区間映像の各フレームの明度の標準偏差の平均値
=Σf {σ(f)}/フレーム数
である。σ(f)は,フレームfにおける明度の分布Y(f,x,y)を統計処理して求めた標準偏差である。この値は,偏りが少ない(つまり明度が満遍なく分散している)ほど大きな数値となるため,有効度が高くなる。
さらに,これらの値は,その有効度合いに応じて,そのままの値で使用するのではなく数学的な計算を施してから求めることもできる。例えば,撮影日時についての有効度「Ati」の値の算出においては,現在日時との差を,1ヶ月ごとに値が半減するような計算式により算出することもできる。
ti=(1/2)**(現在日時−撮影日時)
なお,ここで**は巾乗を表し,日時は月単位に換算して算出するものとする。
つまり,非常に新しい画像と比較して,有効度が1ヶ月前の画像は1/2,2ヶ月前の画像は1/4,3ヶ月前の画像は1/8となるような算出式を用いてもよく,これは『現在の画像か1ヶ月前の画像か』の差は大きいが,『1年(12ヶ月)前の画像か1年1ヶ月(13ヶ月)前の画像か』の差はあまり影響がないというような場合には,有用な値となる。
また,上記の例では,「Abr」の値や「Acon 」の値などは,映像を構成する全画像をもとに算出する方法を述べているが,車載カメラからの画像では連続的に撮影されるため,隣接する画像間において大きな値の変化が少ないと考えられる。そこで計算量を削減するために,次に述べる方法1〜方法3などのように,一部の画像のみを対象として算出するような実施も好適である。
〔方法1〕先頭,最終などの特定のフレーム番号の画像の情報のみを使用する。
〔方法2〕評価時にランダムに指定されたフレーム番号の画像の情報のみを使用する。
〔方法3〕フレームレートを下げて(例えば30fpsの映像に対して,30フレームずつ飛ばすことによって1fpsとする)から平均値を計算する。
他に有効度に基づいて画像データを更新するかどうかを決定する方法として,次のような方法を用いる実施も好適である。
(1)保存する画像データを有効度の最も高い1つだけにするのではなく,最大n個としておき,新たな画像に対して有効度が,既存の有効度のn番目より大きければ,新たな画像を追加して,n番目(既存のうちもっとも有効度の低いもの)を削除する。これにより,同一の位置について種々の環境条件に応じたn個の画像データが保存されることになり,利用者が必要とする適切な画像データが上書きされてしまう確率が小さくなる。
(2)上記の例では,位置情報を起点と終点の緯度・経度としているので,実際には,同じ区間でも上下は別々になる。これをわざと上下同一視するようにして,上り下りで有効度の高いもの1つだけにする。こうすることにより,記憶装置に蓄積する画像データの蓄積量をさらに小さくすることができる。
(3)画像データに,位置情報の他に撮影時刻の時刻情報も付加し,蓄積する画像データを位置情報で分けるだけでなく,時間帯で分ける実施も可能である。つまりデータ上に,「時間帯」というカラムを設け,それもキーとすることにより,「昼」と「夜」を別々に蓄積するというように実施することができる。同様に,平日/休日で分けることや,特定の期日や季節で分けるなど,時間的に異なる状況があり得る場合に,それらを時間情報のキーを用いて別々に蓄積し管理するような実施も可能である。
(4)一度計算した有効度の評価値を画像データ蓄積部23に保存しておくことにより,新たなデータが送信されてきたときに,既存データの有効度を計算し直すのではなく,その保存されたデータを使うことができる。
次に,データ処理サーバ20が,撮影端末10から受信した画像データからその画像データ内のオブジェクトを認識するデータ認識部24を用い,認識結果について認識データ蓄積部25に蓄積する実施例について説明する。
図12は,本実施例におけるデータ評価部22の処理フローチャートである。前述した図9の処理フローチャートと全体的な処理の概要は同様である。ただし,本実施例では,ステップS224における有効度の算出において,データ認識部24による認識結果を評価値として用いる点が異なる。以下では,この違い部分について詳述する。
画像データあるいはその連続した画像列からなる映像データから特徴量を抽出して,有効な認識を行う技術は多く考案されている(特許文献2,特許文献3,非特許文献1など)。これらの技術を用いて,画像データを入力すると認識結果を出力するソフトウェアライブラリを構成することは可能であり,本実施例におけるデータ認識部24は,このソフトウェアライブラリを用いて実施される形態とすることができる。具体的には次のように実現することができる。
特許文献2によれば,映像における隣接フレーム間において,画像全体の類似度による全体変化量と局所的な類似度による局所集合変化量という2種類の特徴量を求めることによって,手ぶれと急激なカメラワークを検出することが可能となる。車載カメラからの映像の場合,車の発進・停止時や障害物を乗り越える際の揺れ,あるいはカメラ設置の不備による画像の揺れが「手ぶれ」に相当すると考えられる。これにより,手ぶれ区間が,元となる映像区間中に占める割合(%)を計算できる。この値を100%から引くことで,対象映像区間中の非手ぶれ区間率(つまり有効な区間の割合)を算出することができる。特許文献2の方法は,計算機上のソフトウェアによって実現可能であるので,映像データを入力として,この非手ぶれ区間率を出力するソフトウェアライブラリの構築は可能である。
特許文献3によれば,あらかじめ撮影された画像(登録用画像)から特徴点を抽出して学習マップを用意しておき,それを入力画像(認識用画像)から抽出された特徴点を,ずらしマッチング処理を行うことにより探索し,画像認識を行うことができる。そのため,あらかじめ交通標識や特定の形状の看板(コンビニエンスストアやレストラン等のロゴ看板)等のオブジェクトを登録用画像として用意しておくことにより,これらのオブジェクトが認識用画像中に存在するか否か,存在する場合には画像上のどの位置にあるかを算出することが可能となる。
図13は,データ認識部24の処理フローチャートである。データ認識部24は,認識用の位置情報付き映像データ60(=連続する画像データ)を入力すると,繰り返し処理によって画像データを1フレームずつ取り出して各フレームにどのオブジェクトがどの位置にあるかを判定する。そのため,まずステップS50において,位置情報付き映像データ60をフレームごとの画像データに分離する。次に,ステップS51では,前述した特許文献2,特許文献3,非特許文献1などに記載された技術を用いて画像認識を行い,認識のための登録用画像として用意されたオブジェクト(認識対象物)があれば,それを認識結果とする。ステップS52では,認識結果をメモリ領域上の認識結果テーブル61に保存する。
図14(A)は,認識結果テーブル61の例を示している。ここでは,道路標識を認識対象のオブジェクトとしている。認識結果テーブル61は,図14(A)に示すように,フレーム番号と,認識されたオブジェクト種別(またはオブジェクト名など),認識されたオブジェクトのフレーム内の位置を示すオブジェクト位置,そのオブジェクトの縦横のサイズを示す大きさなどの情報を保持する。
ステップS53では,最終フレームまで認識が終了したかどうかを判定し,最終フレームまで処理していなければ,ステップS50へ戻り,同様にフレームごとの画像認識を繰り返す。
最終フレームまで認識が終了したならば,次にステップS54において,これまでの認識結果のうち不要となるものの条件に合致するかどうかを判定する。ここでは,例えば次のような条件がすべて満たされたものを,不要な認識結果と判断する。
〔条件1〕連続した隣接フレームに同じオブジェクト種別がある。
〔条件2〕オブジェクト位置の差が所定の閾値以下である。
〔条件3〕条件1および条件2を満たす対象の中で大きさが最大でない。
認識結果テーブル61のレコードにおいて,以上の条件1〜3がすべて満たされれば,ステップS55へ進み,そのレコードを認識結果テーブル61から削除する。この処理により,例えば図14(A)に示す認識結果テーブル61において,第N−1フレームの「止まれ」のレコード,第Nフレームと第N+1フレームの「右折禁止」のレコードが削除されることになる。
ステップS56において,認識結果テーブル61の最終レコードまでの削除条件のチェックを行ったかどうかを判定し,未チェックのレコードがあれは,同様にステップS55に戻って処理を繰り返す。すべてチェックしたならば,ステップS57へ進む。
ステップS57では,認識結果テーブル61に残った各レコードのフレーム番号を,映像データに付加された位置情報をもとに,緯度・経度の情報に変換し,結果をオブジェクト認識結果62として出力する。図14(B)は,その出力されたオブジェクト認識結果62の例を示している。このオブジェクト認識結果62は,認識データ蓄積部25に蓄積される。
上記ステップS54,S55の処理について,具体例に従って,さらに詳しく説明する。
図15は,隣接フレームに移る同一オブジェクトの例を示している。図中のRが「右折禁止標識」として認識された領域を示している。図15に示すように,車載カメラからの映像の場合,隣接する複数のフレームで,同一の標識等が映っていることが一般的なため,隣接する複数のフレームで同じオブジェクトの認識結果が画像上近接した位置として出力される。
このように,隣接フレーム間で「同一種のオブジェクトでありその画像上の位置の差がある閾値以下」という条件のオブジェクトに対しては,もっとも大きく撮影されている出力結果,すなわち認識結果の画像上の大きさが最大な出力結果を残して,他のフレームにおける認識結果は削除する。一般には,前方に設置された車載カメラの場合,走行に従ってオブジェクトがだんだん大きくなり,最後はフレームアウトしていくため,オブジェクトが撮影されている最終フレームの認識結果が残ることになる。
本実施例においては,映像データには緯度・経度といった位置情報が付与されているため,残ったフレーム番号をその位置情報に直すことにより,認識された各オブジェクトの位置(正確に言うと,道路上,そのオブジェクトがもっとも大きく見える位置)が取得できる。このようにして,入力された位置情報付きの映像データに対して,その映像から抽出できる単数または複数のオブジェクトが,そのオブジェクトの位置(正確に言うと,道路上,そのオブジェクトがもっとも大きく見える位置)データと共に出力される。
また,上記ステップS51における画像認識において,非特許文献1に記載の方法によれば,指定された文字列が含まれる画像の検索を行うことが可能であり,この方法を使うことによって,地名等の特定の文字列が画像上に存在するか否か,存在する場合には画像上のどの位置にあるか,を算出することが可能となる。このため,入力された位置情報付き映像データ60に対して,その映像から抽出できる単数または複数の地名等の文字列が,その文字列の位置(正確に言うと,道路上,その文字列がもっとも大きく見える位置)データと共に出力されるソフトウェアライブラリを構築することができ,そのソフトウェアライブラリによって,データ認識部24を構成することができる。
図16は,認識データ蓄積部25の構成例を示している。認識データ蓄積部25は,撮影された画像の位置を示す緯度経度,オブジェクト種別,画像内のオブジェクト位置,オブジェクトの大きさなどの情報を管理するデータべースマネージメントシステム(DBMS)によって構成される。
図17には,前述したデータ認識部24の認識結果を用いたデータ評価部22における有効度算出処理の一例を示している。
まず,ステップS40〜S42により,映像データより取得できる評価値を求める。ステップS40では,区間映像のフレーム数を,フレーム数に関する有効度Afrとする。ステップS41では,区間映像の解像度,すなわち縦ピクセル数×横ピクセルを,解像度に関する有効度Ares に設定する。同様に,ステップS42では,図11で説明したような各種の有効度Ai を算出する。
続いて,ステップS43,S44では,データ認識部24を利用して有効度の評価値を求める。まず,ステップS43では,データ認識部24へカメラワークの認識を依頼し,データ認識部24では,特許文献2に記載されているようなカメラワーク認識技術を用いてカメラワークを検出し,その検出したカメラワークの情報を,データ評価部22に通知する。この結果をもとに,データ評価部22では,カメラワーク安定度に関する有効度Acwを,手ぶれ区間のない区間の割合(非手ぶれ区間率)から算出する。Acwは,次式から算出されることになる。
cw=100−(手ぶれ区間が区間映像に占める%)
次に,ステップS44では,標識・看板等の認識をデータ認識部24に要求し,その認識結果をもとに,認識結果に関する有効度Arec を算出する。データ認識部24では,上述した特許文献3に記載されているようなオブジェクト認識技術や,非特許文献1に記載されているような文字認識技術を用いて,オブジェクト認識や文字認識を行い,その認識結果をデータ評価部22に通知する。データ評価部22では,画像の位置情報から認識データ蓄積部25に蓄積されている既存の認識結果を検索し,一致した認識結果の個数を算出して,一致した認識結果の個数を認識度に関する有効度Arec とする。
すなわち,データ認識部24では,位置情報付き映像データから前述した認識処理により,標識等のオブジェクトや文字の認識結果を求める。このような認識結果を,やはりDBMSから構成される認識データ蓄積部25に,「どの位置(緯度・経度)にどのような認識データが画像上どのあたりの位置に存在していたか」を保存しておく(図14(B)参照)。データ評価部22から新たなデータが送信された場合には,その新たなデータ上に「同じような位置(=ある閾値範囲内で同一位置)に同じ認識データが存在していたか」をデータ認識部24が検査し,同じ認識ができた個数,すなわち一致した認識結果を有効度Arec として算出する。
一般に,計算機による認識が多く成功するためには,画像の品質が高い必要がある。これは逆に言うと,認識が成功する場合の画像の有効度が高いということである。そのため,この値を有効度の評価式の1つとして利用することとしている。なお,認識成功率の高い画像を利用してもなお認識されなくなった(あるいは新たに認識されるようになった)店舗看板,案内標識といったオブジェクトは,実際に街中の経年変化により発生した差異と考えられるので,この認識データ蓄積部25には,このようなオブジェクトに関する最新の情報も保持されることになる。
その後,ステップS45では,トータルの有効度Aを,次式により算出する。
A=ΣCi ×Ai
ただし,Ci は,有効度Afr,Ares ,…,Acw,Arec のそれぞれの評価項目に対するあらかじめ定められた加重係数Cfr,Cres ,…,Ccw,Crec である。
以上の画像蓄積装置が行う処理は,コンピュータとソフトウェアプログラムとによって実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
本発明の実施の形態に係る全体構成例を示す図である。 撮影端末の構成例を示す図である。 画像データ管理テーブルの例を示す図である。 撮影端末の他の構成例を示す図である。 データ中継器の構成例を示す図である。 データ処理サーバの構成例を示す図である。 画像データ蓄積部の構成例を示す図である。 サーバデータ受信部の処理フローチャートである。 データ評価部の処理フローチャートである。 単位映像区間の説明図である。 有効度の計算方法の一例を示す図である。 他の実施例におけるデータ評価部の処理フローチャートである。 データ認識部の処理フローチャートである。 認識結果テーブルとオブジェクト認識結果の例を示す図である。 隣接フレームに移る同一オブジェクトの例を示す図である。 認識データ蓄積部の構成例を示す図である。 データ評価部における有効度算出処理の一例を示す図である。
符号の説明
10 撮影端末
11 撮影部
12 位置情報取得部
13 端末蓄積部
14 端末データ送信部
20 データ処理サーバ
21 サーバデータ受信部
22 データ評価部
23 画像データ蓄積部
24 データ認識部
25 認識データ蓄積部
30 データ中継器
31 アクセスポイントデータ受信部
32 アクセスポイントデータ送信部

Claims (9)

  1. 撮影端末で撮影された画像を受信し,蓄積する画像蓄積装置であって,
    画像データとその画像データに対応付けられた撮影位置を示す位置データとを含むデータを,前記撮影端末から受信するサーバデータ受信部と,
    前記撮影端末から受信したデータを蓄積する画像データ蓄積部と,
    前記サーバデータ受信部により前記撮影端末からデータを受信したときに,既に同じ位置または所定の範囲内の位置で撮影された画像データが前記画像データ蓄積部に蓄積されている場合には,受信したデータから所定の評価式に従ってそのデータの有効度の値を算出し,蓄積されているデータの有効度の値との大小比較によって,前記画像データ蓄積部に蓄積されているデータを前記受信したデータで更新するかどうかを決定するデータ評価部とを備える
    ことを特徴とする画像蓄積装置。
  2. 請求項1に記載の画像蓄積装置において,
    前記データ評価部が用いる評価式は,
    前記有効度の値が,所定の区間内の連続する画像データからなる映像のフレーム数が大きいほど大きくなる評価式,もしくは前記映像の解像度が大きいほど大きくなる評価式,もしくは前記映像に含まれるピクセルの明度の平均値が大きいほど大きくなる評価式,もしくは前記映像における各フレームの明度差の平均値が大きいほど大きくなる評価式,もしくは撮影日時が新しいほど大きくなる評価式,もしくはカメラワークが安定しているほど大きくなる評価式,またはこれらの評価式のうち複数を組み合わせた評価式を含む
    ことを特徴とする画像蓄積装置。
  3. 請求項1または請求項2に記載の画像蓄積装置において,
    前記撮影端末から受信したデータ内の画像データに写っているオブジェクトを認識するデータ認識部と,
    前記データ認識部が認識した認識結果を蓄積する認識データ蓄積部とをさらに備え,
    前記データ評価部は,
    前記データの有効度の値の算出において前記認識データ蓄積部に蓄積された認識結果を利用し,認識率が大きいほど有効度の値が大きくなる評価式を用いて有効度の値を算出する
    ことを特徴とする画像蓄積装置。
  4. 請求項1から請求項3までのいずれか1項に記載の画像蓄積装置において,
    前記データ評価部は,
    前記画像データ蓄積部に蓄積する同じ位置または所定の範囲内の位置で撮影された画像データの個数を最大n個(ただし,nは1以上の整数)とし,前記受信したデータの有効度の値が,前記画像データ蓄積部に蓄積されている同じ位置または所定の範囲内の位置で撮影された画像データを含むデータの有効度のn番目に大きい値より大きい場合に,その蓄積されているデータのうち最も有効度の小さいデータを削除して前記受信したデータを前記画像データ蓄積部に保存し,小さい場合に,前記受信したデータを前記画像データ蓄積部に蓄積しないで棄却する
    ことを特徴とする画像蓄積装置。
  5. 請求項1から請求項4までのいずれか1項に記載の画像蓄積装置において,
    前記データ評価部は,
    前記画像データ蓄積部に,連続する画像データのうち所定の区間内の画像データを保存するときに,前記区間の起点から終点までの上り方向と下り方向とを区別しないで同じ位置または所定の範囲内の位置であるか否かを判断する
    ことを特徴とする画像蓄積装置。
  6. 請求項1から請求項5までのいずれか1項に記載の画像蓄積装置において,
    前記データ評価部は,
    異なる時間帯,曜日,期日または期間に撮影された画像データについては,別々に前記データの有効度の値の算出および有効度の値の大小比較を行う
    ことを特徴とする画像蓄積装置。
  7. コンピュータを,請求項1から請求項6までのいずれか1項に記載の画像蓄積装置が備える前記サーバデータ受信部,前記画像データ蓄積部および前記データ評価部,または,さらに請求項3に記載の画像蓄積装置が備える前記データ認識部および前記認識データ蓄積部として,機能させるための画像蓄積装置用プログラム。
  8. 撮影端末と,該撮影端末で撮影された画像を蓄積する画像蓄積装置とを備える画像蓄積システムであって,
    前記撮影端末は,
    画像を撮影する撮影部と,
    撮影時の位置情報を取得する位置取得部と,
    前記撮影された画像データと前記取得された位置データとを対応付けて蓄積する端末蓄積部と,
    前記端末蓄積部に蓄積されたデータを前記画像蓄積装置へ送信する端末送信部とを備え,
    前記画像蓄積装置は,
    画像データとその画像データに対応付けられた撮影位置を示す位置データとを含むデータを,前記撮影端末から受信するサーバデータ受信部と,
    前記撮影端末から受信したデータを蓄積する画像データ蓄積部と,
    前記サーバデータ受信部により前記撮影端末からデータを受信したときに,既に同じ位置または所定の範囲内の位置で撮影された画像データが前記画像データ蓄積部に蓄積されている場合には,受信したデータから所定の評価式に従ってそのデータの有効度の値を算出し,蓄積されているデータの有効度の値との大小比較によって,前記画像データ蓄積部に蓄積されているデータを前記受信したデータで更新するかどうかを決定するデータ評価部とを備える
    ことを特徴とする画像蓄積システム。
  9. 請求項8に記載の画像蓄積システムにおいて,
    前記撮影端末と前記画像蓄積装置との間に,
    前記撮影端末からのデータを無線LANインタフェースにより受信するアクセスポイントデータ受信部と,
    受信したデータを前記画像蓄積装置に送信するアクセスポイントデータ送信部とからなるデータ中継器を備える
    ことを特徴とする画像蓄積システム。
JP2008216121A 2008-08-26 2008-08-26 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム Expired - Fee Related JP4995787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008216121A JP4995787B2 (ja) 2008-08-26 2008-08-26 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008216121A JP4995787B2 (ja) 2008-08-26 2008-08-26 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム

Publications (2)

Publication Number Publication Date
JP2010055138A true JP2010055138A (ja) 2010-03-11
JP4995787B2 JP4995787B2 (ja) 2012-08-08

Family

ID=42071036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008216121A Expired - Fee Related JP4995787B2 (ja) 2008-08-26 2008-08-26 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム

Country Status (1)

Country Link
JP (1) JP4995787B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163425A (ja) * 2017-03-24 2018-10-18 パイオニア株式会社 情報処理装置
JP2020060807A (ja) * 2018-10-04 2020-04-16 トヨタ自動車株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088425A1 (ja) 2016-11-10 2018-05-17 日本電信電話株式会社 画像評価装置、画像評価方法及び画像評価プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123348A (ja) * 1993-10-28 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 位置測定機構付撮像装置
JP2000047579A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 地図データベース更新装置
JP2000261757A (ja) * 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
JP2002142190A (ja) * 2000-07-07 2002-05-17 Fuji Xerox Co Ltd 複数のデータのセグメント化方法、情報システム、及びコンピュータ読取可能メモリを含む製品
WO2007116500A1 (ja) * 2006-03-31 2007-10-18 Olympus Corporation 情報呈示システム、情報呈示端末及びサーバ
JP2007304738A (ja) * 2006-05-10 2007-11-22 Viva Computer Co Ltd 画像蓄積・検索システムと同システム用の画像蓄積装置及び画像検索装置並びにプログラム
JP2007328503A (ja) * 2006-06-07 2007-12-20 Nec Corp 文書情報管理システム及び文書情報管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123348A (ja) * 1993-10-28 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 位置測定機構付撮像装置
JP2000047579A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 地図データベース更新装置
JP2000261757A (ja) * 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
JP2002142190A (ja) * 2000-07-07 2002-05-17 Fuji Xerox Co Ltd 複数のデータのセグメント化方法、情報システム、及びコンピュータ読取可能メモリを含む製品
WO2007116500A1 (ja) * 2006-03-31 2007-10-18 Olympus Corporation 情報呈示システム、情報呈示端末及びサーバ
JP2007304738A (ja) * 2006-05-10 2007-11-22 Viva Computer Co Ltd 画像蓄積・検索システムと同システム用の画像蓄積装置及び画像検索装置並びにプログラム
JP2007328503A (ja) * 2006-06-07 2007-12-20 Nec Corp 文書情報管理システム及び文書情報管理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163425A (ja) * 2017-03-24 2018-10-18 パイオニア株式会社 情報処理装置
JP2022003581A (ja) * 2017-03-24 2022-01-11 パイオニア株式会社 情報処理装置
JP2020060807A (ja) * 2018-10-04 2020-04-16 トヨタ自動車株式会社 画像処理装置、画像処理方法、およびプログラム
JP7059881B2 (ja) 2018-10-04 2022-04-26 トヨタ自動車株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JP4995787B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
US9286545B1 (en) System and method of using images to determine correspondence between locations
US8094974B2 (en) Picture data management apparatus and picture data management method
KR101423928B1 (ko) 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체.
EP3941038A1 (en) A system and method for detecting and transmitting incidents of interest of a roadway to a remote server
US8274571B2 (en) Image zooming using pre-existing imaging information
US9286624B2 (en) System and method of displaying annotations on geographic object surfaces
CN101874195B (zh) 地图显示设备、地图显示方法和图像摄取设备
US8488021B2 (en) Image positioning method, POI tagging method and the apparatus
US9195987B2 (en) Systems and methods of correlating business information to determine spam, closed businesses, and ranking signals
US9672223B2 (en) Geo photo searching based on current conditions at a location
CN111221012A (zh) 用于基于周围环境改进的位置决策的方法和设备
US20120259545A1 (en) System and method for providing an electronic representation of a route
US9852343B2 (en) Imaging apparatus, display method, and storage medium
JPWO2007116500A1 (ja) 情報呈示システム、情報呈示端末及びサーバ
US20130170704A1 (en) Image processing apparatus and image management method
US20100278379A1 (en) Location based image acquisition
US8373712B2 (en) Method, system and computer-readable recording medium for providing image data
KR101397873B1 (ko) 증강 현실 표시 장치 및 방법
CN103729409A (zh) 生成可视化场景信息的方法及装置
JP4995787B2 (ja) 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム
US20160171004A1 (en) Method and system for improving the location precision of an object taken in a geo-tagged photo
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム
US9201498B2 (en) Information display system, information display apparatus and non-transitory storage medium
JP4685286B2 (ja) 情報更新処理装置
CN112106135B (zh) 信息收集装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees