JP2019174989A - 画像圧縮方法及び画像圧縮装置 - Google Patents

Abstract

【課題】複数の画像の圧縮画像として、写っている物体を認識可能な部分画像を含む圧縮画像を生成する。【解決手段】コンピュータは、複数の画像から物体が写っている複数の部分画像を抽出し（ステップ２０１）、複数の部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択する（ステップ２０２）。次に、コンピュータは、複数の画像の中から、いずれかの画像を選択し（ステップ２０３）、選択した部分画像と選択した画像とを関連付けた圧縮画像を生成する（ステップ２０４）。【選択図】図２

Description

本発明は、画像圧縮方法及び画像圧縮装置に関する。

近年、コネクテッドカーに見られるように、車両（自動車）に搭載された各種センサからデータを収集し、収集したデータを通信ネットワーク経由でクラウド上に蓄積する技術が開発されている。蓄積されたデータに基づくサービスの提供は、車両を活用した今後の新規ビジネスとして重要な役割を果たすと考えられている。

各種センサには、カメラに代表される画像センサが含まれる。車両にカメラを搭載する目的としては、例えば、以下のようなものが想定される。

（ａ）情報処理装置が、車内を撮影した映像に基づいてドライバの状態をモニタし、運転に対するアドバイスを行う。
（ｂ）情報処理装置が、車外を撮影した映像から、交通量又は道路状況を示す情報を収集し、収集した情報に基づいて、最適なルートを提示するルート案内を行う。

特に、車外を撮影した映像は、天候、交通量、道路状況等の判定に用いるだけでなく、道路に沿った街並み等を記録するアーカイブとして用いることもできる。

動画像の符号化方法として、動画像に含まれる対象フレームから抽出した背景画像を特定するための背景画像情報と、対象フレームに含まれるオブジェクトの特徴を示すメタ情報とを含む、符号情報を生成する技術が知られている（例えば、特許文献１を参照）。車両単体で検知できない道路環境の変化に応じて、高画質で撮影したい方向の要件を変更する技術、及び車載カメラ装置の映像から道路の情報を収集する技術も知られている（例えば、特許文献２及び特許文献３を参照）。

国際公開第２０１６／０１３１４７号パンフレット 特開２０１６−１３４８１６号公報 特開２００９−７５８５８号公報

車外撮影用のカメラを搭載した多数の車両が同じ道路を走行し、撮影した車外の映像をクラウド上に蓄積する場合、蓄積される映像のデータ量を削減するために、キーフレームの画像のみを記録する方法が考えられる。しかしながら、キーフレームの画像のみから、画像に写っている物体について十分な情報を得ることは困難である。

なお、かかる問題は、道路を走行する車両によって撮影された映像を記録する場合に限らず、他の撮影対象を撮影した複数の画像を記録する場合においても生ずるものである。

１つの側面において、本発明は、複数の画像の圧縮画像として、写っている物体を認識可能な部分画像を含む圧縮画像を生成することを目的とする。

１つの案では、コンピュータは、以下の処理を実行する。
（１）コンピュータは、複数の画像から物体が写っている複数の部分画像を抽出する。
（２）コンピュータは、複数の部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択する。
（３）コンピュータは、複数の画像の中から、いずれかの画像を選択する。
（４）コンピュータは、選択した部分画像と選択した画像とを関連付けた圧縮画像を生成する。

実施形態によれば、複数の画像の圧縮画像として、写っている物体を認識可能な部分画像を含む圧縮画像を生成することができる。

画像圧縮装置の機能的構成図である。 画像圧縮処理のフローチャートである。 画像処理システムの構成図である。 車載システムの機能的構成図である。 画像圧縮装置の具体例を示す機能的構成図である。 映像に含まれる画像を示す図である。 パーツテーブルを示す図である。 オブジェクトテーブルを示す図である。 スコアテーブルを示す図である。 評価値を示す図である。 優先パーツの比較結果を示す図である。 優先パーツテーブルを示す図である。 キー画像テーブルを示す図である。 画像から抽出されたパーツを示す図である。 優先パーツを示す図である。 画像圧縮処理の具体例を示すフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
車外撮影用のカメラを搭載した多数の車両が同じ道路を走行し、撮影した車外の映像をクラウド上に蓄積する場合、多数の車両によって同じ道路上の映像が収集され、互いに類似した多くの映像が蓄積される。

例えば、車両Ａが道路Ｒを走行するとともに、別の車両Ｂも時を同じくして道路Ｒを走行することが考えられる。この場合、撮影時刻及び撮影位置が微妙に異なる、道路Ｒに沿った街並みの映像が蓄積される。しかし、道路Ｒの両側に存在する建物、道路標識等の物体に注目した場合、蓄積された映像中には同じ物体の映像が多数含まれている。

このように、収集されたすべての映像を蓄積すると、似て非なる映像が大量に蓄積される。さらに、同じ道路を走行する車両の台数が増加するにつれて、重複した映像が増加するため、映像を蓄積する記憶装置のハードウェア資源が膨大になると予想される。そこで、多数の車両によって収集された多数の映像をそのまま記憶装置に記録するのではなく、それらの映像に含まれる複数のフレームの中から、所定数のキーフレームを抽出して、抽出したキーフレームの画像のみを記録する方法が考えられる。

しかしながら、キーフレームの画像のみを記録する場合、あるキーフレームでは、車両から遠く離れた位置に物体が写っていて解像度が低いため、その物体について十分な情報を得ることが難しいことがある。逆に、次のキーフレームでは、その物体の位置が近すぎて物体全体が写っていないため、やはり、その物体について十分な情報を得ることが難しいこともあり得る。

図１は、実施形態の画像圧縮装置の機能的構成例を示している。図１の画像圧縮装置１０１は、第１選択部１１１、第２選択部１１２、及び生成部１１３を含む。

図２は、図１の画像圧縮装置１０１が行う画像圧縮処理の例を示すフローチャートである。まず、第１選択部１１１は、複数の画像から物体が写っている複数の部分画像を抽出し（ステップ２０１）、それらの部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択する（ステップ２０２）。

次に、第２選択部１１２は、複数の画像の中から、いずれかの画像を選択する（ステップ２０３）。そして、生成部１１３は、第１選択部１１１が選択した部分画像と第２選択部１１２が選択した画像とを関連付けた圧縮画像を生成する（ステップ２０４）。

このような画像圧縮装置１０１によれば、複数の画像の圧縮画像として、写っている物体を認識可能な部分画像を含む圧縮画像を生成することができる。

図３は、図１の画像圧縮装置１０１を含む画像処理システムの構成例を示している。図３の画像処理システムは、画像圧縮装置１０１及び車両３０１−１〜車両３０１−Ｎ（Ｎは１以上の整数）を含む。車両３０１−ｉ（ｉ＝１〜Ｎ）は、通信ネットワーク３０２を介して画像圧縮装置１０１と通信することができ、道路を走行しながら車外の風景を撮影し、撮影した映像を画像圧縮装置１０１へ送信する。画像圧縮装置１０１は、例えば、クラウド上のサーバであり、車両３０１−１〜車両３０１−Ｎから受信した映像を圧縮して記憶する。

図４は、図３の車両３０１−ｉに搭載される車載システムの機能的構成例を示している。図４の車載システムは、撮像装置４０１及び制御装置４０２を含む。

撮像装置４０１は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、車両３０１−ｉの周囲の風景を撮影する。撮像装置４０１は、車両３０１−ｉの前方、後方、又は左右の風景を撮影してもよい。撮像装置４０１は、連続して撮影した複数の画像を含む映像を制御装置４０２へ出力する。映像に含まれる各画像は、フレームと呼ばれることもある。

制御装置４０２は、制御部４１１、時刻計算部４１２、位置計算部４１３、通信部４１４、及び記憶部４１５を含む。

時刻計算部４１２は、撮像装置４０１が撮影した各画像の撮影時刻を計算し、位置計算部４１３は、各画像の撮影時刻における車両３０１−ｉの位置（撮影位置）を計算する。時刻計算部４１２は、リアルタイムクロックであってもよく、位置計算部４１３は、ＧＰＳ（Global Positioning System）を利用して撮影位置を計算してもよい。撮影位置は、緯度及び経度であってもよい。

制御部４１１は、撮像装置４０１が出力する各画像と、時刻計算部４１２が計算する撮影時刻と、位置計算部４１３が計算する撮影位置とを関連付けて、記憶部４１５に格納する。通信部４１４は、撮影時刻及び撮影位置と関連付けられた画像からなる映像を、通信ネットワーク３０２を介して画像圧縮装置１０１へ送信する。また、通信部４１４は、車両３０１−ｉの車種、車両３０１−ｉ内における撮像装置４０１の搭載位置及び向き等を含む車両情報も併せて、画像圧縮装置１０１へ送信する。

図５は、図３の画像圧縮装置１０１の具体例を示している。図５の画像圧縮装置１０１は、第１選択部１１１、第２選択部１１２、生成部１１３、通信部５１１、分割部５１２、及び記憶部５１３を含む。

通信部５１１は、車両３０１−１〜車両３０１−Ｎから映像及び車両情報を受信し、分割部５１２は、受信した映像を画像単位に分割して、記憶部５１３に格納する。記憶部５１３に格納された画像５２１は、撮影時刻及び撮影位置と関連付けられている。

第１選択部１１１は、複数の画像５２１から、建物、道路標識、歩行者等の物体が写っている部分画像を、各画像５２１のパーツとして抽出し、抽出したパーツを含むパーツテーブル５２２を生成して、記憶部５１３に格納する。各パーツは、画像５２１内の一部の領域の部分画像である。

図６は、映像に含まれる画像５２１の例を示している。図６（ａ）、図６（ｂ）、及び図６（ｃ）は、道路６０１上を走行する車両３０１−ｉが撮影した３枚の画像５２１の例を示している。これらの画像５２１は、同じ車両３０１−ｉから受信した映像に含まれていることもあり、異なる車両３０１−ｉから受信した映像に含まれていることもある。

図６（ａ）の画像には、パーツ６１１〜パーツ６１３が含まれており、図６（ｂ）の画像には、パーツ６２１〜パーツ６２４が含まれており、図６（ｃ）の画像には、パーツ６３１〜パーツ６３３が含まれている。

パーツ６１１及びパーツ６２１は、同じ歩行者を示す部分画像であり、パーツ６１２、パーツ６２２、及びパーツ６３１は、同じ道路標識（止まれ）を示す部分画像である。また、パーツ６１３、パーツ６２４、及びパーツ６３３は、同じ看板を示す部分画像であり、パーツ６２３及びパーツ６３２は、同じ道路標識（３０）を示す部分画像である。

図７は、図６の３枚の画像５２１から生成されたパーツテーブル５２２の例を示している。図７のパーツテーブル５２２は、画像ＩＤ、パーツＩＤ、及びパーツを含む。画像ＩＤは、画像５２１の識別情報であり、パーツＩＤは、パーツの識別情報であり、パーツは、画像５２１から抽出された部分画像を表す。

画像ＩＤ“１”は、図６（ａ）の画像を示し、画像ＩＤ“２”は、図６（ｂ）の画像を示し、画像ＩＤ“３”は、図６（ｃ）の画像を示す。パーツ６１１〜パーツ６１３のパーツＩＤは、それぞれ、“１”〜“３”であり、パーツ６２１〜パーツ６２４のパーツＩＤは、それぞれ、“１”〜“４”であり、パーツ６３１〜パーツ６３３のパーツＩＤは、それぞれ、“１”〜“３”である。

第１選択部１１１は、各画像５２１の撮影位置と、受信した車両情報に含まれる撮像装置４０１の搭載位置及び向きとを用いて、画像５２１内における各パーツの位置から、各パーツに写っている物体の３次元空間内における位置を示す位置情報を計算する。各パーツの位置情報は、緯度及び経度であってもよい。

次に、第１選択部１１１は、画像間における物体追跡（Tracking）技術を用いて、複数の画像５２１に含まれるパーツの中から、同じ物体を示す複数のパーツを特定する。そして、第１選択部１１１は、それらのパーツに対して、同じオブジェクトＩＤを付与するとともに、情報量を示す属性を関連付けることで、オブジェクトテーブル５２３を生成して、記憶部５１３に格納する。

図８は、図７のパーツテーブル５２２から生成されたオブジェクトテーブル５２３の例を示している。図８のオブジェクトテーブル５２３は、図７のパーツテーブル５２２に、オブジェクトＩＤ、輝度差、パーツ欠損、及びサイズを追加した構成を有する。オブジェクトＩＤは、画像５２１に写っている物体の識別情報であり、輝度差、パーツ欠損、及びサイズは、パーツの情報量を示す属性である。

例えば、画像ＩＤ“１”及びパーツＩＤ“１”を有するパーツ６１１と、画像ＩＤ“２”及びパーツＩＤ“１”を有するパーツ６２１は、同じ歩行者を示しているため、同じオブジェクトＩＤ“１”が付与されている。同様に、画像ＩＤ“１”及びパーツＩＤ“２”を有するパーツ６１２と、画像ＩＤ“２”及びパーツＩＤ“２”を有するパーツ６２２と、画像ＩＤ“３”及びパーツＩＤ“１”を有するパーツ６３１は、同じ道路標識を示している。このため、これらのパーツに対して同じオブジェクトＩＤ“２”が付与されている。

輝度差は、パーツに含まれる複数の画素の輝度に関する２種類の統計値の差分を表す。例えば、２種類の統計値は、輝度の最大値及び最小値であってもよい。輝度差が大きいほど、パーツの情報量は多くなる。輝度差の代わりに、色相、彩度、色差信号等の別の画素値を用いて、パーツの情報量を表すこともできる。

パーツ欠損は、パーツの一部が欠損しているか否かを表す。欠損がないパーツの方が、欠損があるパーツよりも情報量が多くなる。パーツ欠損の有無の代わりに、パーツ欠損の度合いを用いて、パーツの情報量を表すこともできる。例えば、パーツ欠損の度合いは、物体全体の部分画像の面積に対する欠損部分の面積の割合であってもよい。

サイズは、パーツのサイズを表す。例えば、パーツのサイズは、パーツの画素数、パーツの水平方向の長さ、又はパーツの垂直方向の長さであってもよい。サイズが大きいほど、パーツの情報量は多くなる。

第１選択部１１１は、各パーツの情報量を推定するために、記憶部５１３が記憶するスコアテーブル５２４を用いて、各パーツの属性から情報量の評価値を計算する。そして、第１選択部１１１は、計算した評価値に基づいて、オブジェクトテーブル５２３内で同じオブジェクトＩＤを有するパーツのうち、最も情報量が多いパーツを、優先パーツとして選択する。

図９は、スコアテーブル５２４の例を示している。図９のスコアテーブル５２４は、輝度差、パーツ欠損、及びサイズの各々について、数値及びスコアを含む。輝度差の数値は、輝度差の範囲を表し、スコアは、その範囲に対応する評価値を表す。パーツ欠損の数値は、パーツ欠損の有無を表し、スコアは、パーツ欠損の有無に対応する評価値を表す。サイズの数値は、サイズの範囲を表し、スコアは、その範囲に対応する評価値を表す。

図１０は、図８のオブジェクトテーブル５２３に含まれるパーツの評価値の例を示している。この例では、輝度差、パーツ欠損、及びサイズに対するスコアの総和が評価値として用いられており、同じオブジェクトＩＤ“１”を有するパーツのうち、優先パーツが○印で示されている。

例えば、画像ＩＤ“１”、パーツＩＤ“１”、及びオブジェクトＩＤ“１”を有するパーツ６１１の輝度差は２０であるため、輝度差に対するスコアは２になる。また、パーツ６１１には欠損がないため、パーツ欠損に対するスコアは３になり、パーツ６１１のサイズは２０であるため、サイズに対するスコアは２になる。したがって、パーツ６１１の評価値は７になる。

一方、画像ＩＤ“２”、パーツＩＤ“１”、及びオブジェクトＩＤ“１”を有するパーツ６２１の輝度差は２０であるため、輝度差に対するスコアは２になる。また、パーツ６２１には欠損があるため、パーツ欠損に対するスコアは０になり、パーツ６２１のサイズは４０であるため、サイズに対するスコアは４になる。したがって、パーツ６２１の評価値は６になる。

この場合、パーツ６１１の評価値の方がパーツ６２１の評価値よりも大きいため、パーツ６１１が、オブジェクトＩＤ“１”に対する優先パーツとして選択される。

また、画像ＩＤ“１”、パーツＩＤ“２”、及びオブジェクトＩＤ“２”を有するパーツ６１２の輝度差は３０であるため、輝度差に対するスコアは３になる。また、パーツ６１２には欠損がないため、パーツ欠損に対するスコアは３になり、パーツ６１２のサイズは１０であるため、サイズに対するスコアは１になる。したがって、パーツ６１２の評価値は７になる。

一方、画像ＩＤ“２”、パーツＩＤ“２”、及びオブジェクトＩＤ“２”を有するパーツ６２２の輝度差は３０であるため、輝度差に対するスコアは３になる。また、パーツ６２２には欠損がないため、パーツ欠損に対するスコアは３になり、パーツ６２２のサイズは２０であるため、サイズに対するスコアは２になる。したがって、パーツ６２２の評価値は８になる。

さらに、画像ＩＤ“３”、パーツＩＤ“１”、及びオブジェクトＩＤ“２”を有するパーツ６３１の輝度差は１０であるため、輝度差に対するスコアは１になる。また、パーツ６３１には欠損がないため、パーツ欠損に対するスコアは３になり、パーツ６３１のサイズは３０であるため、サイズに対するスコアは３になる。したがって、パーツ６３１の評価値は７になる。

この場合、パーツ６２２の評価値が最も大きいため、パーツ６２２が、オブジェクトＩＤ“２”に対する優先パーツとして選択される。

なお、第１選択部１１１は、輝度差、パーツ欠損、及びサイズのうち、いずれか１つ又は２つの属性を用いて評価値を計算してもよく、別の属性を用いて評価値を計算してもよい。

次に、第２選択部１１２は、複数の画像５２１のうち、優先パーツを最も多く含む画像を、キー画像として選択する。

図１１は、図１０の３枚の画像５２１に含まれる優先パーツの個数を比較した比較結果の例を示している。画像ＩＤ“１”が示す画像の優先パーツ数は１個であり、画像ＩＤ“２”が示す画像の優先パーツ数は２個であり、画像ＩＤ“３”が示す画像の優先パーツ数は１個である。したがって、最も多くの優先パーツを含む、画像ＩＤ“２”が示す画像が、キー画像として選択される。

次に、生成部１１３は、第１選択部１１１が選択した優先パーツと、第２選択部１１２が選択したキー画像とを関連付けることで、圧縮画像５２５を生成して、記憶部５１３に格納する。圧縮画像５２５は、優先パーツテーブル５３１及びキー画像テーブル５３２を含む。

図１２は、優先パーツテーブル５３１の例を示している。図１２の優先パーツテーブル５３１は、キー画像ＩＤと、図１０に示した４個の優先パーツのオブジェクトＩＤ、パーツ、位置情報、及び撮影時刻とを含む。キー画像ＩＤは、キー画像の画像ＩＤであり、位置情報は、優先パーツに写っている物体の３次元空間内における位置を表し、撮影時刻は、優先パーツを含む画像５２１に関連付けられた撮影時刻を表す。

図１３は、キー画像テーブル５３２の例を示している。図１３のキー画像テーブル５３２は、キー画像ＩＤ、キー画像、撮影位置、及び撮影時刻を含む。撮影位置及び撮影時刻は、キー画像に関連付けられた撮影位置及び撮影時刻を表す。図１２に示した４個の優先パーツは、キー画像ＩＤ“２”によって、図１３のキー画像と関連付けられている。

圧縮画像５２５は、道路に沿った街並み等を記録するアーカイブとして用いることができ、天候、交通量、道路状況等の解析に用いることもできる。また、圧縮画像５２５の解析結果を利用することで、ルート案内等の様々なサービスを提供することができる。

図１４は、同じ道路を走行する２台の車両３０１−ｉによって撮影された画像５２１から抽出されたパーツの例を示している。図１４（ａ）は、車両３０１−１によって撮影された画像１４０１から抽出されたパーツの例を示している。画像１４０１からは、パーツ１４１１〜パーツ１４１５が抽出される。

パーツ１４１１は、歩行者を示す部分画像であり、パーツ１４１２は、道路を示す部分画像であり、パーツ１４１３は、道路標識（止まれ）を示す部分画像である。パーツ１４１４は、道路標識（３０）を示す部分画像であり、パーツ１４１５は、看板を含む建物を示す部分画像である。

図１４（ｂ）は、車両３０１−２によって撮影された画像１４０２から抽出されたパーツの例を示している。例えば、車両３０１−２は、車両３０１−１が道路を走行した直後に、その道路を車両３０１−１と同じ向きに走行し、画像１４０２を撮影する。画像１４０２からは、パーツ１４２１〜パーツ１４２４が抽出される。

パーツ１４２１は、パーツ１４１３と同じ道路標識（止まれ）を示す部分画像であり、パーツ１４２２は、パーツ１４１２と同じ道路を示す部分画像である。パーツ１４２３は、パーツ１４１４と同じ道路標識（３０）を示す部分画像であり、パーツ１４２４は、パーツ１４１５と同じ看板を示す部分画像である。

図１５は、図１４のパーツの中から選択された優先パーツの例を示している。○印は、優先パーツとして選択されたパーツを表し、×印は、優先パーツとして選択されなかったパーツを表す。

図１５（ａ）は、看板を示す優先パーツの例を示している。看板を示すパーツ１４１１及びパーツ１４２４のうち、パーツ１４２４には欠損があるため、欠損がないパーツ１４１１が優先パーツとして選択される。

図１５（ｂ）は、道路標識（３０）を示す優先パーツの例を示している。道路標識（３０）を示すパーツ１４１４及びパーツ１４２３のうち、サイズが大きい方のパーツ１４２３が優先パーツとして選択される。

図１５（ｃ）は、道路標識（止まれ）を示す優先パーツの例を示している。道路標識（止まれ）を示すパーツ１４１３及びパーツ１４２１のうち、輝度差が大きい方のパーツ１４１３が優先パーツとして選択される。

図１５（ｄ）は、道路を示す優先パーツの例を示している。道路を示すパーツ１４１２及びパーツ１４２２のうち、パーツ１４１２には欠損があるため、欠損がないパーツ１４２２が優先パーツとして選択される。

図１５（ｅ）は、歩行者を示す優先パーツの例を示している。画像１４０２からは歩行者を示すパーツが抽出されていないため、画像１４０１から抽出されたパーツ１４１１が優先パーツとして選択される。

図５の画像圧縮装置１０１によれば、１台以上の車両によって撮影された複数の画像から、物体が写っている部分画像がパーツとして抽出され、同じ物体が写っているパーツのうち、最も情報量が多いパーツが優先パーツとして選択される。そして、優先パーツを最も多く含む画像がキー画像として選択され、キー画像と優先パーツとが関連付けて記録される。

このように、車両から収集された多数の映像をすべて記録するのではなく、キー画像を選択して記録することで、映像が圧縮されるため、映像を蓄積する記憶装置のハードウェア資源が削減される。

また、キー画像のみを記録するのではなく、キー画像以外の画像から抽出された優先パーツも記録することで、キー画像に写っていない物体又はキー画像に十分な情報が含まれていない物体を示す、高品質な部分画像を保存することができる。このとき、最も情報量が多いパーツを優先パーツとして選択することで、蓄積された映像に基づくサービスを提供する際に、その物体の情報を最大限に活用することが可能になる。

さらに、映像を収集する専用車両によって映像を撮影する代わりに、道路を走行する一般車両によって映像を撮影することで、短時間かつ低コストで、圧縮画像を蓄積することができる。

図１６は、図５の画像圧縮装置１０１が行う画像圧縮処理の具体例を示すフローチャートである。まず、第１選択部１１１は、分割部５１２によって所定枚数の画像５２１が記憶部５１３に格納される度に、それらの画像５２１からパーツを抽出し、抽出したパーツを含むパーツテーブル５２２を生成する（ステップ１６０１）。所定枚数の画像５２１は、同じ車両３０１−ｉによって撮影された画像であるか、又は２台以上の車両３０１−ｉによって撮影された画像である。

次に、第１選択部１１１は、パーツテーブル５２２に含まれるパーツの中から、同じ物体を示す複数のパーツを特定する（ステップ１６０２）。そして、第１選択部１１１は、特定したパーツに対して同じオブジェクトＩＤを付与し、情報量を示す属性を関連付けることで、オブジェクトテーブル５２３を生成する。

次に、第１選択部１１１は、オブジェクトテーブル５２３に含まれる各パーツの属性から評価値を計算し、同じオブジェクトＩＤを有するパーツのうち、最大の評価値を有するパーツを、優先パーツとして選択する（ステップ１６０３）。

次に、第２選択部１１２は、所定枚数の画像５２１のうち、優先パーツを最も多く含む画像を、キー画像として選択する（ステップ１６０４）。

次に、生成部１１３は、第２選択部１１２が選択したキー画像をキー画像テーブル５３２に登録し（ステップ１６０５）、第１選択部１１１が選択した優先パーツを優先パーツテーブル５３１に登録する（ステップ１６０６）。

このとき、生成部１１３は、各優先パーツの位置情報を検索キーとして優先パーツテーブル５３１を検索し、優先パーツテーブル５３１に、同じ位置情報を有する優先パーツが登録されているか否かをチェックする。同じ位置情報を有する優先パーツが登録されていない場合、生成部１１３は、第１選択部１１１が選択した優先パーツが新たな物体を示していると判定し、その優先パーツを優先パーツテーブル５３１に登録する。

一方、同じ位置情報を有する優先パーツが既に登録されている場合、生成部１１３は、第１選択部１１１が選択した優先パーツと既登録の優先パーツのうち、いずれか一方を保存対象に決定し、決定した保存対象のみを優先パーツテーブル５３１に登録する。

例えば、生成部１１３は、２つの優先パーツのうち評価値が大きい方を保存対象に決定することができる。評価値が大きい方の優先パーツを保存することで、物体の部分画像を、より情報量の多い部分画像に更新することができる。

また、生成部１１３は、２つの優先パーツのうち撮影時刻が新しい方を保存対象に決定することもできる。この場合、第１選択部１１１が選択した優先パーツが優先パーツテーブル５３１に登録され、既登録の優先パーツが優先パーツテーブル５３１から削除される。撮影時刻が新しい方の優先パーツを保存することで、物体の部分画像を最新の部分画像に更新することができる。

次に、分割部５１２は、いずれかの車両３０１−ｉから、次の映像を受信したか否かをチェックし（ステップ１６０７）、次の映像を受信した場合（ステップ１６０７，ＹＥＳ）、受信した映像を画像単位に分割する。そして、画像圧縮装置１０１は、ステップ１６０１以降の処理を繰り返す。次の映像を受信していない場合（ステップ１６０７，ＮＯ）、画像圧縮装置１０１は、処理を終了する。

ステップ１６０４において、第２選択部１１２は、優先パーツを最も多く含む画像の代わりに、別の画像をキー画像として選択することも可能である。例えば、第２選択部１１２は、所定枚数の画像５２１のうち、１番目の画像５２１又は２番目の画像５２１のように、所定の順位の画像５２１をキー画像として選択してもよい。また、第２選択部１１２は、所定枚数の画像５２１のうち、いずれか１枚の画像５２１をランダムに選択しても構わない。

図１６の画像圧縮処理によれば、所定枚数の画像５２１毎に１枚のキー画像が選択されて、キー画像テーブル５３２に追加される。したがって、所定枚数を大きな値に設定することで、映像に対する圧縮率を高めることができる。

図１及び図５の画像圧縮装置１０１の構成は一例に過ぎず、画像圧縮装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図５の画像圧縮装置１０１において、車両３０１−ｉから収集された画像５２１が事前に記憶部５１３に格納されている場合は、通信部５１１及び分割部５１２を省略することができる。

図３の画像処理システムの構成は一例に過ぎず、画像圧縮装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、道路を走行する車両３０１−ｉの代わりに、河川を航行する船舶を用いて、河川に沿った風景の映像を収集することもできる。撮像装置は、車両及び船舶以外の移動体に搭載されていてもよい。

図４の車載システムの構成は一例に過ぎず、車載システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、車載システムは、車両３０１−ｉの異なる位置に搭載された複数の撮像装置４０１を含んでいてもよい。

図２及び図１６のフローチャートは一例に過ぎず、画像圧縮装置１０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。

図６に示した画像５２１は一例に過ぎず、映像に含まれる画像５２１は、車両３０１−ｉが走行する道路及び日時に応じて変化する。図７のパーツテーブル５２２、図８のオブジェクトテーブル５２３、図１４及び図１５のパーツは一例に過ぎず、パーツテーブル５２２、オブジェクトテーブル５２３、及びパーツは、画像５２１に応じて変化する。

図９のスコアテーブル５２４及び図１０の評価値は一例に過ぎず、スコアテーブル５２４及び評価値は、パーツの情報量を示す属性に応じて変化する。図１１の比較結果は一例に過ぎず、優先パーツの比較結果は、画像５２１に応じて変化する。

図１２の優先パーツテーブル５３１及び図１３のキー画像テーブル５３２は一例に過ぎず、優先パーツテーブル５３１及びキー画像テーブル５３２は、優先パーツ及びキー画像の選択結果に応じて変化する。

図１７は、図１及び図５の画像圧縮装置１０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１７の情報処理装置は、ＣＰＵ（Central Processing Unit）１７０１、メモリ１７０２、入力装置１７０３、出力装置１７０４、補助記憶装置１７０５、媒体駆動装置１７０６、及びネットワーク接続装置１７０７を含む。これらの構成要素はバス１７０８により互いに接続されている。

メモリ１７０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１７０２は、図５の記憶部５１３として用いることができる。

ＣＰＵ１７０１（プロセッサ）は、例えば、メモリ１７０２を利用してプログラムを実行することにより、図１及び図５の第１選択部１１１、第２選択部１１２、及び生成部１１３として動作する。ＣＰＵ１７０１は、メモリ１７０２を利用してプログラムを実行することにより、図５の分割部５１２としても動作する。

入力装置１７０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１７０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。

補助記憶装置１７０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１７０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１７０５にプログラム及びデータを格納しておき、それらをメモリ１７０２にロードして使用することができる。補助記憶装置１７０５は、図５の記憶部５１３として用いることができる。

媒体駆動装置１７０６は、可搬型記録媒体１７０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１７０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１７０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１７０９にプログラム及びデータを格納しておき、それらをメモリ１７０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１７０２、補助記憶装置１７０５、又は可搬型記録媒体１７０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１７０７は、図３の通信ネットワーク３０２に接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１７０７を介して受信し、それらをメモリ１７０２にロードして使用することができる。ネットワーク接続装置１７０７は、図５の通信部５１１として用いることができる。

なお、情報処理装置が図１７のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザと対話する必要がない場合は、入力装置１７０３及び出力装置１７０４を省略してもよい。可搬型記録媒体１７０９又は通信ネットワークを使用しない場合は、媒体駆動装置１７０６又はネットワーク接続装置１７０７を省略してもよい。

図４の制御装置４０２としては、図１７と同様の情報処理装置を用いることができる。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１７を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
コンピュータにより実行される画像圧縮方法であって、前記コンピュータが、
複数の画像から物体が写っている複数の部分画像を抽出し、
前記複数の部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択し、
前記複数の画像の中から、いずれかの画像を選択し、
選択した部分画像と選択した画像とを関連付けた圧縮画像を生成する、
ことを特徴とする画像圧縮方法。
（付記２）
前記コンピュータは、前記複数の部分画像のうち、最も情報量が多い部分画像を選択することを特徴とする付記１記載の画像圧縮方法。
（付記３）
前記コンピュータは、前記複数の部分画像各々の画素値、サイズ、及び欠損の度合いのうち、少なくとも１つ以上の属性に基づいて、各部分画像の情報量を推定することを特徴とする付記２記載の画像圧縮方法。
（付記４）
前記コンピュータは、前記物体を含む複数の物体それぞれについて、前記最も情報量が多い部分画像を選択し、前記複数の画像のうち、前記最も情報量が多い部分画像を最も多く含む画像を選択することを特徴とする付記２又は３記載の画像圧縮方法。
（付記５）
前記複数の画像は、１台の車両又は複数台の車両に搭載された撮像装置によって撮影された映像に含まれる画像であることを特徴とする付記１乃至４のいずれか１項に記載の画像圧縮方法。
（付記６）
複数の画像から物体が写っている複数の部分画像を抽出し、前記複数の部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択する第１選択部と、
前記複数の画像の中から、いずれかの画像を選択する第２選択部と、
前記第１選択部が選択した部分画像と前記第２選択部が選択した画像とを関連付けた圧縮画像を生成する生成部と、
を備えることを特徴とする画像圧縮装置。
（付記７）
前記第１選択部は、前記複数の部分画像のうち、最も情報量が多い部分画像を選択することを特徴とする付記６記載の画像圧縮装置。
（付記８）
前記第１選択部は、前記複数の部分画像各々の画素値、サイズ、及び欠損の度合いのうち、少なくとも１つ以上の属性に基づいて、各部分画像の情報量を推定することを特徴とする付記７記載の画像圧縮装置。
（付記９）
前記第１選択部は、前記物体を含む複数の物体それぞれについて、前記最も情報量が多い部分画像を選択し、前記第２選択部は、前記複数の画像のうち、前記最も情報量が多い部分画像を最も多く含む画像を選択することを特徴とする付記７又は８記載の画像圧縮装置。
（付記１０）
前記複数の画像は、１台の車両又は複数台の車両に搭載された撮像装置によって撮影された映像に含まれる画像であることを特徴とする付記６乃至９のいずれか１項に記載の画像圧縮装置。

１０１ 画像圧縮装置
１１１ 第１選択部
１１２ 第２選択部
１１３ 生成部
３０１−１〜３０１−Ｎ 車両
３０２ 通信ネットワーク
４０１ 撮像装置
４０２ 制御装置
４１１ 制御部
４１２ 時刻計算部
４１３ 位置計算部
４１４、５１１ 通信部
４１５、５１３ 記憶部
５１２ 分割部
５２１、１４０１、１４０２ 画像
５２２ パーツテーブル
５２３ オブジェクトテーブル
５２４ スコアテーブル
５２５ 圧縮画像
５３１ 優先パーツテーブル
５３２ キー画像テーブル
６０１ 道路
６１１〜６１３、６２１〜６２４、６３１〜６３３、１４１１〜１４１５、１４２１〜１４２４ パーツ
１７０１ ＣＰＵ
１７０２ メモリ
１７０３ 入力装置
１７０４ 出力装置
１７０５ 補助記憶装置
１７０６ 媒体駆動装置
１７０７ ネットワーク接続装置
１７０８ バス
１７０９ 可搬型記録媒体

Claims (6)

1. コンピュータにより実行される画像圧縮方法であって、前記コンピュータが、
   複数の画像から物体が写っている複数の部分画像を抽出し、
   前記複数の部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択し、
   前記複数の画像の中から、いずれかの画像を選択し、
   選択した部分画像と選択した画像とを関連付けた圧縮画像を生成する、
   ことを特徴とする画像圧縮方法。
2. 前記コンピュータは、前記複数の部分画像のうち、最も情報量が多い部分画像を選択することを特徴とする請求項１記載の画像圧縮方法。
3. 前記コンピュータは、前記複数の部分画像各々の画素値、サイズ、及び欠損の度合いのうち、少なくとも１つ以上の属性に基づいて、各部分画像の情報量を推定することを特徴とする請求項２記載の画像圧縮方法。
4. 前記コンピュータは、前記物体を含む複数の物体それぞれについて、前記最も情報量が多い部分画像を選択し、前記複数の画像のうち、前記最も情報量が多い部分画像を最も多く含む画像を選択することを特徴とする請求項２又は３記載の画像圧縮方法。
5. 前記複数の画像は、１台の車両又は複数台の車両に搭載された撮像装置によって撮影された映像に含まれる画像であることを特徴とする請求項１乃至４のいずれか１項に記載の画像圧縮方法。
6. 複数の画像から物体が写っている複数の部分画像を抽出し、前記複数の部分画像それぞれの情報量に基づいて、いずれかの部分画像を選択する第１選択部と、
   前記複数の画像の中から、いずれかの画像を選択する第２選択部と、
   前記第１選択部が選択した部分画像と前記第２選択部が選択した画像とを関連付けた圧縮画像を生成する生成部と、
   を備えることを特徴とする画像圧縮装置。

Images