JP2018207356A - 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法 - Google Patents

Abstract

【課題】参照画像と符号化対象画像との一致率を向上させるようにした画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法を提供すること。圧縮率の低下を防止するようにした画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法を提供すること。【解決手段】車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置で実行される画像圧縮プログラムであって、圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定し、前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させ、拡大された前記参照画像を用いて予測画像を生成し、生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する、処理を画像圧縮装置に実行させる。【選択図】図６

Description

本発明は、画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法に関する。

現在、ビデオカメラやＤＶＤ（Digital Versatile Disk）レコーダなど、画像の圧縮符号化技術を用いた製品が広く流通している。また、画像の圧縮符号化に関する分野では、圧縮符号化の効率化や画質などを更に向上させるべく、次世代の圧縮符号化技術について活発な議論が行われている。

圧縮符号化技術については、例えば、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）による標準規格として、ＭＰＥＧ−２（Moving Picture Experts Group）や、Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）（以下では、「Ｈ．２６４」と称する場合がある。）などがある。

Ｈ．２６４などの圧縮符号化においては、フレーム間の符号化に際して、動き補償が行われる。動き補償は、例えば、連続する画像（又は画像フレーム。以下、「フレーム」と称する場合がある。）の前後で被写体がどのように動いたかを検出する方法である。具体的には、動き補償は、例えば、画像圧縮装置において、復号画像（又は参照画像）と符号化対象画像とに基づいて動きベクトルを探索し、参照画像を動きベクトル分ずらした予測画像を生成し、生成した予測画像と符号化対象画像との差分を圧縮符号化する技術である。動き補償による予測符号化により、フレーム間の相関を利用した圧縮符号化が行われることになり、画像データの情報量を大幅に圧縮させることが可能となる。

しかし、カメラのズームなど動作により取得した画像は、フレームの前後では、人間の目では、ある被写体などが大きくなったり小さくなったりすると認識できるものの、フレームの前後で画素ごとに差分をとると大きな差分値が生じる場合がある。この場合、動き補償による動きベクトルの探索が行われても、動きベクトルを正確に算出することができず、予測画像を生成しても、予測画像と符号化対象画像とが大きく異なり、これにより、圧縮率が低下する。

そのため、グローバル動き補償という技術がある。グローバル動き補償は、例えば、カメラのズームやパン、チルトなどに対応するための参照画像を生成する技術である。グローバル動き補償により、参照画像が加工され、動きベクトルも上記と比較して正確性は向上し、圧縮率の低下を防止することも可能である。ただし、グローバル動き補償は、ＭＥＰＧ−４ Ｖ２（Version 2）で採用されたものの、Ｈ．２６４では採用が見送られた。

圧縮符号化に関する技術としては、例えば、以下がある。すなわち、インター符号化画像に対する参照画像を拡大又は縮小し、拡大又は縮小された参照画像を用いて予測画像を生成し、生成された予測画像を用いて符号化対象の画像を符号化する符号化装置がある。

この技術によれば、符号化対象の画像が拡大や縮小する場合の符号化効率を向上させることができる、とされる。

国際公開第２０１５／０９８５５９号

車載カメラにより撮像した画像をドライブレコーダに記憶する際に圧縮符号化が行われる場合がある。車載カメラで撮像した画像は、車両に搭載されたカメラで取得された画像であって、その画像のフレームの前後の動きは、カメラのズームとは異なる。例えば、車両が前方に進んでいる状態において車載カメラで撮像した画像を考える。この場合、取得した画像に、車両から遠くに離れた被写体と、車両に近い被写体とが含まれる場合、前者の被写体は、時間が経過してもそれほど変化はなく、後者の被写体は、同じ時間が経過しても大きく拡大する場合がある。このように、車載カメラで撮像した画像に複数の被写体が含まれる場合、各被写体の拡大率や縮小率は、フレームの前後で一律に変化するものではなく、車両から各被写体までの距離に応じて変化する。

上述したインター符号化画像に対する参照画像を拡大又は縮小する技術は、例えば、参照画像を一律に拡大したり縮小したりする技術である。そのため、車載カメラで撮像した画像を一律に拡大させたり縮小させたりしても、車両からの距離に応じた被写体の変化に対応しておらず、車両に搭載された車載カメラで撮像した画像の変化に対応していない。したがって、一律に拡大又は縮小させた参照画像に基づいて予測画像を生成しても、参照画像と符号化対象画像との差異が大きく、参照画像と符号化対象画像との一致率は低い。この場合、参照画像に基づいて予測画像を生成しても、予測画像と符号化対象画像との差分値も大きくなり、圧縮率が低下する場合がある。

そこで、１つの側面では、参照画像と符号化対象画像との一致率を向上させるようにした画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法を提供することにある。

また、１つの側面では、圧縮率の低下を防止するようにした画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法を提供することにある。

１つの態様では、車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置で実行される画像圧縮プログラムであって、圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定し、前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させ、拡大された前記参照画像を用いて予測画像を生成し、生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する、処理を画像圧縮装置に実行させる。

１つの側面では、参照画像と符号化対象画像との一致率を向上させることができる。また、１つの側面では、圧縮率の低下を防止することができる。

図１は動画像伝送システムの構成例を表す図である。 図２は符号化処理部の構成例を表す図である。 図３は復号化処理部の構成例を表す図である。 図４（Ａ）と図４（Ｂ）は画像の例を表す図である。 図５（Ａ）は拡大後の画像の例、図５（Ｂ）は木、標識、車両の関係例をそれぞれ表す図である。 図６は符号化処理の例を表すフローチャートである。 図７は符号化処理の例を表すフローチャートである。 図８は移動量算出処理の例を表すフローチャートである。 図９はハンド舵角と回転半径の関係例を表す図である。 図１０（Ａ）と図１０（Ｂ）は車両の移動前後の位置関係の例を表す図である。 図１１（Ａ）と図１１（Ｂ）は車両の移動前後の位置関係の例を表す図である。 図１２は移動前後画像位置算出処理の例を表すフローチャートである。 図１３は車両と分割領域との関係例を表す図である。 図１４は分割領域の例を表す図である。 図１５（Ａ）と図１５（Ｂ）は分割領域の例を表す図である。 図１６は拡縮参照画像変換処理の例を表すフローチャートである。 図１７（Ａ）と図１７（Ｂ）は物体の実際の大きさと撮像素子面に写る物体の大きさとの関係例を表す図である。 図１８（Ａ）と図１８（Ｂ）は物体の実際の大きさと撮像素子面に写る物体の大きさとの関係例を表す図である。 図１９はホモグラフィ変換前後の参照画像の例を表す図である。 図２０は復号化処理の例を表すフローチャートである。 図２１はサーバのハードウェア構成例を表す図である。 図２２は画像圧縮装置の構成例を表す図である。

以下、本実施の形態について図面を参照して詳細に説明する。本明細書における課題及び実施例は一例であり、本願の権利範囲を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書で使用している用語や記載した技術的内容は、ＩＳＯ／ＩＥＣなど、画像の圧縮符号化に関する規格として規格書に記載された用語や技術的内容が適宜用いられてもよい。

［第１の実施の形態］
＜動画像伝送システム＞
図１は、本第１の実施の形態における動画像伝送システム１０の構成例を表す図である。動画像伝送システム１０は、複数の車両１００，１００−１，１００−２と、サーバ装置（又はサーバ。以下、「サーバ」と称する場合がある。）３００とを備える。なお、車両１００，１００−１，１００−２はいずれも同一構成のため、代表して車両１００を用いて説明する。車両１００とサーバ３００は、ネットワーク２００を介して接続される。

車両１００は、撮像装置１１０、ドライブレコーダ１２０、センサ１３０、及びメモリ１４０を備える。

撮像装置１１０は、例えば、カメラであって、車両１００に搭載され、車両１００の周辺の画像を撮像する。撮像装置１１０は、撮像した画像の画像データをドライブレコーダ１２０へ出力する。

ドライブレコーダ１２０は、Ｈ．２６ｘ符号化処理部１２１を含む。Ｈ．２６ｘ符号化処理部１２１は、例えば、撮像装置１１０から受け取った画像データに対して、Ｈ．２６３やＨ．２６４の規定に従う圧縮符号化処理を行う。ドライブレコーダ１２０は、例えば、内部メモリを備え、圧縮符号化した画像データ（以下、「圧縮データ」と称する場合がある。）を、内部メモリに記憶したり、車両１００に搭載された無線通信装置へ出力したりする。圧縮データは、圧縮ストリームとして、無線通信装置を介してネットワーク２００へ送信される。

センサ１３０は、例えば、車両１００の速度ｖ、ハンドルの舵角θ、観測間隔時間ｔなどを測定する。センサ１３０は、測定したこれらのデータを、ＣＡＮ（Controller Area Network）データとして、無線通信装置を介してネットワーク２００へ送信する。

メモリ１４０は、車両１００に関する車両データを記憶し、無線通信装置を介してネットワーク２００へ送信する。車両データとしては、例えば、撮像装置１１０の車両１００における設置位置の高さ、車両１００の長さや幅などの情報がある。

サーバ３００は、ネットワーク２００を介して、車両１００から送信された圧縮ストリーム、ＣＡＮデータ（又はセンサーデータ）、車両データを受信する。サーバ３００は、Ｈ．２６ｘ復号化処理部３１０、符号化処理部３２０、ストレージ３４０、復号化処理部３５０、画像解析部３７０を備える。

Ｈ．２６ｘ復号化処理部３１０は、圧縮ストリームに含まれる圧縮データに対して復号化処理を施し、復号画像データを復号する。Ｈ．２６ｘ復号化処理部３１０における復号化処理は、Ｈ．２６ｘ符号化処理部１２１における符号化処理に対応する。Ｈ．２６ｘ復号化処理部３１０は、復号した復号画像データを、原画データとして、符号化処理部３２０へ出力する。

符号化処理部３２０は、Ｈ．２６ｘ復号化処理部３１０から原画データを受け取り、車両１００から送信されたＣＡＮデータと車両データとを受信し、原画データに対して圧縮符号化処理を施す。このとき、符号化処理部３２０は、例えば、符号化対象の画像に対する参照画像に対して分割領域を設定し、分割領域において参照画像の中心点を含む領域の拡大率よりも参照画像の外周を含む領域の拡大率が高くなるように、参照画像を拡大させる。そして、符号化処理部３２０は、拡大させた参照画像を用いて予測画像を生成し、生成した予測画像を用いて符号化対象画像である原画データを圧縮符号化する。符号化処理部３２０の構成例の動作例は後述する。符号化処理部３２０は、原画データに対して圧縮符号化した圧縮データを、圧縮ストリームとして、ストレージ３４０へ出力する。

ストレージ３４０は、例えば、大容量のメモリであり、符号化処理部３２０から出力された圧縮ストリームを記憶し、復号化処理部３５０により、圧縮ストリームを読み出すことが可能である。

復号化処理部３５０は、ストレージ３４０から読み出した圧縮ストリームに対して、復号化処理を施して、復号画像データを復号する。復号化処理部３５０における復号化処理は、符号化処理部３２０における符号化処理に対応する。復号化処理部３５０は、復号した復号画像データを、画像解析部３７０へ出力する。

画像解析部３７０は、復号画像データに基づいて、モニタ画面に復号画像を表示させ、表示させた復号画像を用いて、画像解析を行う。画像解析としては、例えば、同一場所で取得した画像において、交通事故が発生する寸前（「ヒヤリハット」と称される場合がある。）の状況を解析するなどがある。

例えば、サーバ３００は符号化処理部３２０を含むので、サーバ３００が画像圧縮装置であってもよい。

なお、図１に示す動画像伝送システム１０において、符号化処理部３２０は、サーバ３００に存在するが、車両１００内に設けられても良い。この場合、例えば、車両１００が画像圧縮装置であってもよい。この場合、Ｈ．２６ｘ符号化処理部１２１に代えて、符号化処理部３２０となる。サーバ３００も、Ｈ．２６ｘ復号化処理部３１０と符号化処理部３２０がなくなり、車両１００の符号化処理部３２０から出力された圧縮ストリームがストレージ３４０に直接記憶される。

＜符号化処理部の構成例＞
図２は、符号化処理部３２０の構成例を表す図である。符号化処理部３２０は、原画間引き部３２１、減算部３２２、直交変換部３２３、量子化部３２４、可変長符号化部３２５、逆量子化部３２６、逆直交変換部３２７、加算部３２８、参照画像記憶部３２９、動き探索部３３０、予測画像生成部３３１を備える。また、符号化処理部３２０は、移動量算出部３３２、移動前後画像位置算出部（以下、「画像位置算出部」と称する場合がある。）３３３、拡縮参照画像変換部（以下、「参照画像変換部」と称する場合がある。）３３４を備える。

原画間引き部３２１は、移動量算出部３３２から出力された移動量とＣＡＮデータとに基づいて、入力した原画データを所定のタイミングで出力する。例えば、原画間引き部３２１は、以下の処理を行う。すなわち、原画間引き部３２１は、原画データに含まれる時刻情報とＣＡＮデータに含まれる時刻情報とが一致するタイミングで、原画データを出力する。また、原画間引き部３２１は、例えば、ＣＡＮデータに含まれる観測間隔時間ｔと車両１００の速度ｖ、ハンドルの舵角θに基づいて、車両１００の移動距離ｌ＝ｖｔ・ｓｉｎθを算出する。そして、原画間引き部３２１は、算出した移動距離ｌが指定距離と一致するまで、入力した原画データを破棄し、一致すると、入力した原画データを出力する。原画間引き部３２１は、間引き後の原画データを、減算部３２２と動き探索部３３０へ出力する。

減算部３２２は、例えば、フレーム内予測符号化モード（又はイントラモード）のときは、原画間引き部３２１から受け取った原画データを減算することなくそのまま直交変換部３２３へ出力する。また、減算部３２２は、例えば、フレーム間予測符号化モード（又はインターモード）のときは、原画間引き部３２１から出力された原画データから、予測画像生成部３３１から出力された予測画像の画像データを減算し、差分画像の画像データ（以下、「差分画像データ」と称する場合がある。）を算出し、算出した差分画像データを直交変換部３２３へ出力する。

直交変換部３２３は、原画データ又は差分画像データに対して直交変換を施す。例えば、直交変換部３２３は、原画データ又は差分画像データを、マクロブロック（例えば１６×１６画素単位）単位に、ＤＣＴ（Discrete Cosine Transform）変換を適用することで、直交変換後の成分（又はＤＣＴ係数）を算出する。直交変換部３２３は、原画データ又は差分画像データの直交変換後の成分を、量子化部３２４へ出力する。

量子化部３２４は、直交変換後の成分に対して量子化値で量子化する。例えば、量子化部３２４は、原画データ又は差分画像データの直交変換後の成分に対して、量子化ステップ（例えば「１６」）で除算した結果を整数値で丸めた量子化値を算出する。量子化部３２４は、算出した量子化値を、変換係数として、可変長符号化部３２５と逆量子化部３２６へ出力する。

可変長符号化部３２５は、量子化部３２４から出力された変換係数、動き探索部３３０から出力された動きベクトル情報、及び画像位置算出部３３３から出力された拡縮参照画像変換パラメータに対して、可変長符号化処理を施す。例えば、可変長符号化部３２５は、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）などの符号化アルゴリズムを利用して、可変長符号化を行う。可変長符号化部３２５は、原画データに対応する可変長符号化後の変換係数を、例えば、Ｉ（Intra）ピクチャの圧縮ストリームとして出力する。また、可変長符号化部３２５は、差分画像データに対応する可変長符号化後の変換係数を、例えば、Ｐ（Predictive）ピクチャ又はＢ（Bi-directionally predictive）ピクチャの圧縮ストリームとして出力する。さらに、可変長符号化部３２５は、可変長符号化後の動きベクトルと拡縮参照画像変換パラメータとを、各ピクチャの圧縮ストリームに多重して出力する。可変長符号化部３２５は、圧縮ストリームをストレージ３４０に記憶する。なお、拡縮参照画像変換パラメータの詳細は後述する。

逆量子化部３２６は、量子化部３２４から出力された変換係数に対して、量子化部３２４で利用した量子化ステップを乗算することで、量子化値となる前の原画データ又は差分画像データの直交成分を算出する。逆量子化部３２６は、算出した直交成分を、逆直交変換部３２７へ出力する。

逆直交変換部３２７は、原画データ又は差分画像データの直交成分に対して、例えば、所定の演算方式を利用して、逆直交変換（例えば、逆ＤＣＴ変換）を行い、直交変換前の原画データ又は差分画像データを算出する。逆直交変換部３２７は、算出した原画データ又は差分画像データを、加算部３２８へ出力する。

加算部３２８は、逆直交変換部３２７から出力される画像データが原画データに対応するときは、逆直交変換部３２７から出力される画像データを、乗算することなくそのまま、参照画像記憶部３２９へ記憶する。また、加算部３２８は、逆直交変換部３２７から出力される画像データが、差分画像データに対応するときは、逆直交変換部３２７から出力される差分画像データと、予測画像生成部３３１から出力される予測画像の画像データとを加算し、加算後の画像データを、参照画像記憶部３２９へ記憶する。加算部３２８は、原画データと加算後の画像データとを、参照画像の画像データとして、参照画像記憶部３２９へ記憶する。

参照画像記憶部３２９は、参照画像の画像データを記憶する。参照画像記憶部３２９は、加算部３２８により参照画像の画像データを適宜記憶することができ、動き探索部３３０、予測画像生成部３３１、参照画像変換部３３４により、記憶した参照画像の画像データを適宜読み出すことが可能である。

動き探索部３３０は、原画間引き部３２１から出力された原画データと、参照画像記憶部３２９から読み出した参照画像の画像データとに基づいて、動きベクトルを探索する。すなわち、動き探索部３３０は、原画間引き部３２１から出力された符号化対象の画像データと、参照画像記憶部３２９から読み出した、符号化対象画像よりも１フレーム前の復号画像の画像データとに基づいて、動きベクトルを探索する。

また、動き探索部３３０は、原画間引き部３２１から出力された原画データと、参照画像変換部３３４から出力された拡縮変換後の参照画像（以下、「拡縮参照画像」と称する場合がある。）の画像データとに基づいて、動きベクトルを探索する。すなわち、動き探索部３３０は、原画間引き部３２１から出力された符号化対象の画像データと、参照画像変換部３３４から出力された、符号化対象画像よりも１フレーム前における変形後の復号画像の画像データとに基づいて、動きベクトルを探索する。

動き探索部３３０では、２つの動きベクトルを算出するが、探索結果の良い動きベクトルを、予測画像生成部３３１と可変長符号化部３２５へ出力する。例えば、算出した動きベクトルの大きさが小さい方（又は大きい方）を、探索結果の良い動きベクトルとしてもよい。

予測画像生成部３３１は、参照画像記憶部３２９から読み出した参照画像の画像データに対して、動き探索部３３０から出力された動きベクトルの分だけずらした予測画像の画像データを生成する。予測画像生成部３３１は、生成した予測画像の画像データを、減算部３２２と加算部３２８へ出力する。

移動量算出部３３２は、例えば、ＣＡＮデータに基づいて、撮像装置１１０で撮像された物体（又は被写体。以下、「物体」と称する場合がある。）の移動量を算出する。例えば、移動量算出部３３２は、ＣＡＮデータに含まれる車両１００の移動速度ｖ、観測間隔時間ｔ、ハンドルの舵角θなどに基づいて、物体の移動量を算出する。算出方法の詳細は動作例で説明する。物体の移動量は、例えば、物体の移動前の座標位置（ｘ，ｙ，ｚ）と、移動後の座標位置（ｘ’，ｙ’，ｚ’）とで表されもよい。移動量算出部３３２は、算出した物体の移動量を、画像位置算出部３３３へ出力する。

画像位置算出部３３３は、例えば、参照画像に対して、分割領域を設定し、物体の移動量に基づいて、分割領域の各頂点の座標の移動前後の座標位置を算出する。この際、画像位置算出部３３３は、３次元座標系の分割領域の各頂点を、画像上の座標系（又は参照画像上の２次元座標系）の座標位置に変換する。算出方法の詳細は動作例で説明する。画像位置算出部３３３は、分割領域の各頂点座標の移動前後の座標位置を、拡縮参照画像変換パラメータとして、参照画像変換部３３４と可変長符号化部３２５へ出力する。

参照画像変換部３３４は、拡縮参照画像変換パラメータを用いて、ホモグラフィ変換（又は射影変換）を表す行列式Ｈを分割領域毎に算出する。そして、参照画像変換部３３４は、参照画像記憶部３２９から読み出した参照画像を分割領域毎に、行列式Ｈを用いてホモグラフィ変換を施し、変換後の参照画像を合成して、１フレーム分の拡縮参照画像の画像データを生成する。算出方法の詳細は動作例で説明する。参照画像変換部３３４は、生成した拡縮参照画像の画像データを動き探索部３３０へ出力する。

なお、減算部３２２、直交変換部３２３、量子化部３２４、及び可変長符号化部３２５により、例えば、予測画像の画像データを用いて符号化対象の画像データを圧縮符号化する符号化部が形成されてもよい。

＜復号化処理部の構成例＞
図３は復号化処理部３５０の構成例を表す図である。復号化処理部３５０は、可変長復号化部３５１、逆量子化部３５２、逆直交変換部３５３、加算部３５４、参照画像記憶部３５５、拡縮参照画像変換部（以下、「参照画像変換部」と称する場合がある。）３５６、及び予測画像生成部３５７を備える。

可変長復号化部３５１は、ストレージ３４０から読み出した圧縮ストリームに対して、可変長復号化処理を施し、原画データ又は差分画像データの直交成分（例えばＤＣＴ係数）、動きベクトル情報、及び拡縮参照画像変換パラメータを復号する。可変長復号化部３５１は、復号した直交成分を逆量子化部３５２、復号したベクトル情報を予測画像生成部３５７、復号した拡縮参照画像変換パラメータを参照画像変換部３５６へそれぞれ出力する。

逆量子化部３５２は、原画データ又は差分画像データの直交成分に対して、符号化処理部３２０の量子化部３２４で利用した量子化ステップで乗算し、符号化処理部３２０における量子化前の原画データ又は差分画像データの直交成分を算出する。逆量子化部３５２は、算出した原画データ又は差分画像データの直交成分を逆直交変換部３５３へ出力する。

逆直交変換部３５３は、原画データ又は差分画像の画像データの直交成分に対して、例えば、所定の演算方式を利用して、逆直交変換（例えば、逆ＤＣＴ変換）を行い、直交変換前の原画データ又は差分画像データを算出する。逆直交変換部３５３は、算出した原画データ又は差分画像データを加算部３５４へ出力する。

加算部３５４は、逆直交変換部３５３からの出力が原画データのとき、原画データを予測画像の画像データに加算することなくそのまま出力する。また、加算部３５４は、逆直交変換部３５３からの出力が差分画像データのとき、差分画像データと、予測画像生成部３５７から出力された予測画像の画像データとを加算して出力する。これにより、例えば、Ｉピクチャに対応する原画の原画データは、そのまま復号画像データとして出力され、ＢピクチャやＰピクチャに対応する差分画像は、予測画像と加算されて加算後の画像データが復号画像データとして出力される。なお、加算部３５４は、原画データ又は加算後の画像データを参照画像の画像データとして、参照画像記憶部３５５に記憶する。

参照画像記憶部３５５は、加算部３５４から出力された参照画像の画像データを記憶する。参照画像記憶部３５５に記憶された画像データは、参照画像変換部３５６や予測画像生成部３５７によって、参照画像記憶部３５５から適宜読み出すことが可能である。

参照画像変換部３５６は、拡縮参照画像変換パラメータに基づいて、ホモグラフィ変換で利用する行列式Ｈを算出し、参照画像記憶部３５５から読み出した参照画像の画像データに対して行列式Ｈを利用してホモグラフィ変換を施す。この場合、拡縮参照画像変換パラメータには、分割領域における移動前後の各頂点座標が含まれる。そのため、参照画像変換部３５６は、符号化処理部３２０の参照画像変換部３３４と同様に、分割領域毎に参照画像に対してホモグラフィ変換を施して、変換後の参照画像を合成して１フレーム分の画像とすることで、拡縮参照画像の画像データを生成する。参照画像変換部３５６は、生成した拡縮参照画像の画像データを、予測画像生成部３５７へ出力する。

予測画像生成部３５７は、拡縮参照画像の画像データ、又は参照画像記憶部３５５から読み出した参照画像の画像データに対して、動きベクトル情報に含まれる動きベクトルの分だけずらした画像データを生成する。予測画像生成部３５７は、拡縮参照画像の画像データに対して動きベクトル分ずらした画像の画像データ、又は、参照画像の画像データに対して動きベクトル分ずらした画像の画像データのいずれか一方を加算部３５４へ出力する。

＜動作例＞
次に動作例について説明する。動作例は、以下の順番で説明する。
＜１．撮像装置で撮像された画像の例＞
＜２．符号化処理＞
＜２．１ 移動量算出処理＞
＜２．２ 移動前後画像位置算出処理＞
＜２．３ 拡縮参照画像変換処理＞
＜３．復号化処理＞

＜１．撮像装置で撮像された画像の例＞
図４（Ａ）は車両１００に搭載された撮像装置１１０で撮像された画像の例を表し、図４（Ｂ）は、図４（Ａ）の画像に対して観測間隔時間ｔ経過後の画像の例を表している。

図４（Ａ）に示す画像のうち、四角い枠内に含まれる木４１０と標識４２０に着目する。この場合、木４１０の車両１００からの距離と、標識４２０の車両１００からの距離とを比較すると、前者の方が後者よりも遠い距離に存在する。

従って、観測間隔時間ｔ経過後においては、図４（Ｂ）に示すように、標識４２０の拡大率は、木４１０の拡大率よりも大きい。なお、図５（Ｂ）は、車両１００の木４１０、及び標識４２０の位置関係の例を表している。

例えば、参照画像が図４（Ａ）の場合、四角い枠に着目し、この枠内にある木４１０と標識４２０をある拡大率で一律に拡大する場合を考える。

図５（Ａ）は、同じ拡大率で木４１０と標識４２０を拡大した場合の枠内の画像の例を表している。図５（Ａ）に示す画像を参照画像とする場合と、図４（Ｂ）の四角い枠内で示される画像を参照画像とする場合とを比較すると、明らかに図４（Ｂ）に示す参照画像を用いた方が、実際の画像に合致する。これは、車両１００から木４１０までの距離と、車両１００から標識４２０までの距離の差に基づいている。すなわち、車両１００から木４１０までの距離は、車両１００から標識４２０までの距離よりも遠くなっており、観測間隔時間ｔ経過しても、木４１０は標識４２０と比較してそれほど拡大していない。一方で、車両１００から標識４２０までの距離は、木４１０までの距離よりも近いことから、観測間隔時間ｔ経過後、標識４２０は木４１０よりも大きく拡大している。画像内に複数の物体（木４１０や標識４２０）が存在する場合、車両１００からの距離に応じて、各物体の拡大率が異なっている。

本第１の実施例では、符号化処理部３２０において、このような各物体の拡大率を考慮して参照画像（例えば図４（Ａ））に対して変形を施した拡縮参照画像（例えば図４（Ｂ））を生成する。そして、符号化処理部３２０では、この拡縮参照画像と符号化対象画像（例えば図４（Ｂ））とに基づいて動きベクトルを探索するようにしている。これにより、例えば、符号化処理部３２０において、一律に拡大した参照画像（例えば図５（Ａ））よりも、拡縮参照画像の方が、符号化対象画像との一致率が高くなる。一致率が高くなることで、拡縮参照画像を利用して動きベクトルを探索した方が、一律に拡大した参照画像を利用して動きベクトルを探索するよりも、正確な動きベクトルを算出することも可能となる。

＜２．符号化処理＞
図６と図７は符号化処理の例を表すフローチャートである。

図６に示すように、符号化処理部３２０は、原画データを入力するなどして、処理を開始すると（Ｓ１０）、初回処理開始時か否かを判別する（Ｓ１１）。例えば、符号化処理部３２０では以下の処理を行う。すなわち、原画間引き部３２１は、原画データの入力タイミングを計測しており、初めて原画データを入力したときや、前回の処理から相当期間経過後に原画データを入力したときは、初回処理開始であると判別する（Ｓ１１でｙｅｓ）。一方、原画間引き部３２１は、そうでないときは初回処理開始ではない（Ｓ１１でｎｏ）と判別する。

符号化処理部３２０は、初回処理開始のとき（Ｓ１１でｙｅｓ）、原画データとＣＡＮデータとの頭合わせを行う（Ｓ１２）。例えば、原画間引き部３２１は、原画データに含まれる時刻情報とＣＡＮデータに含まれる時刻情報とが一致するタイミングで、原画データを出力する。

一方、符号化処理部３２０は、初回処理開始ではないとき（Ｓ１１でｎｏ）、指定距離まで原画データとＣＡＮデータとを読み飛ばす（Ｓ１３）。例えば、原画間引き部３２１は、移動量算出部３３２から出力された移動量に合致するように、入力した原画データを所定フレーム間引いて、出力する。或いは、原画間引き部３２１は、例えば、ＣＡＮデータに含まれるデータに基づいて、車両１００の移動距離ｌを算出し、算出した移動距離ｌが指定距離と一致するまで、入力した原画データを破棄し、一致したときに入力した原画データを出力してもよい。

符号化処理部３２０は、Ｓ１２又はＳ１３の処理を終了すると、入力した原画データが１フレーム目か否かを判別する（Ｓ１４）。例えば、減算部３２２は、入力した原画データのフレーム数をカウントし、カウント値が「１」か否かにより判別する。この場合、減算部３２２は、フレーム数がＧＯＰ（Group of Picture）のフレーム数（例えば１５フレームや３０フレームなど）になるとカウント値をクリアし、再び１フレーム目から順番にカウントを開始する。

符号化処理部３２０は、原画データが１フレーム目のとき（Ｓ１４でｙｅｓ）、原画データに対して直交変換を行う（Ｓ１５）。例えば、減算部３２２は、カウント値が「１」のとき、原画データを加算することなく直交変換部３２３へ出力し、直交変換部３２３は原画データに対して直交変換を行う。１フレームは、例えば、イントラフレームであり、符号化処理部３２０は、１フレーム目の原画データに対して、以下に示すフレーム内符号化処理を行うことになる。

すなわち、符号化処理部３２０は、直交変換後の１フレーム目の原画データの直交成分（又は変換係数）に対して、量子化処理を施す（Ｓ１６）。例えば、量子化部３２４は、直交変換部３２３から出力された変換係数に対して量子化ステップで除算した結果を整数値で丸めた量子化値を生成する。

次に、符号化処理部３２０は、量子化値に対して可変長符号化処理を施す（図７のＳ１７）。例えば、可変長符号化部３２５は、ＣＡＢＡＣなどの符号化方式を利用して、量子化値に対して可変長符号化処理を施す。

次に、符号化処理部３２０は、圧縮ストリームをストレージ３４０へ出力する（Ｓ１８）。

また、符号化処理部３２０は、量子化値（Ｓ１６）に対して、逆量子化処理を施すことで、量子化前の変換係数を算出し（Ｓ１９）、算出した変換係数に対して逆直交変換を施すことで、原画の原画データを復号する（Ｓ２０）。符号化処理部３２０は、復号画像である原画の原画データを参照画像の画像データとして参照画像記憶部３２９に記憶する。

符号化処理部３２０は、Ｓ１８とＳ２１の処理が終了すると、画像データの有無を判別し（Ｓ２２）、画像データがあれば（Ｓ２２でｙｅｓ）、Ｓ１０へ移行し、画像データが無ければ（Ｓ２２でｎｏ）、符号化処理を終了する（Ｓ２３）。例えば、原画間引き部３２１は、原画データの入力の有無により、画像データの有無を判別してもよい。

一方、符号化処理部３２０は、原画データが１フレーム目の原画データではないとき（Ｓ１４でｎｏ）、移動量算出処理を行う（Ｓ３０）。

＜２．１ 移動量算出処理＞
図８は移動量算出処理の例を表すフローチャートである。

符号化処理部３２０は、移動量算出処理を開始すると（Ｓ３００）、ＣＡＮデータに基づいて、ハンドルの舵角θが「０」か否かを判別する（Ｓ３０１）。例えば、移動量算出部３３２は、ＣＡＮデータから抽出したハンドルの舵角θが「０」か否かにより判別する。

符号化処理部３２０は、ハンドルの舵角θが「０」ではないとき（Ｓ３０１でｎｏ）、以下に示す式（３）を利用して、車両移動後の物体の位置（ｘ’，ｙ’，ｚ’）を算出する（Ｓ３０２）。

図９は、ハンドルの舵角θと回転半径ｒとの関係例を表す図である。回転半径ｒは、例えば、ハンドルの舵角がθで車両１００が走行するときに、車両１００が描く円の半径を表す。ただし、車両１００のタイヤは路面に完全に接地し、スリップしていない状態で、かつ、オーバステアリングやアンダーステアリングではない状態と仮定する。

図９に示すように、αとα’は対頂角の関係から、α＝α’となり、θ＝θ’となる。従って、α＋θ＝α’＋θ’＝π／２を得る。これを変形すると、ｓｉｎθ＝ｓｉｎθ’＝ｈ／ｒとなる。従って、回転半径ｒは、

となる。

図１０（Ａ）は、車両１００の移動例を表す図であり、図１０（Ｂ）は車両座標系における物体の移動例を表す図である。

図１０（Ａ）と図１０（Ｂ）は、横軸がｘ軸、縦軸がｙ軸、紙面から上に向かう軸（又は重力が働く方向と逆方向の軸）がｚ軸である。ただし、図１０（Ａ）と図１０（Ｂ）は、説明を考慮して、各位置を２次元の（ｘ，ｙ）で表しており、実際には、各位置は３次元の（ｘ，ｙ，ｚ）で表される。

図１０（Ａ）に示すように、車両１００は移動前に（０，０）に位置し、時間ｔ経過後に（Ｃ_ｘ，Ｃ_ｙ）に移動する。この場合、車両１００は、ハンドルの舵角がθとなっており、ｘ軸、ｙ軸、ｚ軸の接点を中心にして、移動距離はｌ、移動角度はφとなる。移動角度φは、移動距離ｌと回転半径ｒ、及び式（１）とを用いて、

となる。

図１０（Ｂ）は、車両座標系における物体の移動量を表す図である。図１０（Ｂ）に示す車両１００自体の移動は、図１０（Ａ）と同一であるが、車両１００の位置を移動前後に関係なく（０，０）（３次元で表すと（０，０，０））とした場合の例である。車両１００が移動しても車両１００自体の位置を（０，０）とした場合において、車両１００周辺の物体がどのように移動したかを表す座標系が、例えば、車両座標系となっている。図１０（Ａ）に示すように実際には、車両１００が移動角度φで移動した場合、物体の位置（ｘ，ｙ）自体は変わらないが、車両座標系で見ると、図１０（Ｂ）に示すように、物体の位置は、（ｘ，ｙ）から（ｘ’，ｙ’）へ移動する。ただし、移動角度φは、図１０（Ａ）の場合でも図１０（Ｂ）の場合でも変わらない。

ここで、車両座標系において、車両１００が移動する前の物体の位置を（ｘ，ｙ，ｚ）とし、車両１００が移動した後の物体の位置を（ｘ’，ｙ’，ｚ’）とすると、（ｘ’，ｙ’，ｚ’）は、

により表される。

式（３）において、

は、例えば、座標位置の平行移動を表している。図１０（Ｂ）に示すように、車両１００の座標位置を（０，０，０）とすると、ｘ軸、ｙ軸、ｚ軸の接点は（−ｒ，０，０）となり、この接点を中心にして、物体が移動している。車両１００の座標位置を（ｒ，０，０）とすれば、この接点が原点（０，０，０）となるため、車両１００の座標位置を（０，０，０）から（ｒ，０，０）へ平行移動させることで、ｘ軸、ｙ軸、ｚ軸の接点を原点（０，０，０）にすることができ、原点を中心にした角度として、移動角度φを表すことができる。

また、式（３）において、

は、例えば、座標位置の平行移動と回転とを表している。

式（５）の行列式のうち、第４列（−ｒを含む列）は平行移動を表す。すなわち、式（４）により、原点が「ｒ」だけｘ軸方向へ平行移動しており、これを元に戻すため、原点を「−ｒ」だけｘ軸方向へ平行移動させる処理を行うことを表している。これにより、例えば、車両１００の位置が原点（０，０，０）に戻されることになる。

また、式（５）の行列式のうち、第１列から第３列はｚ軸を中心にして、−φの方向にｘ軸とｙ軸を回転させたときの回転行列を表している。式（５）は全体として、ｘ軸、ｙ軸、ｚ軸の接点を原点として、ｚ軸を中心に、移動角度φだけ回転させ、その後、原点を、接点から車両１００の位置へ平行移動させることを表している。

移動量算出部３３２は、例えば、以下の処理を行う。すなわち、移動量算出部３３２は、式（２）と式（３）を内部メモリに保持する。移動量算出部３３２は、ハンドルの舵角θが「０」ではないことを確認すると、車両１００の速度ｖ、観測間隔時間ｔ、ハンドルの舵角θを、式（２）に代入して、移動角度φを算出する。そして、移動量算出部３３２は、算出した移動角度φを、式（３）に代入して、車両１００移動前の物体の座標位置（ｘ，ｙ，ｚ）に対し、車両１００の移動後の物体の座標位置（ｘ’，ｙ’，ｚ’）を算出する。

なお、式（３）において、（ｘ’，ｙ’，ｚ’，１）として４次元で表されているが、式（３）の左式の４行目の「１」は、式（３）の行列式において、１つの行列式の中で、回転行列だけではなく、平行移動を表す行列式を表すようにするために挿入されたものである。

図８に戻り、次に、符号化処理部３２０は、移動量を出力する（Ｓ３０３）。例えば、移動量算出部３３２は、移動量として、（ｘ，ｙ，ｚ）と（ｘ’，ｙ’，ｚ’）とを、画像位置算出部３３３と原画間引き部３２１へ出力する。

そして、符号化処理部３２０は、移動量算出処理を終了する（Ｓ３０４）。

一方、符号化処理部３２０は、ハンドルの舵角θが「０」のとき（Ｓ３０１でｙｅｓ）、式（６）を利用して、車両移動後の物体の位置（ｘ’，ｙ’，ｚ’）を算出する（Ｓ３０５）。

図１１（Ａ）は、ハンドルの舵角θが「０」のときの車両１００の移動例を表す図である。また、図１１（Ｂ）は、車両座標系においてハンドルの舵角θが「０」のときの物体の移動例を表す図である。

図１１（Ａ）に示すように、舵角θが「０」のとき、観測間隔時間ｔ経過後の車両１００の位置は、ｌ＝ｖｔとすると、（０，０）から（０，ｌ）へ変化する。従って、図１１（Ｂ）に示すように、車両座標系では、物体の位置（ｘ，ｙ）から（ｘ’，ｙ’）へ変化する。これを３次元座標で表すと、車両移動前の物体の位置（ｘ，ｙ，ｚ）に対して、車両移動後の物体の位置（ｘ’，ｙ’，ｚ’）は、

で表すことができる。

式（６）に示す行列式も、第１列から第３列により回転、第４列により平行移動をそれぞれ表している。この場合、車両１００は、舵角θが「０」のため、回転運動することはなく、第１列から第３列では単位行列により回転行列が表されている。また、物体の移動は、図１１（Ｂ）に示すように、ｙ軸方向へ「−ｖｔ」だけ移動するため、式（６）の第４列では、２行目が「−ｖｔ」となっている。

移動量算出部３３２は、例えば、以下の処理を行う。すなわち、移動量算出部３３２は、ＣＡＮデータからハンドルの舵角θが「０」であることを確認すると、内部メモリに記憶した式（６）を読み出して、ＣＡＮデータに含まれる車両１００の速度ｖと、観測間隔時間ｔとを式（６）に代入し、車両移動後の物体の座標位置（ｘ’，ｙ’，ｚ’）を算出する。

図８に戻り、次に、符号化処理部３２０は、算出した移動量を出力する（Ｓ３０３）。例えば、移動量算出部３３２は、（ｘ，ｙ，ｚ）と式（６）で算出した（ｘ’，ｙ’，ｚ’）とを、画像位置算出部３３３へ出力する。

そして、符号化処理部３２０は、移動量算出処理を終了する（Ｓ３０４）。

図６に戻り、符号化処理部３２０は、移動量算出処理（Ｓ３０）を終了すると、移動前後画像位置算出処理を行う（Ｓ３２）。

＜２．２ 移動前後画像位置算出処理＞
図１２は、移動前後画像位置算出処理（以下、「画像位置算出処理」と称する場合がある。）の例を表すフローチャートである。

符号化処理部３２０は、画像位置算出処理を開始すると（Ｓ３２０）、車両データから分割領域における各頂点座標を決定する（Ｓ３２１）。画像位置算出処理においては、例えば、図１４に示すように、参照画像に対して分割領域を設定する。後段の、参照画像変換部３３４では、分割領域毎に参照画像に対してホモグラフィ変換を施す。画像位置算出処理においては、最初に、本処理において、この分割領域を設定する処理を行っている。

図１３は、車両１００の設定された分割領域の例を表す図である。撮像装置１１０の位置を原点（０，０，０）とし、撮像装置１１０に近い四角形の頂点座標はＡ，Ｂ，Ｃ，Ｄにより表され、撮像装置１１０から遠い方の四角形の頂点座標はＥ，Ｆ，Ｇ，Ｈにより表されている。図１３では、２つの四角形ＡＢＣＤ，ＥＦＧＨは同じ大きさとなっているが、撮像装置１１０から見た２つの四角形ＡＢＣＤ，ＥＦＧＨは、例えば、図１４に示すように、四角形ＡＢＣＤは大きく、四角形ＥＦＧＨは小さく表示される。

図１４において、各分割領域は、例えば、上分割領域、右分割領域、下分割領域、左分割領域、中央分割領域の５つの領域となる。

上分割領域は、頂点座標ＡＤＨＥにより表された領域である。上分割領域は、例えば、建物や空などが撮像される領域となる。

右分割領域は、頂点座標ＣＤＨＧにより表された領域である。また、左分割領域は、頂点座標ＡＢＦＥにより表された領域である。右分割領域と左分割領域は、例えば、建物や歩道などが撮像される領域となる。

下分割領域は、頂点座標ＢＣＧＦにより表された領域である。下分割領域は、例えば、道路面などが撮像される領域となる。

中央分割領域は、頂点座標ＥＦＧＨにより表された領域である。中央分割領域は、例えば、車両１００から所定距離離れた領域にある面となっている。中央分割領域は、例えば、参照画像の中心点が含まれる領域となる。

画像位置算出部３３３は、例えば、車両データに含まれるカメラの高さなどの情報から、分割領域の各頂点座標Ａ〜Ｈを決定する。各頂点座標Ａ〜Ｈの例としては、
Ａ（−３，１．５，９）、Ｂ（−３，１．５，−１）、Ｃ（５，１．５，−１）、Ｄ（５，１．５，９）、Ｅ（−３，１００，９）、Ｆ（−３，１００，−１）、Ｇ（５，１００，−１）、Ｈ（５，１００，９）
となる。

また、画像位置算出部３３３は、車両１００が移動した後の分割領域の各頂点座標Ａ’からＨ’も決定する。例えば、図１３の例では、車両１００の移動前の各頂点座標Ａ〜Ｈを表しているが、車両１００が移動した後の各頂点座標Ａ’〜Ｈ’もある。画像位置算出部３３３は、例えば、車両移動後の車両データに基づいて、各頂点座標Ａ’〜Ｈ’を算出する。

なお、画像位置算出部３３３は、例えば、内部メモリに固定値として、各頂点座標Ａ〜Ｈ，Ａ’〜Ｈ’の座標位置を保持してもよく、各頂点座標Ａ〜Ｈ，Ａ’〜Ｈ’の座標位置を本処理の際に内部メモリから読み出すようにしてもよい。

なお、図１４に示す分割領域の頂点座標Ａ〜Ｈは一例であって、それ以外の数値でもよいし、頂点ＡＢＣＤが参照画像の枠の４頂点と一致してもよいし、頂点ＡＢＣＤが参照画像の枠内にあってもよい。

図１２に戻り、次に、符号化処理部３２０は、移動前の頂点座標（ｘ，ｙ，ｚ）を、画像上の２次元座標系（ｕ，ｖ）へ変換する（Ｓ３２２）。例えば、画像位置算出部３３３は、以下の式（７）を用いて、座標（ｕ，ｖ）への変換を行う。

式（７）の右辺で２番目の行列式

は、例えば、車両座標系（例えば、車両１００の中心を原点）から、撮像装置１１０の座標系（例えば、撮像装置１１０の位置を原点）への変換を表している。式（８）は、この変換を、回転（第１列から第３列）と平行移動（第４列）により、行われることを表している。

また、式（７）の右辺で１番目の行列式

は、例えば、主点（又は画像の中心点）ｃ_ｘ，ｃ_ｙへの平行移動と、焦点距離ｆ_ｘ，ｆ_ｙの拡大又は縮小を表している。

主点は、例えば、撮像装置１１０に入射する画像の光軸と、撮像装置１１０における撮像素子との接点を表す。主点の例を、図１７（Ａ）に示す。本第１の実施の形態では、この主点を、例えば、画像の中心点としている。主点のｘ座標とｙ座標とがそれぞれｃ_ｘ，ｃ_ｙとして表されている。図１４に示す分割領域において、中央分割領域ＥＦＧＨには、画像の中心点が含まれる。

式（９）において、焦点距離ｆ_ｘ，ｆ_ｙは、例えば、撮像装置１１０の撮像素子面とレンズの中心点との最短距離を表しており、ｆ_ｘはｘ軸方向、ｆ_ｙはｙ軸方向の各方向における最短距離を表している。

画像位置算出部３３３は、例えば、以下の処理を行う。すなわち、画像位置算出部３３３は、内部メモリに式（７）を記憶する。画像位置算出部３３３は、移動量算出部３３２から、車両移動前の物体の位置（ｘ，ｙ，ｚ）を受け取ると、式（７）を読み出して、受け取った（ｘ，ｙ，ｚ）を式（７）に代入することで、（ｕ，ｖ）を得る。このとき、画像位置算出部３３３は、分割領域の各頂点座標Ａ〜Ｈを、車両移動前の物体の位置（ｘ，ｙ，ｚ）として、式（７）に代入する。すなわち、画像位置算出部３３３は、Ａ（−３，１．５，９）を（ｘ，ｙ，ｚ）として、式（７）に代入して、２次元座標ａ（ｕ，ｖ）へ変換する。画像位置算出部３３３は、同様にして、他の頂点座標Ｂ〜Ｈを、式（７）に各々代入することで、２次元座標系ｂ〜ｈを得る。従って、画像位置算出部３３３は、分割領域の各頂点座標Ａ〜Ｈを、式（７）に代入して、画像上の座標位置ａ〜ｈをそれぞれ算出する。

図１２に戻り、次に、符号化処理部３２０は、車両移動後の各頂点座標（ｘ’，ｙ’，ｚ’）を、画像上の２次元座標（ｕ’，ｖ’）へ変換する（Ｓ３２３）。

画像位置算出部３３３は、例えば、以下の処理を行う。すなわち、画像位置算出部３３３は、内部メモリに記憶した式（７）を読み出して、移動量算出部３３２から受け取った、車両移動後の物体の位置（ｘ’，ｙ’ｚ’）を式（７）に代入することで、画像上の２次元座標（ｕ’，ｖ’）を得る。このとき、画像位置算出部３３３は、分割領域の各頂点座標Ａ’〜Ｈ’を、車両移動前の物体の位置（ｘ’，ｙ’，ｚ’）であるとして、式（７）の（ｘ，ｙ，ｚ）に代入する。すなわち、画像位置算出部３３３は、Ａ’の座標（ｘ’，ｙ’，ｚ’）を式（７）に代入して、３次元座標Ａ’を２次元座標ａ’（ｕ’，ｖ’）へ変換する。画像位置算出部３３３は、同様にして、他の頂点座標Ｂ’〜Ｈ’を、式（７）に各々代入して、２次元座標ｂ’〜ｈ’を得る。従って、画像位置算出部３３３は、分割領域の各頂点座標Ａ’〜Ｈ’を、式（７）に代入して、画像上の座標位置ａ’〜ｈ’をそれぞれ算出する。

図１５（Ａ）は車両移動前における分割領域の各頂点座標ａ〜ｈの例、図１５（Ｂ）は車両移動後における分割領域の各頂点座標ａ’〜ｈ’の例をそれぞれ表している。

図１２に戻り、次に、符号化処理部３２０は、変換後の分割領域の各頂点座標ａ〜ｈ，ａ’〜ｈ’を出力する（Ｓ３２４）。例えば、画像位置算出部３３３は、変換後の各頂点座標ａ〜ｈ，ａ’〜ｈ’を、参照画像変換部３３４へ出力する。

そして、符号化処理部３２０は、移動前後画像位置算出処理を終了する（Ｓ３２５）。

図６に戻り、符号化処理部３２０は、移動前後画像位置算出処理を終了すると（Ｓ３２）、拡縮参照画像変換処理（Ｓ３４）を行う。

＜２．３ 拡縮参照画像変換処理＞
図１６は、拡縮参照画像変換処理の例を表すフローチャートである。

符号化処理部３２０は、処理を開始すると（Ｓ３４０）、移動前後の分割領域の各頂点座標ａ〜ｈ，ａ’〜ｈ’から、ホモグラフィ変換を表す行列式Ｈを算出する（Ｓ３４１）。

ホモグラフィ変換とは、例えば、射影変換を用いて、ある平面を別の平面に変換することである。本第１の実施の形態では、例えば、車両移動前における分割領域の各頂点座標ａ〜ｈを、車両移動後における分割領域の各頂点座標ａ’〜ｈ’へ変換することである。例えば、図１９に示すように、分割領域の頂点ａを、ホモグラフィ変換により、頂点ａ’へ移動させ、分割領域の頂点ｂを、ホモグラフィ変換により、頂点ｂ’へ移動させるなどである。

ホモグラフィ変換前の座標を（ｘ，ｙ）、ホモグラフィ変換後の座標を（Ｘ，Ｙ）とする。このとき、

とし、

とする。ここで、

としたとき、

により表された式がホモグラフィ変換である。

式（１４）において、Ｈは、ホモグラフィ変換を表す行列式であって、

で表される。

式（１４）を変形すると、

となる。

ここで、式（１２）の「Ｗ’」について説明する。

図１７（Ａ）は、物体の実際の大きさと撮像素子面に写る物体の大きさとの関係例を表す図である。撮像装置１１０の撮像素子面からレンズの中心点までの距離が焦点距離Ｆであり、レンズの中心点から物体までの距離をＺ１とする。物体の実際の大きさはＯとする。撮像素子面に写る物体の大きさを、Ｌ１とする。

図１７（Ｂ）は、同じ大きさの物体が、図１７（Ａ）と比較して遠い距離Ｚ２（＞Ｚ１）に位置するときの関係例を表す図である。この場合、撮像素子面に写る物体の大きさＬ２は、近い距離に位置する図１７（Ａ）の場合の物体の大きさＬ１と比較して、小さくなる（Ｌ２＜Ｌ１）。

すなわち、物体の大きさが変わらなければ、レンズの中心点からの距離が遠いほど、撮像素子面に写る物体の大きさは小さくなる。逆に、物体の大きさが変わらなければ、レンズの中心点からの距離が小さいほど、撮像素子面に写る物体の大きさは大きくなる。

図１８（Ａ）は、観測間隔時間ｔ経過後における物体の位置の変化と、撮像素子面に写る物体の変化の関係例を表す図である。図１８（Ａ）に示すように、車両１００が前方に移動すると、撮像装置１１０では、物体＃１が手前に移動するように見える。観測間隔時間ｔ経過後、物体＃１は、レンズの中心点からの距離がＺ３から、Ｚ４となる。このとき、撮像素子面に写る物体＃１の大きさは、Ｌ４からＬ３となる。すなわち、図１８（Ａ）の例では、観測間隔時間ｔ経過後において、撮像素子面に写る物体の大きさは、（Ｌ４−Ｌ３）だけ大きくなる。

図１８（Ｂ）も、図１８（Ａ）と同様に物体の位置の変化と撮像素子面に写る物体の変化の関係例を表す図である。図１８（Ｂ）の場合、図１８（Ａ）と比較して、物体＃２の実際の大きさは、物体＃１と同じＯとなっているが、物体＃２は物体１と比較して、レンズの中心点からの処理が近い距離に位置している。

図１８（Ｂ）の場合も、同じ観測間隔時間ｔ経過後、物体＃２の位置は、撮像装置１１０から見ると、物体＃１と同じ距離Ｚ（＝Ｚ５−Ｚ６＝Ｚ３−Ｚ４）だけ移動する。しかし、撮像素子面に写る物体＃２の大きさの変化（＝Ｌ６−Ｌ５）は、図１８（Ａ）の大きさの変化（Ｌ４−Ｌ３）と比較して、大きい。

これは、物体＃２の方が、物体＃１よりも撮像装置１１０の近くで移動するからである。或いは、撮像装置１１０から遠い距離で物体＃１が移動した場合の方が、撮像素子面における大きさの変化はそれほど大きくはないが、近い距離で物体＃２が移動した場合は、撮像素子面における大きさは大きく変化する。

式（１６）などに示す「Ｗ’」は、例えば、レンズの中心点から物体＃１、＃２までの距離Ｚ１〜Ｚ６を表している（又は、距離Ｚ１〜Ｚ６に比例する値を表している）。

例えば、撮像装置１１０からの距離が遠いほど、「Ｗ’」は大きくなる。従って、式（１６）においては、ホモグラフィ変換後の位置Ｐは、変換前の位置ｐに対して、「１／Ｗ’」倍していることから、変換前の位置ｐを小さい値で拡大したものとなっている。

一方、例えば、撮像装置１１０からの距離が近いほど、「Ｗ’」は小さくなる。従って、式（１６）においては、ホモグラフィ変換後の位置Ｐは、ホモグラフィ変換前の位置ｐに対して、大きな値で拡大したものとなっている。

そして、本第１の実施の形態では、図１３や図１４などに示すように、符号化処理部３２０において、分割領域毎にホモグラフィ変換を施すようにしている。これにより、例えば、撮像装置１１０から最も遠い面にある中央分割領域ＥＦＧＨに適用するホモグラフィ変換と、それ以外の分割領域に適用するホモグラフィ変換とでは、その距離が異なることから、「Ｗ’」も異なるものとなる。すなわち、符号化処理部３２０では、分割領域毎にホモグラフィ変換を適用することで、分割領域において参照画像の中心点を含む領域の拡大率よりも、参照画像の外周を含む領域の拡大率を高くすることが可能となる。これは、撮像装置１１０で撮像された、物体の移動、例えば、画像に写る物体は距離が遠いほど時間が経過することによる物体の大きさはそれほど大きく変化しないが、距離が近いほど大きく変化する、という画像に相当するものとなる。

符号化処理部３２０では、例えば、以下の処理を行う。すなわち、参照画像変換部３３４は、式（１６）（又は式（１２）〜式（１４））を内部メモリに保持し、画像位置算出部３３３から受け取ったａ〜ｈを、ホモグラフィ変換前のｐ、ａ’〜ｈ’をホモグラフィ変換後のＰとして代入する。そして、参照画像変換部３３４は、ホモグラフィ変換を表す行列式Ｈに含まれる各成分を計算する。その際、参照画像変換部３３４は、分割領域ごとに、ホモグラフィ変換を表す行列式Ｈを算出する。従って、図１４に示すように分割領域が５つある場合、参照画像変換部３３４は５つの行列式Ｈ１〜Ｈ５の各成分を算出することになる。

図１６に戻り、次に、符号化処理部３２０は、算出した行列式を用いて、参照画像を分割領域毎にホモグラフィ変換を施す（Ｓ３４２）。例えば、参照画像変換部３３４は、５つの行列式Ｈ１〜Ｈ５を算出できたため、式（１６）を利用して、ホモグラフィ変換前の位置ｐに、参照画像の各位置を代入する。これにより、例えば、ホモグラフィ変換後の参照画像の各位置Ｐを算出することが可能となる。

図１９は、ホモグラフィ変換前後の参照画像の例を表す図である。図１９において、太線で表された四角形の部分に参照画像が含まれる。上述したように、参照画像の（２次元座標変換後の）中央分割領域ｅｆｇｈは、車両移動後には中央分割領域ｅ’ｆ’ｇ’ｈ’となるが、その大きさの変化は、それ以外の分割領域と比較して小さい。逆に、それ以外の分割領域は、中央分割領域ｅｆｇｈ，ｅ’ｆ’ｇ’ｈ’の大きさの変化と比較して大きい。

図１６に戻り、次に、符号化処理部３２０は、ホモグラフィ変換後の参照画像を拡縮参照画像として出力する（Ｓ３４３）。例えば、参照画像変換部３３４は、ホモグラフィ変換後の参照画像を、拡縮参照画像として、動き探索部３３０へ出力する。

そして、符号化処理部３２０は、拡縮参照画像変換処理を終了する（Ｓ３４４）。

図６に戻り、符号化処理部３２０は、拡縮参照画像変換処理（Ｓ３４）を終了すると、動きベクトルを探索する（Ｓ３６）。例えば、動き探索部３３０は、拡縮参照画像と原画間引き部３２１から出力された符号化対象画像とに基づいて動きベクトルを探索する。この場合、動き探索部３３０は、参照画像記憶部３２９から読み出した参照画像と符号化対象画像とに基づいて動きベクトルを探索してもよく、探索した２つの動きベクトルの一方を出力してもよい。

次に、符号化処理部３２０は、予測画像を生成し（Ｓ３７）、原画と予測画像との差分画像を生成する（Ｓ３８）。

次に、符号化処理部３２０は、差分画像に対して直交変換を施して（Ｓ３９）、差分画像の直交変換後の成分（又は変換係数）を算出し、算出した変換係数に対して量子化ステップで量子化する（Ｓ４０）。

次に、符号化処理部３２０は、量子化した変換係数と動きベクトル情報、更に、画像位置算出部３３３から出力された拡縮参照画像変換パラメータ（例えば、ａ〜ｈとａ’〜ｈ’）に対して可変長符号化処理を施す（図７のＳ１７）。なお、動き探索部３３０では、動きベクトルを算出した際に、例えば、拡縮参照画像を利用したのか、参照画像記憶部３２９から読み出した参照画像を利用したのかを表す選択情報を、可変長符号化部３２５へ出力してもよい。この場合、符号化された選択情報が圧縮ストリームに多重化されて、ストレージ３４０に記憶される。

次に、符号化処理部３２０は、可変長符号化された変換係数、動きベクトル、拡縮参照画像変換パラメータなどが多重化された圧縮ストリームを出力する（Ｓ１８）。

一方、符号化処理部３２０は、量子化した変換係数（図６のＳ４０）に対して、量子化ステップで乗算して逆量子化処理を施し（図７のＳ１９）、逆直交変換処理により、直交変換前の差分画像の画像データを復号する（Ｓ２０）。

次に、符号化処理部３２０は、復号画像の画像データを参照画像として参照画像記憶部３２９へ記憶する（Ｓ２１）。

符号化処理部３２０は、差分画像の画像データに対して、Ｓ１８とＳ２１の処理を終了すると、画像データの有無を判別し（Ｓ２２）、画像データがあればＳ１０へ移行して上述した処理を繰り返す（Ｓ２２でｙｅｓ）。一方、符号化処理部３２０は、画像データが無ければ（Ｓ２２でｎｏ）、符号化処理を終了する（Ｓ２３）。

＜３．復号化処理＞
図２０は、復号化処理の例を表すフローチャートである。

復号化処理部３５０は、復号化処理を開始すると（Ｓ５０）、ストレージ３４０から読み出した圧縮ストリームに対して可変長復号化処理を施す（Ｓ５１）。

次に、復号化処理部３５０は、可変長復号化された変換係数に対して、量子化ステップを乗算して逆量子化処理を施す（Ｓ５２）。

次に、復号化処理部３５０は、逆量子化後の変換係数に対して、逆ＤＣＴ変換などの逆直交変換処理を施して、原画データ又は差分画像データを復号する（Ｓ５３）。

次に、復号化処理部３５０は、可変長復号化後のデータに、分割領域の各頂点座標ａ〜ｈ，ａ’〜ｈ’（拡縮参照画像変換パラメータ）が含まれていれば、メモリなどに記憶する（Ｓ５４）。例えば、可変長復号化部３５１は、可変長復号化後のデータに、拡縮参照画像変換パラメータが含まれていれば、このパラメータを、参照画像変換部３５６へ出力し、参照画像変換部３５６は、内部メモリに拡縮参照画像変換パラメータを記憶する。

次に、復号化処理部３５０は動きベクトルの有無を判別する（Ｓ５５）。例えば、可変長復号化部３５１は、可変長復号化したデータの中に動きベクトル情報が含まれているか否かにより判別する。

復号化処理部３５０は、動きベクトルがあるとき（Ｓ５５でｙｅｓ）、分割領域の各頂点座標と参照画像とを用いて拡縮参照画像を生成する（Ｓ５６）。例えば、参照画像変換部３５６は、分割領域の各頂点座標ａ〜ｈ，ａ’〜ｈ’を利用して、ホモグラフィ変換の行列式Ｈを算出し、算出した行列式Ｈを利用して、参照画像記憶部３５５から読み出した参照画像の画像データに対してホモグラフィ変換を施す。参照画像変換部３５６は、符号化処理部３２０の参照画像変換部３３４と同様に、分割領域毎に、ホモグラフィ変換用の行列式Ｈを算出して、参照画像の画像データにホモグラフィ変換を適用する。

次に、復号化処理部３５０は、動きベクトルと拡縮参照画像とを用いて予測画像を生成し（Ｓ５７）、予測画像を用いて復号画像を生成する（Ｓ５８）。例えば、予測画像生成部３５７において予測画像を生成し、加算部３５４において、差分画像の画像データと、予測画像の画像データとを加算して復号画像の画像データを生成する。この場合、予測画像生成部３５７は、拡縮参照画像と参照画像のいずれか一方を利用して予測画像を生成してもよく、可変長復号化部３５１から受け取った選択情報に従っていずれか一方を選択してもよい。

次に、復号化処理部３５０は、生成した復号画像を参照画像として保存し、復号画像を出力する（Ｓ５９，Ｓ６０）。例えば、加算部３５４は、生成した復号画像の画像データを参照画像記憶部３５５に記憶し、復号画像データとして、画像解析部３７０へ出力する。

そして、復号化処理部３５０は、圧縮ストリームの有無を判別し、圧縮ストリームが無ければ（Ｓ６１でｎｏ）、復号化処理を終了する（Ｓ６２）。

一方、復号化処理部３５０は、動きベクトルが無ければ（Ｓ５５でｎｏ）、Ｓ５９へ移行して、上述の処理を繰り返す。この場合は、圧縮ストリームには、原画の圧縮データが含まれることになり、復号化処理部３５０ではフレーム内復号化処理を行う（Ｓ５９〜Ｓ６１）。

また、一方、復号化処理部３５０は、圧縮ストリームが有れば（Ｓ６１でｙｅｓ）、Ｓ５１へ移行して上述した処理を繰り返す。

このように本第１の実施の形態においては、符号化処理部３２０では、参照画像に対して分割領域を設定し、分割領域において、参照画像の中心点を含む領域の拡大率よりも、参照画像の外周を含む領域の拡大率の方が高くなるように参照画像を拡大させている。

これにより、例えば、拡縮参照画像は、距離が遠い地点にいる物体の拡大率は小さく、距離が近い地点にいる物体の拡大率は大きくなり、参照画像そのものよりも、符号化対象画像と似ている画像となる。従って、拡縮参照画像の符号化対象画像の一致率は、参照画像をそのまま用いた場合と比較して高くなる。また、一致率が高くなることで、予測画像も、参照画像をそのまま用いた場合よりも、符号化対象画像と近くなり、差分画像を符号化する場合、圧縮率の低下を防止することができる。

［その他の実施の形態］
図２１は、サーバ３００のハードウェア構成例を表す図である。

サーバ３００は、ＣＰＵ（Central Processing Unit）３８０、ＨＤＤ（Hard Disc Drive）３８１、メモリ３８２、ディスプレイ制御部３８３、ディスプレイ３８４、入力制御部３８５、キーボード３８６、マウス３８７、及びネットワーク制御部３８８を備える。

ＣＰＵ３８０は、例えば、メモリ３８２に記憶されたプログラムを読み出して実行することで、Ｈ．２６ｘ復号化処理部３１０、符号化処理部３２０、復号化処理部３５０、及び画像解析部３７０の機能を実現する。ＣＰＵ３８０は、例えば、Ｈ．２６ｘ復号化処理部３１０、符号化処理部３２０、復号化処理部３５０、及び画像解析部３７０に対応する。

また、ＨＤＤ３８１は、例えば、ストレージ３４０に対応する。さらに、ネットワーク制御部３８８は、例えば、Ｈ．２６ｘ復号化処理部３１０、符号化処理部３２０に対応する。

なお、ＣＰＵ３８０に代えて、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのコントローラやプロセッサであってもよい。

図２２は、画像圧縮装置３２０の構成例を表す図である。画像圧縮装置３２０は、例えば、第１の実施の形態における符号化処理部３２０に対応する。

画像圧縮装置３２０は、移動前後画像位置算出部３３３、拡縮参照画像変換部３３４、予測画像生成部３３１、及び符号化部３３５を備える。なお、符号化部３３５は、例えば、第１の実施の形態における減算部３２２、直交変換部３２３、量子化部３２４、可変長符号化部３２５に対応する。

移動前後画像位置算出部３３３は、符号化対象の画像に対する参照画像に対して分割領域を設定する。

拡縮参照画像変換部３３４は、分割領域において参照画像の中心点を含む領域の拡大率よりも参照画像の外周を含む領域の拡大率が高くなるように、参照画像を拡大させる。画像の中心点は、撮像装置１１０に入射する画像の光軸と撮像装置１１０における撮像素子との接点である。

予測画像生成部３３１は、拡大された参照画像を用いて予測画像を生成する。

符号化部３３５は、生成された予測画像を用いて符号化対象の画像の画像データを圧縮符号化する。

このように、画像圧縮装置３２０では、参照画像の分割領域において参照画像の中心点を含む領域の拡大率よりも参照画像の外周を含む領域の拡大率が高くなるように、参照画像を拡大している。

これにより、例えば、撮像装置１１０で撮像された、物体の移動、例えば、画像に写る物体は距離が遠いほど時間が経過することによる物体の大きさはそれほど大きく変化しないが、距離が近いほど大きく変化する、という参照画像を生成することができる。

従って、生成した参照画像は、参照画像をそのまま用いた場合と比較して、撮像装置１１０で撮像された撮像対象の画像に似た画像となっており、このような画像を用いて生成した予測画像も、撮像対象の画像と似た画像となる。よって、画像圧縮装置３２０では、参照画像と符号化対象画像の一致率を向上させることが可能となる。

また、画像圧縮装置３２０において、予測画像を用いて符号化対象の画像を圧縮しても、参照画像をそのまま用いた場合よりも、拡大された参照画像を用いた方が、符号化対象画像と似ているため、圧縮率の低下を防止させることも可能となる。

以上まとめると付記のようになる。

（付記１）
車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置で実行される画像圧縮プログラムであって、
圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定し、
前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させ、
拡大された前記参照画像を用いて予測画像を生成し、
生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する、
処理を画像圧縮装置に実行させる画像圧縮プログラム。

（付記２）
更に、前記車両から受信した前記車両の速度、観測間隔時間、及び前記車両におけるハンドルの舵角に基づいて、前記車両の移動量を算出し、
算出された前記車両の移動量に基づいて、前記分割領域を設定する
処理を画像圧縮装置に実行させる付記１記載の画像圧縮プログラム。

（付記３）
前記車両の移動前後で前記車両の座標位置を（０，０，０）とした場合において、前記車両が移動する前の物体の座標位置を（ｘ，ｙ，ｚ）、前記車両が移動した後の物体の座標位置を（ｘ’，ｙ’，ｚ’）とし、前記車両の速度、前記観測間隔時間、及び前記ハンドルの舵角に基づいて、前記車両が移動した後の物体の座標位置（ｘ’，ｙ’，ｚ’）を算出し、算出した座標位置（ｘ’，ｙ’，ｚ’）と移動前の座標位置（ｘ，ｙ，ｚ）とを、前記車両の移動量として算出する処理を画像圧縮装置に実行させる付記２記載の画像圧縮プログラム。

（付記４）
前記ハンドルの舵角が「０」でないとき、前記車両の速度をｖ、前記観測時間をｔ、前記ハンドルの舵角をθとし、前記車両の移動角度φを、前記画像圧縮装置のメモリから読み出した以下の式（１７）

に代入して算出し、前記車両の移動角度φと、前記車両が移動する前の物体の座標位置（ｘ，ｙ，ｚ）とを、前記画像圧縮装置のメモリから読み出した、以下の式（１８）

に代入することで、前記車両が移動した後の物体の座標位置（ｘ’，ｙ’，ｚ’）を算出する処理を画像圧縮装置に実行させる付記３記載の画像圧縮プログラム。

（付記５）
前記ハンドルの舵角が「０」のとき、前記車両の速度ｖ、前記観測時間ｔを、前記画像圧縮装置のメモリから読み出した以下の式（１９）

に代入することで、前記車両が移動した後の物体の座標位置（ｘ’，ｙ’，ｚ’）を算出する処理を画像圧縮装置に実行させる付記４記載の画像圧縮プログラム。

（付記６）
前記参照画像に対して、前記車両が移動する前の第１の分割領域と前記車両が移動した後の第２の分割領域とを設定する処理を画像圧縮装置に実行させる付記１記載の画像圧縮プログラム。

（付記７）
３次元座標で表された、前記第１及び第２の分割領域の各頂点座標を、前記参照画像上の２次元座標に変換する処理を画像圧縮装置に実行させる付記６記載の画像圧縮プログラム。

（付記８）
前記第１の分割領域の頂点座標を（ｘ，ｙ，ｚ）とし、前記第１の分割領域の頂点座標（ｘ，ｙ，ｚ）に対する２次元座標を（ｕ，ｖ）とすると、前記画像圧縮装置のメモリから読み出した以下の式（２０）

に（ｘ，ｙ，ｚ）を代入することで、前記２次元座標（ｕ，ｖ）へ変換し、
前記第２の分割領域の頂点座標を（ｘ’，ｙ’，ｚ’）とし、前記第２の分割領域の頂点座標（ｘ’，ｙ’，ｚ’）に対する２次元座標を（ｕ’，ｖ’）とすると、前記画像圧縮装置のメモリから読み出した前記式（２０）の（ｘ，ｙ，ｚ）に前記第２の分割領域の頂点座標（ｘ’，ｙ’，ｚ’）に代入することで、前記２次元座標（ｕ’，ｖ’）へ変換する
ことを特徴とする付記７記載の画像圧縮プログラム。

（付記９）
２次元座標に変換された前記第１及び第２の分割領域の頂点座標を圧縮符号化し、圧縮符号化された画像データと多重化する処理を画像圧縮装置に実行させる付記７記載の画像圧縮プログラム。

（付記１０）
前記第１及び第２の分割領域は、前記参照画像の中心点を含む中央分割領域と、前記中央分割領域の上下方向に上分割領域と下分割領域、前記中央分割領域の左右方向に右分割領域と左分割領域とを含むことを特徴とする付記６記載の画像圧縮プログラム。

（付記１１）
前記参照画像に対して、前記撮像装置から、前記撮像装置で撮像された物体までの距離に比例した値Ｗ’を用いたホモグラフィ変換を前記参照画像に施して、前記参照画像を拡大させる処理を画像圧縮装置に実行させる付記１記載の画像圧縮プログラム。

（付記１２）
ホモグラフィ変換前における前記参照画像の画像上の座標位置を（ｘ，ｙ）、ホモグラフィ変換後における前記参照画像の画像上の座標位置を（Ｘ，Ｙ）とすると、前記画像圧縮装置のメモリから読み出した以下の式（２１）

に、前記座標位置（ｘ，ｙ）を代入することで、前記座標位置（Ｘ，Ｙ）を算出することでホモグラフィ変換を行うことを特徴とする付記１１記載の画像圧縮プログラム。

（付記１３）
前記第１の分割領域の頂点座標の２次元座標（ｕ，ｖ）を式（２１）の（ｘ，ｙ）、前記第２の分割領域の頂点座標の２次元座標（ｕ’，ｖ’）を式（２１）の（Ｘ，Ｙ）に代入して、式（２１）に含まれる行列の各成分ｈ_１１〜ｈ_３３を算出することを特徴とする付記８及び付記１２記載の画像圧縮プログラム。

（付記１４）
車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置において、
圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定する移動前後画像位置算出部と、
前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させる拡縮参照画像変換部と、
拡大された前記参照画像を用いて予測画像を生成する予測画像生成部と、
生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する符号化部と
を備えることを特徴とする画像圧縮装置。

（付記１５）
移動前後画像位置算出部と、拡縮参照画像変換部と、予測画像生成部と、符号化部とを有し、車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置における画像圧縮方法であって、
前記移動前後画像位置算出部により、圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定し、
前記拡縮参照画像変換部により、前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させ、
前記予測画像生成部により、拡大された前記参照画像を用いて予測画像を生成し、
前記符号化部により、生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する
ことを特徴とする画像圧縮方法。

１０：動画像伝送システム １００（１００−１，１００−２）：車両
１１０：撮像装置 １２０：ドライブレコーダ
１２１：Ｈ．２６ｘ符号化処理部 １３０：センサ
１４０：メモリ ２００：ネットワーク
３００：サーバ ３１０：Ｈ．２６ｘ復号化処理部
３２０：符号化処理部 ３２１：原画間引き部
３２２：減算部 ３２３：直交変換部
３２４：量子化部 ３２５：可変長符号化部
３２６：逆量子化部 ３２７：逆直交変換部
３２８：加算部 ３２９：参照画像記憶部
３３０：動き探索部 ３３１：予測画像生成部
３３２：移動量算出部
３３３：移動前後画像位置算出部（画像位置算出部）
３３４：拡縮参照画像変換部（画像変換部）
３４０：ストレージ ３５０：復号化処理部
３５１：可変長復号化部 ３５２：逆量子化部
３５３：逆直交変換部 ３５４：加算部
３５５：参照画像記憶部 ３５６：拡縮参照画像変換部（画像変換部）
３５７：予測画像生成部 ３８０：ＣＰＵ

Claims (5)

1. 車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置で実行される画像圧縮プログラムであって、
   圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定し、
   前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させ、
   拡大された前記参照画像を用いて予測画像を生成し、
   生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する、
   処理を画像圧縮装置に実行させる画像圧縮プログラム。
2. 更に、前記車両から受信した前記車両の速度、観測間隔時間、及び前記車両におけるハンドルの舵角に基づいて、前記車両の移動量を算出し、
   算出された前記車両の移動量に基づいて、前記分割領域を設定する
   処理を画像圧縮装置に実行させる請求項１記載の画像圧縮プログラム。
3. 前記参照画像に対して、前記撮像装置から、前記撮像装置で撮像された物体までの距離に比例した値Ｗ’を用いたホモグラフィ変換を前記参照画像に施して、前記参照画像を拡大させる処理を画像圧縮装置に実行させる請求項１記載の画像圧縮プログラム。
4. 車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置において、
   圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定する移動前後画像位置算出部と、
   前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させる拡縮参照画像変換部と、
   拡大された前記参照画像を用いて予測画像を生成する予測画像生成部と、
   生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する符号化部と
   を備えることを特徴とする画像圧縮装置。
5. 移動前後画像位置算出部と、拡縮参照画像変換部と、予測画像生成部と、符号化部とを有し、車両に搭載された撮像装置で撮像された画像の画像データを圧縮符号化する画像圧縮装置における画像圧縮方法であって、
   前記移動前後画像位置算出部により、圧縮符号化対象の画像に対する参照画像に対して、分割領域を設定し、
   前記拡縮参照画像変換部により、前記撮像装置に入射する前記画像の光軸と前記撮像装置における撮像素子との接点を前記参照画像の中心点とし、前記分割領域において前記参照画像の前記中心点を含む領域の拡大率よりも前記参照画像の外周を含む領域の拡大率が高くなるように、前記参照画像を拡大させ、
   前記予測画像生成部により、拡大された前記参照画像を用いて予測画像を生成し、
   前記符号化部により、生成された前記予測画像を用いて前記圧縮符号化対象の画像の画像データを圧縮符号化する
   ことを特徴とする画像圧縮方法。

Images