JP2010010818A - 動きベクトル割付装置、フレームレート変換装置、動画像符号化装置、動きベクトル割付方法、動きベクトル割付プログラム、および、記録媒体 - Google Patents

Abstract

【課題】フレームインしてくる像、および、フレームアウトしていく像の何れを含む動画像に対しても信頼性の高い内挿画像を生成することができるよう、動きベクトルを内挿フレームに割り付ける。
【解決手段】有効性判定回路１４０によって、前フレームｆ（ｔ−１）の周辺部上のブロックを始点とする前方向動きベクトル、および、現フレームｆ（ｔ）の周辺部上のブロックを始点とする後方向動きベクトルのうち、どちらが有効な動きベクトルであるかを判定し、内挿ベクトル割付回路１５０によって、有効であると判定された方の動きベクトル内挿フレームｆ（ｔ−１／２）の周辺部上のブロックに割り当てる。
【選択図】図１

Description

本発明は、第１および第２のフレームから検出した動きベクトルを、第３のフレームに割り付ける動きベクトル割付装置、動きベクトル割付方法、および、動きベクトル割付プログラムに関する。また、そのような動きベクトル割付装置を備えたフレームレート変換装置、および、動画像符号化装置に関する。更に、そのような動きベクトル割付プログラムが記録された記録媒体に関する。

広く知られているように、動画像中のフレームから検出した動きベクトルを用いて、種々の動画像処理を実現することができる。例えば、動画像中の２つのフレームから検出した動きベクトルに基づいて、その動画像中にない内挿フレームの作画を行なうことで、フレームレート変換を実現することができる。また、動画像中の２つフレーム（例えばＩフレームおよびＰフレーム）から検出した動きベクトルに基づいて、その動画像中の別のフレーム（例えばＢフレーム）の画像を予測して予測残差を符号化することで、効率のよい動画像符号化を実現することができる。

しかしながら、画面端からフレームインしてくる像、または、画面端からフレームアウトしていく像が動画像中に含まれている場合、動きベクトルに基づいて生成された内挿画像や予想画像の信頼性は低下する。これは、画面端からフレームインしてくる像、または、画面端からフレームアウトしていく像がある場合、画面端において信頼性の高い動きベクトルを生成することが困難なためである。

図７（ａ）に、時刻ｔ−１に対応するフレームｆ（ｔ−１）を示し、図７（ｂ）に、時刻ｔに対応するフレームｆ（ｔ）を示す。画面左端からフレームアウトしていく像７０が動画像中に含まれている場合、図７（ａ）に示したようにフレームｆ（ｔ−１）上では画面内にあった像７０の左半分が、図７（ｂ）に示したようにフレームｆ（ｔ）上では画面内から消失してしまう。

図８に、フレームｆ（ｔ−１）を基準フレームとする動きベクトル（前方向動きベクトル）を示す。フレームｆ（ｔ−１）を基準フレームとした場合、図８に示したように、フレームｆ（ｔ−１）上の各ブロックを始点とし、フレームｆ（ｔ）上でそのブロックとの相関が最も高いブロックを終点とする動きベクトルが検出されることになる。

しかしながら、フレームｆ（ｔ−１）上で画面左端に位置するブロックについては、フレームｆ（ｔ）上に相関の高いブロックが存在しない。したがって、画面左端に位置するブロックについては、信頼性の高い動きベクトルを検出することができない（このような場合、通常、強制的に零ベクトルが検出される）。

図９は、フレームｆ（ｔ）を基準フレームとする動きベクトル（後方向動きベクトル）を示す。フレームｆ（ｔ）を基準フレームとした場合、フレームｆ（ｔ）上の各ブロックを始点とし、フレームｆ（ｔ−１）上でそのブロックとの相関が最も高いブロックを終点とする動きベクトルが検出されることになる。この場合、フレームｆ（ｔ）上で画面左端に位置するブロックについても、フレームｆ（ｔ−１）上に相関の高いブロックが存在するので、信頼性の高い動きベクトルを検出することができる。

しかしながら、フレームｆ（ｔ）を基準フレームとした場合、画面左端からフレームインしてくる像が動画像中に含まれている場合、画面左端に位置するブロックを始点とする信頼性の高い動きベクトルを検出することができない。すなわち、フレームアウトしていく像が動画像中に含まれている場合には、フレームｆ（ｔ−１）を基準フレームとする前方向動きベクトルの画面端における信頼性が低下するし、フレームインしてくる像が動画像中に含まれている場合には、フレームｆ（ｔ）を基準フレームとする後方向動きベクトルの信頼性が低下する。

このような問題に関連する技術としては、例えば、特許文献１〜２に記載のものなどが知られている。

特許文献１には、前フレームを基準フレームとして生成した内挿画像と、現フレームを基準フレームとして生成した内挿画像とのうち、動きベクトルに応じて選択された内挿画像を用いてフレームレート変換を行う技術が記載されている。

また、特許文献２には、画面の周縁部において、算出した動ベクトルが外方向にあるか否かを調べ、外方向にある場合は算出した動ベクトルをリセットし、外方向でない場合は、算出した動ベクトルをそのまま正規の動ベクトルとして出力する動画像符号化装置が記載されている。
特開昭６２―２１７７８４号公報（公開日：１９８７年 ９月２５日） 特開平 ４−３２１３９３号公報（公開日：１９９２年１１月１１日）

しかしながら、特許文献１に記載の技術においては、画面全体の動きを代表する動きベクトルに基づいて内挿画像を選択しているため、カメラのパンなどに起因する画面全体の動きとは独立に移動する像がフレームインまたはフレームアウトする際に、信頼性の高い内挿画像を生成することができないという問題があった。

また、特許文献２に記載の技術においては、動きベクトルが外向きである場合に動きベクトルを零ベクトルにリセットする方法を採用しているため、フレームインしてくる像を含む動画像、または、フレームアウトしていく像を含む動画像の少なくとも何れかについては、信頼性の高い予測画像を生成することができないという問題があった。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、画面端からフレームインしてくる像、および、画面端からフレームアウトしていく像の何れを含む動画像に対しても信頼性の高い内挿画像や予測画像を生成することができるように、動きベクトルを内挿フレームや予測フレームに割り付ける装置および方法を提供することにある。

上記課題を解決するために、本発明に係る動きベクトル割付装置は、第１のフレーム上の各ブロックを始点とし、第２のフレーム上の何れかのブロックを終点とする前方向動きベクトル、および、該第２のフレーム上の各ブロックを始点とし、該第１のフレーム上の何れかのブロックを終点とする後方向動きベクトルを検出する検出手段と、上記検出手段によって検出された各前方向動きベクトルの有効性を、該前方向動きベクトルの終点を始点とする後方向動きベクトルとの相関に基づいて判定するとともに、上記検出手段によって検出された各後方向動きベクトルの有効性を、該後方向動きベクトルの終点を始点とする前方向動きベクトルとの相関に基づいて判定する判定手段と、第３のフレーム上の各ブロックに、上記検出手段によって検出された前方向動きベクトルおよび後方向動きベクトルの何れかを割り付ける割付手段であって、該第３のフレームの周辺部上の各ブロックに、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、上記判定手段によって有効であると判定された動きベクトルを割り付ける割付手段と、を備えている、ことを特徴としている。

また、本発明に係る動きベクトル割付方法は、第１のフレーム上の各ブロックを始点とし、第２のフレーム上の何れかのブロックを終点とする前方向動きベクトル、および、該第２のフレーム上の各ブロックを始点とし、該第１のフレーム上の何れかのブロックを終点とする後方向動きベクトルを検出する検出工程と、上記検出工程にて検出された各前方向動きベクトルの有効性を、該前方向動きベクトルの終点を始点とする後方向動きベクトルとの相関に基づいて判定するとともに、上記検出手段にて検出された各後方向動きベクトルの有効性を、該後方向動きベクトルの終点を始点とする前方向動きベクトルとの相関に基づいて判定する判定工程と、第３のフレーム上の各ブロックに、上記検出工程にて検出された前方向動きベクトルおよび後方向動きベクトルの何れかを割り付ける割付手段であって、該第３のフレームの周辺部上の各ブロックに、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、上記判定工程にて有効であると判定された動きベクトルを割り付ける割付工程と、を含んでいる、ことを特徴としている。

上記第１のフレームおよび上記第２のフレームを含む動画像中に画面端からフレームアウトしていく像が含まれている場合についても、画面端からフレームインしてくる像が含まれている場合についても、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルの少なくとも何れかは、相関の高いブロック同士をむすぶ信頼性の高い動きベクトルとなる。

したがって、上記の構成によれば、上記第１のフレームおよび上記第２のフレームを含む動画像中に画面端からフレームアウトしていく像が含まれている場合についても、画面端からフレームインしてくる像が含まれている場合についても、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、相関の高いブロック同士をむすぶ信頼性の高い動きベクトルを、上記第３のフレームの周辺部上の各ブロックに割り付けることができる。

このため、上記第３のフレームに割り付けられた動きベクトルを利用することによって、上記第１のフレームおよび上記第２のフレームを含む動画像中に画面端からフレームアウトしていく像が含まれている場合であっても、画面端からフレームインしてくる像が含まれている場合であっても、信頼性の高い内挿画像や予測画像を生成することができるという効果を奏する。

なお、上記動きベクトル割付装置によって上記第３のフレームに割り付けられた動きベクトルは、上記第１のフレームと上記第２のフレームとの間に内挿する内挿画像を生成するために利用することができる。このように上記動きベクトル割付装置を利用して内挿画像を生成するフレームレート変換装置も本発明の範疇に入る。

また、上記動きベクトル割付装置によって上記第３のフレームに割り付けられた動きベクトルは、上記第３のフレームを符号化する際に用いる予測画像を生成するために利用することもできる。このように上記動きベクトル割付装置を利用して予測画像を生成する動画像符号化装置も本発明の範疇に入る。

また、本発明に係る動きベクトル割付装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより、上記動きベクトル割付装置をコンピュータにおいて実現する動きベクトル割り付けプログラム、および、その動きベクトル割付プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る動きベクトル割付装置は、第１のフレーム上の各ブロックを始点とし、第２のフレーム上の何れかのブロックを終点とする前方向動きベクトル、および、該第２のフレーム上の各ブロックを始点とし、該第１のフレーム上の何れかのブロックを終点とする後方向動きベクトルを検出する検出手段と、上記検出手段によって検出された各前方向動きベクトルの有効性を、該前方向動きベクトルの終点を始点とする後方向動きベクトルとの相関に基づいて判定するとともに、上記検出手段によって検出された各後方向動きベクトルの有効性を、該後方向動きベクトルの終点を始点とする前方向動きベクトルとの相関に基づいて判定する判定手段と、第３のフレーム上の各ブロックに、上記検出手段によって検出された前方向動きベクトルおよび後方向動きベクトルの何れかを割り付ける割付手段であって、該第３のフレームの周辺部上の各ブロックに、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、上記判定手段によって有効であると判定された動きベクトルを割り付ける割付手段と、を備えている。

また、本発明に係る動きベクトル割付方法は、第１のフレーム上の各ブロックを始点とし、第２のフレーム上の何れかのブロックを終点とする前方向動きベクトル、および、該第２のフレーム上の各ブロックを始点とし、該第１のフレーム上の何れかのブロックを終点とする後方向動きベクトルを検出する検出工程と、上記検出工程にて検出された各前方向動きベクトルの有効性を、該前方向動きベクトルの終点を始点とする後方向動きベクトルとの相関に基づいて判定するとともに、上記検出手段にて検出された各後方向動きベクトルの有効性を、該後方向動きベクトルの終点を始点とする前方向動きベクトルとの相関に基づいて判定する判定工程と、第３のフレーム上の各ブロックに、上記検出工程にて検出された前方向動きベクトルおよび後方向動きベクトルの何れかを割り付ける割付手段であって、該第３のフレームの周辺部上の各ブロックに、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、上記判定工程にて有効であると判定された動きベクトルを割り付ける割付工程と、を含んでいる。

したがって、上記第３のフレームに割り付けられた動きベクトルを利用することによって、上記第１のフレームおよび上記第２のフレームを含む動画像中に画面端からフレームアウトしていく像が含まれている場合であっても、画面端からフレームインしてくる像が含まれている場合であっても、信頼性の高い内挿画像や予測画像を生成することができる。

本発明の一実施形態について、図面に基づいて説明すれば以下のとおりである。

（内挿ベクトル割付装置の構成）
まず、本実施形態に係る内挿ベクトル割付装置１００に（動きベクトル割付装置）ついて、図１を参照して説明する。図１は、内挿ベクトル割付装置１００の構成を示すブロック図である。内挿ベクトル割付装置１００は、図１に示したように、遅延回路１１０、前方向動きベクトル検出回路１２０（検出手段）、後方向動きベクトル検出回路１３０（検出手段）、有効性判定回路１４０（判定手段）、および、内挿ベクトル割付回路１５０（割付手段）を備えている。

内挿ベクトル割付装置１００は、概略的に言えば、入力動画像中の時間的に連続した２つのフレームから動きベクトルを検出するとともに、検出した動きベクトルをこれら２つのフレームの間に内挿する内挿フレームに割り付けるための装置である。内挿フレームに割り付けられた動きベクトルは、内挿ベクトルとも呼ばれ、内挿フレームの作画に利用される。

なお、以下の説明において、内挿ベクトル割付装置１００は、前フレームｆ（ｔ−１）と現フレームｆ（ｔ）との間（時間軸上の中点）に内挿する１枚の内挿フレームｆ（ｔ−１／２）に対して内挿ベクトルを割り付けるものとするが、これに限定されるわけではない。すなわち、前フレームｆ（ｔ−１）と現フレームｆ（ｔ）との間の任意の時点に内挿する任意の枚数の内挿フレームに対して内挿ベクトルを割り付けるように変形することができる。

入力動画像は、遅延回路１１０と、前方向動きベクトル検出回路１２０と、後方向動きベクトル検出回路１３０とに、フレームごとに供給される。遅延回路１００は、時刻ｔ−１において供給されたフレームｆ（ｔ−１）を１フレーム分遅延し、時刻ｔにおいて前方向動きベクトル検出回路１２０と後方向動きベクトル検出回路１３０とに供給する。したがって、前方向動きベクトル検出回路１２０、および、後方向動きベクトル検出回路１３０には、入力動画像中の現フレームｆ（ｔ）と前フレームｆ（ｔ−１）とが時刻ｔにおいて同時に供給される。

前方向動きベクトル検出回路１２０は、前フレームｆ（ｔ−１）上のブロックｉを始点とし、現フレームｆ（ｔ）上の何れかのブロックを終点とする前方向動きベクトルＶｆ（ｉ）を検出する。

より具体的には、ブロックマッチング法や勾配法などを用いて、現フレームｆ（ｔ）上のブロックのうち、始点となる前フレームｆ（ｔ−１）上のブロックｉとの相関が最も高いブロックを終点とする前方向動きベクトルＶｆ（ｉ）を検出する。ただし、始点となるブロックｉとの相関が高いブロックが現フレームｆ（ｔ）上に存在しない場合には、前方向動きベクトルＶｆ（ｉ）として零ベクトルを検出する。前方向動きベクトル検出回路１２０により検出された前方向動きベクトルＶｆ＝｛Ｖｆ（０），Ｖｆ（１），Ｖｆ（２），・・・｝は、有効性判定回路１４０と内挿ベクトル割付回路１５０とに供給される。

一方、後方向動きベクトル検出回路１３０は、現フレームｆ（ｔ）上のブロックｊを始点とし、前フレームｆ（ｔ−１）の何れかのブロックを終点とする後方向動きベクトルＶｂ（ｊ）を検出する。

より具体的には、ブロックマッチング法や勾配法などを用いて、前フレームｆ（ｔ−１）上のブロックのうち、始点となる現フレームｆ（ｔ）上のブロックｊとの相関が高いブロックを終点とする後方向動きベクトルＶｂ（ｊ）を検出する。始点となるブロックｊとの相関が高いブロックが現フレームｆ（ｔ）上に存在しない場合には、後方向動きベクトルＶｂ（ｊ）として零ベクトルを検出する。前方向動きベクトル検出回路１２０により検出された後方向動きベクトルＶｂ＝｛Ｖｂ（０），Ｖｂ（１），Ｖｂ（２），・・・｝は、有効性判定回路１４０と内挿ベクトル割付回路１５０とに供給される。

上述したとおり、前方向動きベクトル検出回路１２０、および、後方動きベクトル検出回路１３０は、入力動画像中のフレームをブロックごとに処理する。本明細書においては、前フレームｆ（ｔ−１）上でブロックを指定する座標をｉで表し、座標ｉにより指定されるブロックをブロックｉと呼ぶ。また、現フレームｆ（ｔ）上でブロックを指定する座標をｊで表し、現フレーム上で座標ｊにより指定されるブロックをブロックｊと呼ぶ。

有効性判定回路１４０は、前方向動きベクトル検出回路１２０によって検出された前方向動きベクトルＶｆ、および、後方向動きベクトル検出回路１３０によって検出された後方向動きベクトルＶｂの各々の有効性を判定する。

より具体的には、ブロックｉを始点とする前方向動きベクトルＶｆ（ｉ）と、その前方向動きベクトルＶｆ（ｉ）の終点となるブロックｊを始点とする後方向動きベクトルＶｂ（ｊ）との相関Ｃ（ｉ）が有効性判定閾値Ｔｈを上回っているとき（かつ、そのときに限って）、その前方向動きベクトルＶｆ（ｉ）は有効な動きベクトルであると判定する。また、ブロックｊを始点とする後方向動きベクトルＶｂ（ｊ）と、その後方向動きベクトルＶｂ（ｊ）の終点となるブロックｉを始点とする前方向動きベクトルＶｆ（ｉ）との相関Ｃ（ｊ）が有効性判定閾値Ｔｈを上回っているとき（かつ、そのときに限って）、その後方向動きベクトルＶｂ（ｊ）は有効な動きベクトルであると判定する。

なお、有効性判定回路１４０は、例えば、相関Ｃ（ｉ）の評価に内積を用いることによって、すなわち、Ｃ（ｉ）＝−Ｖｂ（ｊ）・Ｖｆ（ｉ）を有効性閾値Ｔｈと比較することによって、前方向動きベクトルＶｆ（ｉ）の有効性を判定するものであってもよいし、あるいは、相関Ｃ（ｉ）の評価に差−Ｖｂ（ｊ）−Ｖｆ（ｉ）を用いることによって、すなわち、差−Ｖｂ（ｊ）−Ｖｆ（ｉ）のｘ成分およびｙ成分を有効性閾値Ｔｈと比較することによって、前方向動きベクトルＶｆ（ｉ）の有効性を判定するものであってもよい。後方向動きベクトルＶｂ（ｊ）の有効性を判定する方法についても同様である。

また、前方向動きベクトル検出回路１２０によって検出された前方向動きベクトルＶｆ、および、後方向動きベクトル検出回路１３０によって検出された後方向動きベクトルＶｂの各々の有効性を判定する前に、画面端に位置するブロックを始点とする動きベクトルを、１ブロック以上内側に位置するブロックを始点とする動きベクトルに置き換える前処理を行なうようにしてもよい。画面端に位置するブロックを始点とする動きベクトルは、参照する周囲のブロックが欠如しているため、あるいは、フレーム内に動きベクトルを伝播させる初期段階にあたるため、一般に信頼性が低い。このため、上記のような前処理を行うことによって、画面端に位置するブロックを始点とする動きベクトルの信頼性を予め向上させておくことが好ましい。

内挿ベクトル割付回路１５０は、前フレームｆ（ｔ−１）と現フレームｆ（ｔ）との間（時間軸上の中点）に内挿する内挿フレームｆ（ｔ−１／２）上の各ブロックに内挿ベクトルを割り付ける。ここで、内挿フレームｆ（ｔ−１／２）上のブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）は、前方向動きベクトル検出回路１２０によって検出された前方向動きベクトルＶｆ、および、後方向動きベクトル検出回路１３０によって検出された後方向動きベクトルＶｂのうちから選択される。

内挿ベクトル割付装置１００の主たる特徴は、内挿フレームｆ（ｔ−１／２）の周辺部上の内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）として、内挿ベクトル割付回路１５０が、前フレームｆ（ｔ−１）の周辺部上のブロックを始点とする前方向動きベクトルＶｆ、および、現フレームｆ（ｔ）の周辺部上のブロックを始点とする後方向動きベクトルＶｂのうち、有効性判定回路１４０によって有効と判定された動きベクトルを選択する点にある。そこで、内挿ベクトル割付回路１５０の内部構成については、参照する図面を後で詳しく説明する。

なお、内挿ベクトル割付回路１５０は、上述したとおり、内挿フレームｆ（ｔ−１／２）を内挿ブロックごとに処理する。内挿フレームｆ（ｔ−１／２）を構成する内挿ブロックとしては、通常、入力動画像中のフレームを構成するブロックよりも小さいものが利用される。入力動画像中のフレームが、例えば、８行８列に配列された６４画素からなるブロックに分割されている場合、内挿フレームｆ（ｔ−１／２）は、例えば、４行２列に配列された８画素からなる内挿ブロックに分割される。

なお、本明細書においては、内挿フレームｆ（ｔ−１／２）上で各ブロックを指定する内挿座標をｎで表す。また、内挿フレームｆ（ｔ−１／２）上で内挿座標ｎにより指定されるブロックを内挿ブロックｎと表記し、内挿ブロックｎに割り付けられる動きベクトルを内挿ベクトルＶ_1/2（ｎ）と呼称する。

（内挿ベクトル割付回路の構成）
次に、内挿ベクトル割付装置１００が備えている内挿ベクトル割付回路１５０の内部構成について、図２を参照して説明する。図２は、内挿ベクトル割付回路１５０の構成を示したブロック図である。内挿ベクトル割付回路１５０は、ベクトル選択回路１５１、割付座標算出回路１５２、内挿ベクトル決定回路１５３、画面端ベクトル決定回路１５５、画面端割付座標算出回路１５６、および、出力制御回路１５７を備えている。

内挿ベクトル割付回路１５０は、内挿フレームｆ（ｔ−１／２）上の内挿ブロックの各々に内挿ベクトルを割り付けるための構成と、内挿フレームｆ（ｔ−１／２）の周辺部上の内挿ブロックの各々に内挿ベクトルを割り付けるための構成とを備えている。ベクトル選択回路１５１、割付座標算出回路１５２、及び、内挿ベクトル決定回路１５３は、前者に該当する構成であり、画面端ベクトル決定回路１５５、及び、画面端割付座標算出回路１５６は、後者に該当する構成である。出力制御回路１５７は、後者によって内挿ベクトルが割り付けられた周辺部上のブロックの各々について、前者によって割り付けられた内挿ベクトルを、後者によって割り付けられた内挿ベクトルに置き換えることによって、内挿フレームｆ（ｔ−１／２）上の各ブロックに割り付ける最終的な内挿ベクトルを決定する。

まず、内挿フレームｆ（ｔ−１／２）上のブロックｎに内挿ベクトルＶ_1/2（ｎ）を割り付けるための構成について、図２を参照しながら説明する。

ベクトル選択回路１５１は、前方向動きベクトル検出回路１２０によって検出された前方向動きベクトルＶｆ、および、後方向動きベクトル検出回路１３０によって検出された後方向動きベクトルＶｂのうち、何れを割付座標算出回路１５２に供給するかを選択する。

なお、ベクトル選択回路１５１は、前方向動きベクトルＶｆ、および、後方向動きベクトルＶｂの何れか一方を定常的に選択するように構成されていてもよいし、有効性判定回路１４０の判定結果に基づいて、前方向動きベクトルＶｆ、および、後方向動きベクトルＶｂのうち、有効であると判定された方の動きベクトルを選択するように構成されていてもよい。また、前方向動きベクトルＶｆ、および、後方向動きベクトルＶｂのうち、始点となるブロックと終点となるブロックとの間の相関が大きい方の動きベクトルを選択するように構成されていてもよい。

割付座標算出回路１５２は、ベクトル選択回路１５１から供給された動きベクトルについて、内挿フレームｆ（ｔ−１／２）においてその動きベクトルを割り付ける内挿ブロックを指定する座標（内挿座標）を算出する。

より具体的に言うと、ベクトル選択回路１５１によって前方向動きベクトルＶｆが選択されている場合には、内挿フレームｆ（ｔ−１／２）において前方向動きベクトルＶｆ（ｉ）を割り付ける内挿座標ｎ（ｉ）を（１）式に従って算出し、ベクトル選択回路１５１によって後方向動きベクトルＶｂが選択されている場合には、内挿フレームｆ（ｔ−１／２）において後方向動きベクトルＶｂ（ｊ）を割り付ける内挿座標ｎ（ｊ）を（２）式に従って算出する。

ｎ（ｉ）＝［ｉ＋Ｖｆ（ｉ）／２］ ・・・ （１）
ｎ（ｊ）＝［ｊ＋Ｖｂ（ｊ）／２］ ・・・ （２）
なお、（１）および（２）式において、記号［］は、前フレームｆ（ｔ−１）および現フレームｆ（ｔ）のブロックを単位として表現された座標を、内挿フレームｆ（ｔ−１／２）の内挿ブロックを単位として表現された座標に換算することを示す。

内挿ベクトル決定回路１５３は、内挿フレームｆ（ｔ−１／２）の内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）を決定する。

ベクトル選択回路１５１によって前方向動きベクトルＶｆが選択されている場合、内挿フレームｆ（ｔ−１／２）の内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）は、前方向動きベクトル検出回路１２０によって検出された前方向動きベクトルＶｆのうちから選択される。より具体的には、内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）として、（１）式においてｎ（ｉ）＝ｎとなる前方向動きベクトルＶｆ（ｉ）が選択される。

一方、ベクトル選択回路１５１によって後方向動きベクトルＶｂが選択されている場合、内挿フレームｆ（ｔ−１／２）の内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）は、後方向動きベクトル検出回路１３０によって検出された後方向動きベクトルＶｂのうちから選択される。より具体的には、内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）として、（２）式においてｎ（ｊ）＝ｎとなる後方向動きベクトルＶｂ（ｊ）が選択される。

ただし、このようにして内挿ブロックｎに割り付ける内挿ベクトルＶ_1/2（ｎ）を選択すると、異なるブロックを始点とする複数の動きベクトルが割り付けられた内挿ブロックや、動きベクトルが１つも割り付けられない内挿ブロックが生じ得る。そこで、内挿ベクトル決定回路１５３は、複数の動きベクトルが割り付けられたブロックに割り付ける内挿ベクトルとして、始点となるブロックと終点となるブロックとの相関が最大となる動きベクトルを選択する。また、内挿ベクトル決定回路１５３は、動きベクトルが１つも割り付けられていないブロックに割り付ける内挿ベクトルとして、零ベクトルを選択する。したがって、内挿フレームｆ（ｔ−１／２）上の全ての内挿ブロックに対して、内挿ベクトルが１つずつ割り付けられることになる。

次に、内挿フレームｆ（ｔ−１／２）の周辺部上のブロックｎに内挿ベクトルＶ_1/2（ｎ）を割り付けるための構成について、図２を参照しながら説明する。

画面端ベクトル決定回路１５５は、内挿フレームｆ（ｔ−１／２）の周辺部上の各ブロックに割り付ける内挿ベクトルを決定する。内挿フレームｆ（ｔ−１／２）の周辺部上の各ブロックに割り付ける内挿ベクトルとしては、前フレームｆ（ｔ−１）の周辺部上のブロックを始点とする前方向動きベクトルＶｆ、および、現フレームｆ（ｔ）の周辺部上のブロックを始点とする後方向動きベクトルＶｂのうち、有効性判定回路１４０によって有効と判定された動きベクトルが選択される。

より具体的には、前フレームｆ（ｔ−１）の画面端に位置するブロックｉ＝０を始点とする前方向動きベクトルＶｆ（０）、および、現フレームｆ（ｔ）の画面端に位置するブロックｊ＝０を始点とする後方向動きベクトルＶｂ（０）のうち、有効性判定回路１４０によって有効と判定された動きベクトルが選択される。

なお、以下では、内挿フレームｆ（ｔ−１／２）の周辺部上の各ブロックに割り付ける内挿ベクトル、すなわち、画面端ベクトル決定回路１５５によって選択された動きベクトルのことを、画面端ベクトルＶと呼称する。画面端ベクトル決定回路１５５よる画面端ベクトル決定処理の具体例については、参照する図面を代えて後に説明する。

画面端割付座標算出回路１５６は、画面端ベクトル決定回路１５５によって決定された画面端ベクトルＶに対し、内挿フレームｆ（ｔ−１／２）においてその画面端ベクトルＶを割り付けるブロックの座標（内挿座標）を算出する。

より具体的には、画面端ベクトルＶとして前方向動きベクトルＶｆ（０）が選択されている場合、上述した（１）式に従って前方向動きベクトルＶｆ（０）を割り付ける内挿座標ｎ（０）を算出するとともに、内挿ブロックｎ（０）よりも画面端側に位置するブロックに対しても、前方向動きベクトルＶｆ（０）を割り付ける。また、画面端ベクトルＶとして後方向動きベクトルＶｂ（０）が選択されている場合、上述した（２）式に従って後方向動きベクトルＶｂ（０）を割り付ける内挿座標ｎ（０）を算出するとともに、内挿ブロックｎ（０）よりも画面端側に位置するブロックに対しても、後方向動きベクトルＶｂ（０）を割り付ける。画面端割付座標算出回路１５６による画面端割付座標算出処理の具体例については、参照する図面を代えて後に説明する。

（画面端ベクトル決定処理の具体例）
次に、画面端ベクトル決定回路１５５による画面端ベクトル決定処理の具体例について、図３を参照して説明する。なお、ここでは、簡単のために各フレームをライン毎に処理するものとし、画面左端から３ブロックを周辺部とした場合の画面端ベクトル決定処理について説明する。

上述したとおり、内挿フレームｆ（ｔ−１／２）の周辺部上の各ブロックに割り付けられる画面端ベクトルＶは、前フレームｆ（ｔ−１）の画面端に位置するブロックｉ＝０を始点とする前方向動きベクトルＶｆ（０）、および、現フレームｆ（ｔ）の画面端に位置するブロックｊ＝０を始点とする後方向動きベクトルＶｂ（０）のうち、有効性判定回路１４０によって有効と判定された動きベクトルである。

図３に示したように、入力動画像中の像が画面左端からフレームアウトしていく場合、前フレームｆ（ｔ−１）の画面左端に位置するブロックｉ＝０を始点とする前方向動きベクトルＶｆ（０）は、その終点となるブロックｊ＝０を始点とする後方向動きベクトルＶｂ（０）との相関が低くなるため、無効な動きベクトルであると判定される。一方、現フレームｆ（ｔ）の画面端に位置するブロックｊ＝０を始点とする後方向動きベクトルＶｂ（０）は、終点となるブロックｉ＝４を始点とする前方向動きベクトルＶｆ（４）との相関が高くなるため、有効な動きベクトルであると判定される。

したがって、画面左端からフレームアウトしていく像が入力動画像中に含まれている場合には、現フレームｆ（ｔ）の画面左端にあるブロックｊ＝０を始点とする後方向動きベクトルＶｂ（０）が画面端ベクトルＶとして選択される。これにより、画面左端からフレームアウトしていく像の移動を正しく捉えた画面端ベクトルＶを得ることができる。逆に、画面左端からフレームインしてくる像が入力動画像中に含まれている場合には、前フレームｆ（ｔ−１）の画面左端にあるブロックｉ＝０を始点とする前方向動きベクトルＶｆ（０）が画面端ベクトルＶとして選択される。したがって、画面左端からフレームインしてくる像が入力動画像中に含まれている場合であっても、その移動を正しく捉えた画面端ベクトルＶを得ることができる。

なお、本実施形態においては、画面端ベクトルＶとして、画面端のブロックを始点とする前方向動きベクトルＶｆ（０）、または、後方向動きベクトルＶｂ（０）を用いるものとしたが、本発明はこれに限定されるものではない。すなわち、画面端から数えて２番目のブロックを始点とする前方向動きベクトルＶｆ（１）、または、後方向動きベクトルＶｂ（１）を用いるようにしてもよいし、画面端から数えて３番目のブロックを始点とする前方向動きベクトルＶｆ（２）、または、後方向動きベクトルＶｂ（２）を用いるようにしてもよい。つまり、前フレームｆ（ｔ−１）の周辺部上のブロックｉを始点とする前方向動きベクトルＶｆ（ｉ）、および、現フレームｆ（ｔ）の周辺部上のブロックｊを始点する後方向動きベクトルＶｂ（ｊ）のうち有効性判定回路１４０によって有効と判定された動きベクトルを選択するものであればよい。

また、更に信頼性の高い画面端ベクトルＶを選択するために、前フレームｆ（ｔ−１）の周辺部における一連のブロックを始点とする前方向動きベクトルが全て有効な動きベクトルである場合に限り、それらの前方向動きベクトルの何れかを画面端ベクトルＶとし、現フレームｆ（ｔ）の周辺部における一連のブロックを始点とする後方向動きベクトルが全て有効な動きベクトルである場合に限り、それらの後方向動きベクトルの何れかを画面端ベクトルＶとするようにしてもよい。図３に即して言えば、現フレームｆ（ｔ）の周辺部において連続した３つのブロックを始点とする後方向動きベクトルＶｂ（０），Ｖｂ（１），Ｖｂ（２）が全て有効な動きベクトルなので、これら後方向動きベクトルＶｂ（０），Ｖｂ（１），Ｖｂ（２）の何れかを画面端ベクトルＶとするようにしてもよい。

また、上記各条件に該当する動きベクトルが存在しないときには、直前に処理した別のラインに対する選択結果（画面左右端の場合）、または、直前に処理した別の列に対する選択結果（画面上下端）を利用するようにしてもよい。あるいは、直前に処理した別のフレームに対する選択結果の統計量、または、現フレームの別の画面端に対する選択結果の統計量を利用するようにしてもよい。なお、直前に処理した別のラインに対する選択結果を利用する場合には、最初に処理するラインに対して別のラインに対する選択結果を利用することができないが、直前に処理した別のフレームに対する選択結果の統計量を利用したり、零ベクトルを利用したりすればよい。

（画面端割付座標算出処理）
次に、画面端割付座標算出回路１５６による画面端割付座標算出処理の具体例について、図４および図５を参照して説明する。ここでは、現フレームｆ（ｔ）の画面端に位置するブロックｊ＝０を始点とする後方向動きベクトルＶｂ（０）が有効な動きベクトルであると判定された場合、すなわち、後方向動きベクトルＶｂ（０）が画面端ベクトルとして選ばれた場合（図３参照）の画面端割付座標算出処理について説明する。

図４は、画面端割付座標算出処理をライン毎に１次元的に実行する場合の具体例について示した図である。ライン毎に処理する場合、画面端ベクトルＶｂ（０）を割り付ける内挿座標ｎ（０）は、（２）式に従ってｎ（０）＝４と算出される。そして、内挿フレームｆ（ｔ−１／２）においてブロックｎ（０）よりも画面端側の領域（図４において４つのブロックｎ＝０，１，２，３からなる領域）に対して、画面端ベクトルＶｂ（０）を割り付ける。

図５は、画面端割付座標算出処理をフレーム毎に２次元的に実行する場合の具体例について示した図である。フレーム毎に処理する場合も、画面端ベクトルＶｂ（０）を割り付ける内挿座標ｎ（０）は（２）式に従って算出される。そして、内挿フレームｆ（ｔ−１／２）においてブロックｎ（０）よりも画面端側の領域（図５において黒色で強調した６つのブロックからなる領域）に対して、画面端ベクトルＶｂ（０）を割り付ける。なお、２次元的な画面端割付座標算出処理を行う場合、画面端ベクトルＶｂ（０）を割り付ける領域を、ブロックｎ（０）から見て−Ｖｂ（０）の方向に位置するブロックの集合として規定することができる。

なお、このように２次元的な画面端割付座標算出処理を行う場合、複数の画面端ベクトルが割り付けられたブロックや、画面端ベクトルが１つも割り付けられないブロックなどが生じ得る。そこで、複数の画面端ベクトルが割り付けられた場合には、始点となるブロックと終点となるブロックとの相関が最大となる画面端ベクトルのみを割り付け直し、画面端ベクトルが１つも割り付けられていない場合は、隣接するブロックに割り付けられた画面端ベクトルを割り付け直すようにすればよい。

（内挿画像生成処理）
最後に、内挿ベクトル割付装置１００によって、内挿フレームｆ（ｔ−１／２）上の各ブロックに割り付けられた内挿ベクトルに基づいて、内挿画像を生成する方法について図６に基づいて簡単に説明する。

内挿フレームｆ（ｔ−１／２）上のブロックｎの画像は、そのブロックｎに割り当てられた内挿ベクトルＶ_1/2（ｎ）の始点となるブロックの画像、および、終点となるブロックの画像の少なくとも何れか一方に基づいて生成することができる。特に、内挿ベクトルＶ_1/2（ｎ）の始点となるブロック、および、終点となるブロックの何れか一方が画面外のブロックとなっても、他方は必ず画面内のブロックとなるので、画面内にある方のブロックの画像のみを利用して内挿フレームｆ（ｔ−１／２）上の画像を生成すればよい。

なお、内挿ベクトル割付装置１００は、このような内挿画像生成機能を有する内挿画像生成回路を備えたものであってもよいし、内挿フレームｆ（ｔ−１／２）上の各ブロックに割り付けられた内挿ベクトルを外部の内挿画像生成回路に供給するものであってもよい。

（プログラムおよび記録媒体）
最後に、本実施形態に係る内挿ベクトル割付装置１００に含まれる各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、内挿ベクトル割付装置１００は、各機能を実現する内挿ベクトル割付プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである内挿ベクトル割付プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を内挿ベクトル割付装置１００に供給し、内挿ベクトル割付装置１００がその記録媒体に記録されているプログラムコードを読み出し実行することによっても達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、内挿ベクトル割付装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して内挿ベクトル割付装置１００に供給するようにしてもよい。この通信ネットワークとしては、とくに限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、とくに限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

（付記事項）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、動画像符号化装置において、動画像中の２つフレーム（例えばＩフレームおよびＰフレーム）から検出した動きベクトルに基づいて、その動画像中の別のフレーム（例えばＢフレーム）に対して動きベクトルを割り付けるために利用することができる。

また、例えば、本発明は、以下のように表現することもできる。すなわち、２枚の原画像のうち時間的に新しい原画像をｆ（ｔ）、古い原画像をｆ（ｔ−１）とした場合、ｆ（ｔ−１）を基準画像、ｆ（ｔ）を参照画像として前方向動きベクトルＶｆを求める前方向動きベクトル検出回路と、ｆ（ｔ）を基準画像、ｆ（ｔ−１）を参照画像として後方向動きベクトルＶｂを求める後方向動きベクトル検出回路とをもち、ＶｆとＶｂの相関を求めることで画面端の正しい動きベクトルを算出し、内挿座標に割付ける。内挿画像生成の際は、この割付けられた画面端内挿ベクトルがｆ（ｔ）、ｆ（ｔ−１）の領域内を示すか否かを判定し、いずれか一方の領域内（例えばｆ（ｔ−１）の領域内を示すが、ｆ（ｔ）の領域からはみでる）しか指し示さない場合は、領域内の画像のみで内挿画像を生成する(この場合、ｆ（ｔ−１）のみで生成する)。

２つのフレームから検出した動きベクトルに基づいて、内挿画像または予測画像を生成する技術に利用することができる。特に、動きベクトルに基づいて生成された内挿画像を用いたフレームレート変換や、動きベクトルに基づいて生成された予測画像を用いた動画像符号化に取り分け好適に利用することができる。

本発明の実施形態を示すものであり、内挿ベクトル割付装置の構成を示すブロック図である。 本発明の実施形態を示すものであり、内挿ベクトル割付回路の内部構成を示すブロック図である。 本発明の実施形態を示すものであり、画面端ベクトル決定処理の具体例を示す図である。 本発明の実施形態を示すものであり、画面端割付座標算出処理（各ラインについて１次元的に処理する場合）の具体例を示す図である。 本発明の実施形態を示すものであり、画面端割付座標算出処理（各フレームについて２次元的に処理する場合）の具体例を示す図である。 本発明の実施形態を示すものであり、内挿画像生成処理の具体例を示す図である。 従来の技術を示すものであり、画面左端からフレームアウトしていく像を含む動画像を示す図である。図７（ａ）は、時刻ｔ−１に対応するフレームｆ（ｔ−１）を示し、図７（ｂ）は、時刻ｔに対応するフレームｆ（ｔ）を示す。 従来の技術を示すものであり、フレームｆ（ｔ−１）を基準フレームとした場合に検出される動きベクトルを示す図である。 従来の技術を示すものであり、フレームｆ（ｔ）を基準フレームとした場合に検出される動きベクトルを示す図である。

符号の説明

１００ 内挿ベクトル割付装置
１１０ 遅延回路
１２０ 前方向動きベクトル検出回路（検出手段）
１３０ 後方向動きベクトル検出回路（検出手段）
１４０ 有効性判定回路（判定手段）
１５０ 内挿ベクトル割付回路（割付手段）
１５１ ベクトル選択回路
１５２ 割付座標算出回路
１５３ 内挿ベクトル決定回路
１５５ 画面端ベクトル決定回路
１５６ 画面端割付座標算出回路
１５６ 出力制御回路

Claims (6)

1. 第１のフレーム上の各ブロックを始点とし、第２のフレーム上の何れかのブロックを終点とする前方向動きベクトル、および、該第２のフレーム上の各ブロックを始点とし、該第１のフレーム上の何れかのブロックを終点とする後方向動きベクトルを検出する検出手段と、
   上記検出手段によって検出された各前方向動きベクトルの有効性を、該前方向動きベクトルの終点を始点とする後方向動きベクトルとの相関に基づいて判定するとともに、上記検出手段によって検出された各後方向動きベクトルの有効性を、該後方向動きベクトルの終点を始点とする前方向動きベクトルとの相関に基づいて判定する判定手段と、
   第３のフレーム上の各ブロックに、上記検出手段によって検出された前方向動きベクトルおよび後方向動きベクトルの何れかを割り付ける割付手段であって、該第３のフレームの周辺部上の各ブロックに、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、上記判定手段によって有効であると判定された動きベクトルを割り付ける割付手段と、
   を備えていることを特徴とする動きベクトル割付装置。
2. 請求項１に記載の動きベクトル割付装置を備えたフレームレート変換装置であって、
   上記第１のフレームと上記第２のフレームとの間に内挿する内挿画像を、上記動きベクトル割付装置によって上記第３のフレームに割り付けられた動きベクトルに基づいて生成する、ことを特徴とするフレームレート変換装置。
3. 請求項１に記載の動きベクトル割付装置を備えた動画像符号化装置であって、
   上記第３のフレームを符号化するために用いる予測画像を、上記動きベクトル割付装置によって上記第３のフレームに割り付けられた動きベクトルに基づいて生成する、ことを特徴とする動画像符号化装置。
4. 第１のフレーム上の各ブロックを始点とし、第２のフレーム上の何れかのブロックを終点とする前方向動きベクトル、および、該第２のフレーム上の各ブロックを始点とし、該第１のフレーム上の何れかのブロックを終点とする後方向動きベクトルを検出する検出工程と、
   上記検出工程にて検出された各前方向動きベクトルの有効性を、該前方向動きベクトルの終点を始点とする後方向動きベクトルとの相関に基づいて判定するとともに、上記検出手段にて検出された各後方向動きベクトルの有効性を、該後方向動きベクトルの終点を始点とする前方向動きベクトルとの相関に基づいて判定する判定工程と、
   第３のフレーム上の各ブロックに、上記検出工程にて検出された前方向動きベクトルおよび後方向動きベクトルの何れかを割り付ける割付手段であって、該第３のフレームの周辺部上の各ブロックに、上記第１のフレームの周辺部上のブロックを始点とする前方向動きベクトル、および、上記第２のフレームの周辺部上のブロックを始点とする後方向動きベクトルのうち、上記判定工程にて有効であると判定された動きベクトルを割り付ける割付工程と、を含んでいる、
   ことを特徴とする動きベクトル割付方法。
5. コンピュータを請求項１に記載の動きベクトル割付装置として動作させるためのプログラムであって、上記コンピュータを上記動きベクトル割付装置が備えている各手段として機能させる動きベクトル割付プログラム。
6. 請求項５に記載の動きベクトル割付プログラムが記録されているコンピュータ読み取り可能な記録媒体。