JP2014179818A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】フレームメモリへの単位時間当たりのデータ転送量を低減する。
【解決手段】制御部は、原画像と前記原画像を複製した複製画像とを時系列順に含む動画が入力されると原画像内の一部の領域と複製画像内において一部の領域に一致する領域を除く残りの領域とをフレームメモリに保持させる。画像処理部は、一部の領域と残りの領域とからなるデータをフレームメモリから複数回読み出して複数回読み出したデータのいずれかを原画像とし、残りのデータを複製画像として画像処理を実行する。
【選択図】図１

Description

本技術は、画像処理装置および画像処理方法に関する。詳しくは、フレームレートを変換した動画を処理する画像処理装置および画像処理方法に関する。

テレビジョン受像機などの従来の画像処理装置では、動画における単位時間当たりのフレーム数（すなわち、フレームレート）を変更するフレームレート変換が行われることがある。例えば、動画内の物体の動きを滑らかにする際に、フレームレートを上昇させるフレームレート変換が行われる。

このフレームレート変換においては、元の原フレームから新たに補間フレームを生成し、原フレーム間に補間フレームを挿入するフレーム補間法がよく用いられる。このフレーム補間法において、動きの多い動画に対しては、物体の動きを検出して、その検出結果に基づいて補間フレームを生成して挿入する方法が用いられる。一方、ＯＳＤ(On Screen Display)画像からなる動画のように動きが少ない動画に対しては、原フレームを複製したものを、そのまま補間フレームとして挿入する方法が用いられる。

このようなフレーム補間法によりフレームレート変換された動画をフレーム単位でフレームメモリなどのバッファに一時的に保持し、保持されたフレームの各々を読み出して画像処理を実行する画像処理装置が提案されている（例えば、特許文献１参照。）。

特開２０１３−１７０１４号公報

しかしながら、上述の従来技術では、フレームレートやフレームの解像度を上昇させた場合に、画像処理を行うことが困難になるおそれがある。フレームレートや画像の解像度を上昇させるほど単位時間あたりのデータ量が多くなるため、実装したインターフェースのデータ転送速度が不足して、フレームをリアルタイムでフレームメモリへ転送することができなくなるおそれがある。また、単位時間当たりのデータ量が多くなるとフレームメモリへのアクセス回数や、一度のアクセスにおける転送データ量が増加するため、フレームメモリや、そのフレームメモリにアクセスするメモリコントローラの消費電力が増大するおそれがある。

本技術はこのような状況に鑑みて生み出されたものであり、フレームメモリへの単位時間当たりのデータ転送量を低減することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、原画像と上記原画像を複製した複製画像とを時系列順に含む動画が入力されると上記原画像内の一部の領域と上記複製画像内において上記一部の領域に一致する領域を除く残りの領域とをフレームメモリに保持させる制御部と、上記一部の領域と上記残りの領域とからなるデータを上記フレームメモリから複数回読み出して上記複数回読み出したデータのいずれかを上記原画像とし、残りのデータを上記複製画像として画像処理を実行する画像処理部とを具備する画像処理装置、および、その装置における画像処理方法である。これにより、原画像内の一部の領域と複製画像内の残りの領域とがフレームメモリに保持され、そのデータが上記フレームメモリから複数回読み出されるという作用をもたらす。

また、この第１の側面において、上記動画は、上記時系列順において連続する複数の複製画像を含み、上記制御部は、連続する上記複数の複製画像のいずれかにおける上記残りの領域を上記フレームメモリに保持させてもよい。これにより、連続する複数の複製画像のいずれかにおける残りの領域が上記フレームメモリに保持されるという作用をもたらす。

また、この第１の側面において、上記原画像および上記複製画像の各々は、複数の転送単位データからなる画像であり、上記制御部は、データを保持するバッファと、上記原画像内の上記複数の転送単位データのいずれかが入力されるたびに上記転送単位データを２つの分割データに分割して当該２つの分割データの一方を上記バッファに保持させ、上記複製画像内の上記複数の転送単位データのいずれかが入力されるたびに上記転送単位データを上記２つの分割データに分割して当該２つの分割データの他方を上記バッファに保持させる書込制御部と、上記２つの分割データのいずれかが上記バッファに保持されるたびに上記保持された分割データを読み出して上記フレームメモリに保持させる読出制御部とを備えてもよい。これにより、原画像内の複数の転送単位データの各々が２つ分割されて、その一方がフレームメモリに保持され、複製画像内の複数の転送単位データの各々が２つ分割されて、その他方がフレームメモリに保持されるという作用をもたらす。

また、この第１の側面において、上記転送単位データは、所定の方向に一列に配列された画素からなるラインデータであってもよい。これにより、ラインデータが２つの分割データに分割されるという作用をもたらす。

また、この第１の側面において、上記転送単位データは、画素データであってもよい。これにより、画素データが２つの分割データに分割されるという作用をもたらす。

また、この第１の側面において、上記２つの分割データの各々のデータサイズは、上記フレームメモリのバーストアクセスサイズを超えないサイズであってもよい。これにより、２つの分割データの各々がバースト転送されるという作用をもたらす。

また、この第１の側面において、上記原画像から上記複製画像を生成して上記原画像および上記複製画像を上記時系列順に上記制御部に入力する複製部をさらに具備してもよい。これにより、原画像から複製画像が生成されるという作用をもたらす。

また、この第１の側面において、上記複製部は、上記動画内の画像が上記原画像であるか否かを示すフラグを生成して上記原画像および上記複製画像とともに上記制御部に入力し、上記制御部は、上記入力されたフラグに基づいて上記動画内の画像が上記原画像であるか否かを判断してもよい。これにより、フラグに基づいて動画内の画像が原画像であるか否かが判断されるという作用をもたらす。

また、この第１の側面において、上記原画像および上記複製画像は、主画像に合成される補助画像であり、上記画像処理は、上記原画像および上記複製画像のそれぞれと上記主画像とを合成する処理を含むものであってもよい。これにより、原画像および複製画像のそれぞれと主画像とが合成されるという作用をもたらす。

本技術によれば、フレームメモリへの単位時間当たりのデータ転送量を低減することができるという優れた効果を奏し得る。

第１の実施の形態における画像処理システムの一構成例を示すブロック図である。 第１の実施の形態におけるフレームレート変換部の一構成例を示すブロック図である。 第１の実施の形態におけるフレームレートの変換前後の動画の一例を示す図である。 第１の実施の形態におけるタイミング信号の一例を示す図である。 第１の実施の形態におけるメモリコントローラの一構成例を示すブロック図である。 第１の実施の形態におけるラインバッファ書込制御部の一構成例を示すブロック図である。 第１の実施の形態におけるメモリコントローラの動作の一例を示すフローチャートである。 第１の実施の形態におけるメモリコントローラによる原補助画像の書込み動作の一例を示すタイミングチャートである。 第１の実施の形態における原補助画像転送時にラインバッファおよびフレームメモリに保持されるデータの一例を示す図である。 第１の実施の形態におけるメモリコントローラによる補間補助画像の書込み動作の一例を示すタイミングチャートである。 第１の実施の形態における補間補助画像転送時にラインバッファおよびフレームメモリに保持されるデータの一例を示す図である。 第１の実施の形態の第１の変形例における画像処理システムの一構成例を示すブロック図である。 第１の実施の形態の第２の変形例における画像処理システムの一構成例を示すブロック図である。 第２の実施の形態におけるフレームレート変換前後の動画の一例を示す図である。 第２の実施の形態におけるメモリコントローラの一構成例を示すブロック図である。 第２の実施の形態におけるメモリコントローラの動作の一例を示すフローチャートである。 第２の実施の形態におけるメモリコントローラによる補間補助画像の書込み動作の一例を示すタイミングチャートである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（原画像の左半分と補間画像の右半分とをフレームメモリを保持させる例）
２．第２の実施の形態（２−３プルダウンを行った動画において原画像の左半分と補間画像の右半分とをフレームメモリを保持させる例）

＜１．第１の実施の形態＞
［画像処理システムの構成例］
図１は、実施の形態における画像処理システムの一構成例を示すブロック図である。この画像処理システムは、複数の画像を時系列順に含む動画を処理して表示するシステムであり、例えば、テレビジョン受像機である。画像処理システムは、画像処理装置１００および表示装置３００を備える。

画像処理装置１００は、複数の画像を時系列順に含む動画を処理する装置であり、例えば、テレビジョン受像機における地上波デジタルチューナーや、ビデオレコーダーである。この画像処理装置１００は、動画供給部１１０、フレームレート変換部１２０、メモリコントローラ２００、フレームメモリ１３０および画像処理部１４０を備える。

動画供給部１１０は、動画を取得して供給するものである。この動画供給部１１０は、ＨＤＤ（Hard Disk Drive）などの記録装置から動画を取得する。この動画は、複数の主画像ＭＤ（フレーム）を時系列順に含む動画である。なお、動画供給部１１０は、放送波を受信してデコードすることにより、その放送波に乗せられた動画を取得してもよい。

また、動画供給部１１０は、ユーザの操作などに従って、複数の補助画像ＯＳＤを生成し、時系列順に動画として供給する。ここで、補助画像ＯＳＤは、主画像ＭＤに合成される画像（フレーム）であり、例えば、画像処理装置１００のオンスクリーンディスプレイ機能により表示される画像である。

動画供給部１１０は、補助画像ＯＳＤの各々をフレームレート変換部１２０に信号線１１８を介して供給するとともに、主画像ＭＤの各々をフレームレート変換部１２０に信号線１１９を介して供給する。主画像ＭＤを含む動画と、補助画像ＯＳＤを含む動画とのフレームレートは、例えば、いずれも３０ｆｐｓ（frames per second）である。なお、これらの動画のフレームレートは、２４ｆｐｓや６０ｆｐｓなど、３０ｆｐｓ以外のフレームレートであってもよい。

フレームレート変換部１２０は、動画のフレームレートを、変換前より高い値に変換するものである。フレームレート変換部１２０における変換は、例えば、フレームレートを２倍にする変換であるものとする。このような変換は、倍速変換と呼ばれる。変換前のフレームレートが３０ｆｐｓである場合、倍速変換により、変換後は６０ｆｐｓとなる。フレームレート変換部１２０は、補助画像ＯＳＤを含む動画において、補助画像ＯＳＤを複製した画像を補間することにより、フレームレートを変換する。以下、元の補助画像ＯＳＤを「原補助画像」と称し、補間した補助画像を「補間補助画像」と称する。また、フレームレート変換部１２０は、補助画像ＯＳＤのそれぞれについて、原補助画像であるか否かを示す補助画像種別通知フラグを生成する。

一方、主画像ＭＤを含む動画において、フレームレート変換部１２０は、動きを検出し、その検出結果に基づいて隣り合う主画像ＭＤの間の画像を予測して補間する動き補償を行うことにより、フレームレートを変換する。以下、元の主画像ＭＤを「原主画像」と称し、補間した主画像ＭＤを「補間主画像」と称する。

フレームレート変換部１２０は、生成した補助画像種別通知フラグをメモリコントローラ２００に信号線１２７を介して供給し、フレームレート変換後における補助画像ＯＳＤをメモリコントローラ２００に信号線１２８を介して供給する。また、フレームレート変換部１２０は、フレームレート変換後における主画像ＭＤをメモリコントローラ２００に信号線１２９を介して供給する。

ここで、主画像ＭＤおよび補助画像ＯＳＤは、例えば、Ｖ−ｂｙ−Ｏｎｅ規格のインターフェースを介してフレームレート変換部１２０からメモリコントローラ２００へ転送される。一方、補助画像種別通知フラグは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）インターフェースを介して転送される。

なお、フレームレート変換部１２０は、主画像ＭＤおよび補助画像ＯＳＤをＨＤＭＩ（High-Definition Multimedia Interface）規格に従って転送し、ＨＤＭＩ規格において独自パケットを定義することによって補助画像種別通知フラグを転送してもよい。ＨＤＭＩ規格を用いる場合、信号線１２８および１２９の２本の信号線の代わりに１本のＨＤＭＩケーブルを介して各データを転送することができる。このときには、補助画像種別通知フラグは、パケット形式で重畳され、例えば、垂直ブランキング期間または水平ブランキング期間において転送される。

また、フレームレート変換部１２０は、補助画像種別通知フラグを、ＣＭＯＳインターフェースでなく、Ｉ２Ｃ（Inter Integrated Circuit）インターフェースを介して転送してもよい。

メモリコントローラ２００は、フレームメモリ１３０に画像を保持させるものである。このメモリコントローラ２００は、補助画像ＯＳＤおよび補助画像種別通知フラグが入力されると、その補助画像ＯＳＤが原補助画像であるか否かを補助画像種別通知フラグに基づいて判断する。

補助画像ＯＳＤが原補助画像である場合、メモリコントローラ２００は、その原補助画像の一部の領域Ａ（例えば、左半分）をフレームメモリ１３０に信号線２０９を介して転送して保持させる。一方、補助画像ＯＳＤが補間補助画像である場合、メモリコントローラ２００は、その補間補助画像において、領域Ａに一致する領域を除く残りの領域Ｂ（例えば、右半分）をフレームメモリ１３０に信号線２０９を介して転送して保持させる。補間補助画像は原補助画像を複製したものであるため、フレームメモリ１３０に保持された領域ＡおよびＢからなる画像は、原補助画像（または補間補助画像）と同一の画像となる。

一方、メモリコントローラ２００は、主画像ＭＤのそれぞれをフレームメモリ１３０に信号線２０８を介して転送して保持させる。なお、メモリコントローラ２００は、特許請求の範囲に記載の制御部の一例である。

フレームメモリ１３０は、主画像ＭＤおよび補助画像ＯＳＤを保持するものである。

画像処理部１４０は、フレームメモリ１３０から読み出した画像を処理するものである。具体的には、画像処理部１４０は、補助画像ＯＳＤ（領域ＡおよびＢ）がフレームメモリ１３０に保持されるたびに、その補助画像ＯＳＤを垂直同期信号に同期して複数回読み出す。垂直同期信号については後述する。読み出す回数は、変換前後のフレームレートの比に応じて決定される。例えば、倍速変換であれば、補助画像ＯＳＤは２回読み出され、４倍速変換であれば、４回読み出される。画像処理部１４０は、複数回読み出した補助画像ＯＳＤのいずれかを原補助画像とし、残りを補間補助画像として処理する。このように、画像処理部１４０が画像を複数回読み出すことにより、変換後のフレームレートの動画が得られる。

一方、主画像ＭＤがフレームメモリ１３０に保持されるたびに、画像処理部１４０は、その主画像ＭＤを１回読み出す。そして、画像処理部１４０は、読み出した主画像ＭＤおよび補助画像ＯＳＤに対して、各種の画像処理を実行する。実行される画像処理は、主画像ＭＤおよび補助画像ＯＳＤを合成して合成画像を生成する処理を含む。また、ノイズ低減処理、ホワイトバランス処理、および、ガンマ補正処理などの処理が必要に応じて実行される。これらの画像処理を実行する順番は、任意である。画像処理部１４０は、処理後の合成画像を表示装置３００に信号線１０９を介して出力する。

表示装置３００は、合成画像を表示するものであり、例えば、液晶ディスプレイなどである。

なお、動画供給部１１０は、補助画像ＯＳＤおよび主画像ＭＤをいずれも供給しているが、補助画像ＯＳＤのみを供給してもよい。この場合には、フレームレート変換部１２０は、補助画像ＯＳＤを含む動画のみを変換する。また、メモリコントローラ２００は、補助画像ＯＳＤのみをフレームメモリ１３０に保持させ、画像処理部１４０は補助画像ＯＳＤのみを処理する。

また、画像処理装置１００は、補助画像ＯＳＤを領域ＡおよびＢに分けて、フレームメモリ１３０に保持させている。しかし、原画像を複製して補間することによりフレームレート変換された動画であれば、画像処理装置１００は、補助画像ＯＳＤ以外の動画を領域ＡおよびＢに分けてフレームメモリ１３０に保持させてもよい。

また、メモリコントローラ２００は、同一のフレームメモリ１３０に主画像ＭＤおよび補助画像ＯＳＤの両方を保持させているが、この構成に限定されない。例えば、画像処理装置１００は、フレームメモリを２つ備え、その一方に主画像ＭＤを保持させ、他方に補助画像ＯＳＤを保持させてもよい。

［フレームレート変換部の構成例］
図２は、第１の実施の形態におけるフレームレート変換部１２０の一構成例を示すブロック図である。このフレームレート変換部１２０は、補間処理部１２１および１２４、動き検出部１２２および補間画像生成部１２３を備える。

補間処理部１２１は、原補助画像を複製した画像を補間補助画像として補間するものである。補間処理部１２１は、原補助画像および補間補助画像を時系列の順にメモリコントローラ２００に供給する。また、補間処理部１２１は、補助画像ＯＳＤごとに、補助画像種別通知フラグを生成してメモリコントローラ２００に供給する。例えば、補助画像ＯＳＤが原補助画像である場合に補助画像種別通知フラグに「１」の値が設定され、そうでない場合に補助画像種別通知フラグに「０」の値が設定される。

動き検出部１２２は、主画像ＭＤにおいて、物体の動きを検出するものである。例えば、動き検出部１２２は、主画像ＭＤを所定形状の複数のブロックに区切り、それらのブロックが一定期間内に移動した方向および距離を示すベクトルを動きベクトルとして検出する。動き検出において、主画像ＭＤは、例えば、８×８画素の正方形のブロックからなる画像として扱われる。動き検出部１２２は、隣り合う２枚の主画像ＭＤにおいて、ブロックマッチングなどにより相関性の高い２つのブロックを求め、それらのブロックの一方から他方へのベクトルを動きベクトルとして検出し、補間画像生成部１２３に供給する。

補間画像生成部１２３は、動きベクトルに基づいて補間画像を生成するものである。この補間画像生成部１２３は、例えば、隣り合う２枚の主画像ＭＤの一方の画素を動きベクトルに沿って移動させて動き補償画像を生成し、他方の画素を動きベクトルに沿って移動させて動き補償画像をさらに生成する。そして、補間画像生成部１２３は、それらの動き補償画像を合成して補間主画像を生成する。補間画像生成部１２３は、その補間主画像を補間処理部１２４に供給する。

補間処理部１２４は、補間画像生成部１２３からの補間主画像を、隣り合う２枚の原主画像の間に補間するものである。補間処理部１２４は、原主画像および補間主画像を時系列の順にメモリコントローラ２００に供給する。

図３は、第１の実施の形態におけるフレームレートの変換前後の動画の一例を示す図である。図３におけるａは、フレームレート変換前における、補助画像ＯＳＤを含む動画の一例を示す図である。この動画は、原補助画像Ｏ_ＯＳＤ１、Ｏ_ＯＳＤ２、および、Ｏ_ＯＳＤ３などの複数の補助画像ＯＳＤを時系列の順に含む。

図３におけるｂは、フレームレート変換後における、補助画像ＯＳＤを含む動画と補助画像種別通知フラグとの一例を示す図である。この動画には、原補助画像を複製した画像が補間補助画像として挿入されている。例えば、原補助画像Ｏ_ＯＳＤ１を複製した画像が補間補助画像Ｉ_ＯＳＤ１として、原補助画像Ｏ_ＯＳＤ１と原補助画像Ｏ_ＯＳＤ２との間に補間される。また、原補助画像Ｏ_ＯＳＤ２を複製した画像が補間補助画像Ｉ_ＯＳＤ２として、原補助画像Ｏ_ＯＳＤ２と原補助画像Ｏ_ＯＳＤ３との間に補間される。

図３におけるｃは、フレームレート変換前における、主画像ＭＤを含む動画の一例を示す図である。この動画は、原主画像Ｏ_ＭＤ１、Ｏ_ＭＤ２、および、Ｏ_ＭＤ３などの複数の主画像ＭＤを時系列の順に含む。

図３におけるｄは、フレームレート変換後における、主画像ＭＤを含む動画の一例を示す図である。この動画には、隣り合う原主画像から生成された補間補助画像が挿入されている。例えば、原主画像Ｏ_ＭＤ１およびＯ_ＭＤ２から動き補償により生成された画像が補間主画像Ｉ_ＭＤ１として、原主画像Ｏ_ＭＤ１と原主画像Ｏ_ＭＤ２との間に補間される。また、例えば、原主画像Ｏ_ＭＤ２およびＯ_ＭＤ３から動き補償により生成された画像が補間主画像Ｉ_ＭＤ２として、原主画像Ｏ_ＭＤ２と原主画像Ｏ_ＭＤ３との間に補間される。

図４は、第１の実施の形態におけるタイミング信号の一例を示す図である。動画供給部１１０からの動画には、複数の画像（主画像ＭＤまたは補助画像ＯＳＤ）の他、タイミング信号が含まれる。このタイミング信号は、同期信号およびデータイネーブル信号ＤＥを含む。このデータイネーブル信号ＤＥは、画素データが有効である期間を示す信号である。同期信号は、垂直方向における走査タイミングを示す垂直同期信号Ｖｓｙｎｃと水平方向における走査タイミングを示す水平同期信号Ｈｓｙｎｃとを含む。画像の各々は、この垂直同期信号Ｖｓｙｎｃに同期して転送される。ここで、データイネーブル信号ＤＥは、ライン内の画素データが有効である期間においてハイレベルに設定（アサ―ト）され、ライン内の画素データが無効である水平ブランキング期間においては、ローレベルに設定（ネゲート）される。言い換えれば、データイネーブル信号ＤＥの立下りから、次のデータイネーブル信号ＤＥの立上りまでの期間が水平ブランキング期間に相当する。また、データイネーブル信号ＤＥは、画像内の画素データが有効である期間においてラインごとにアサ―トされ、画像内の画素データが無効である垂直ブランキング期間においてネゲートされる。言い換えれば、ラインごとのデータイネーブル信号ＤＥのアサ―トが終了してから、次の画像においてアサ―トが開始するまでの期間が垂直ブランキング期間に相当する。

ここで、転送される補助画像ＯＳＤおよび主画像ＭＤは、２次元格子状に配列された複数の画素からなる画像である。これらの画像において、所定の方向（例えば、水平方向）に沿って一列に配列された複数の画素は、ラインと呼ばれる。それぞれのラインのデータ（以下「ラインデータ」と称する。）は、水平同期信号Ｈｓｙｎｃに同期して、データイネーブル信号ＤＥがハイレベルの期間において転送される。

［メモリコントローラの構成例］
図５は、第１の実施の形態におけるメモリコントローラ２００の一構成例を示すブロック図である。このメモリコントローラ２００は、ラインバッファ書込制御部２１０、ラインバッファ２２０、ラインバッファ読出制御部２３０およびフレームメモリ書込制御部２４０を備える。

ラインバッファ書込制御部２１０は、ライトイネーブル信号ＷＥによりラインバッファ２２０へのデータの書込みを制御するものである。ここで、ライトイネーブル信号ＷＥは、ラインバッファ２２０へのデータの書込みを制御するための信号である。例えば、ラインバッファ２２０へのデータの書込みを有効にする場合においてライトイネーブル信号ＷＥにハイレベルが設定され、無効にする場合においてローレベルが設定される。

ラインバッファ書込制御部２１０は、補助画像種別通知フラグおよびデータイネーブル信号ＤＥをフレームレート変換部１２０から受け取る。そして、ラインバッファ書込制御部２１０は、補助画像種別通知フラグに基づいて、補助画像ＯＳＤが原補助画像であるか補間補助画像であるかを判断する。

補助画像ＯＳＤが原補助画像である場合、ラインバッファ書込制御部２１０は、データイネーブル信号ＤＥの立上りのタイミングで書込開始信号を生成してラインバッファ読出制御部２３０へ供給する。この書込開始信号は、ラインバッファ２２０へのデータの書込みを開始するタイミングを示す信号である。また、ラインバッファ書込制御部２１０は、書込開始信号を生成したタイミングから、一定時間Ｔが経過するまでの期間に亘って、ハイレベルに設定したライトイネーブル信号ＷＥを生成する。ここで、一定時間Ｔは、フレームレート変換部１２０からラインバッファ２２０へ、補助画像ＯＳＤの１／２ライン分の画素データの転送が完了するのに要する時間である。これにより、補助画像ＯＳＤの各ラインの左半分がラインバッファ２２０に書き込まれる。

一方、補助画像ＯＳＤが補間補助画像である場合、ラインバッファ書込制御部２１０は、データイネーブル信号ＤＥの立上りから一定時間Ｔが経過したときに、書込開始信号を生成してラインバッファ読出制御部２３０へ供給する。また、ラインバッファ書込制御部２１０は、書込開始信号を生成したタイミングから、一定時間Ｔが経過するまで期間に亘って、ハイレベルに設定したライトイネーブル信号ＷＥを生成する。これにより、補助画像の各ラインの右半分がラインバッファ２２０に書き込まれる。

ラインバッファ２２０は、補助画像ＯＳＤの各ラインの右半分または左半分のデータを保持するものである。

ラインバッファ読出制御部２３０は、リードイネーブル信号ＲＥによりラインバッファ２２０を制御して、ラインバッファ２２０からデータを読み出すものである。ここで、リードイネーブル信号ＲＥは、ラインバッファ２２０からのデータの読出しを制御するための信号である。例えば、ラインバッファ２２０から１つの画素データを読み出す場合においてリードイネーブル信号ＲＥにハイレベルが設定（アサ―ト）され、そうでない場合においてローレベルが設定（ネゲート）される。

ラインバッファ読出制御部２３０は、ラインバッファ書込制御部２１０から、書込開始信号を受け取ると、リードイネーブル信号ＲＥの生成を開始する。ラインバッファ読出制御部２３０は、１／２ライン内の画素数と同じ回数、リードイネーブル信号ＲＥをアサ―トする。これにより、１／２ライン分のデータが読み出される。ラインバッファ読出制御部２３０は、読み出したデータをフレームメモリ１３０へ転送する。ここで、ラインバッファ２２０に保持されるデータ（１／２ライン分のデータ）のデータサイズは、フレームメモリ１３０のバーストアクセスサイズ以下であるものとする。このため、ラインバッファ読出制御部２３０は、バースト転送により、１／２ライン分のデータを高速にフレームメモリ１３０へ転送することができる。

フレームメモリ書込制御部２４０は、主画像ＭＤ内のラインのそれぞれを順に、フレームメモリ１３０に書き込むものである。

なお、ラインバッファ書込制御部２１０は、原補助画像のラインの左半分と補間補助画像のラインの右半分とを保持させているが、逆に、原補助画像のラインの右半分と補間補助画像のラインの左半分とを保持させてもよい。

また、ラインバッファ書込制御部２１０は、補助画像ＯＳＤの各ラインデータを分割して、その左半分または右半分を保持させているが、ラインデータ以外のデータを分割してもよい。例えば、補助画像ＯＳＤにおいて複数のラインからなる一定面積の領域を分割して、その左半分または右半分を保持させてもよい。この場合、ラインバッファ書込制御部２１０は、フレームレート変換部１２０から複数のラインデータが転送されるたびに、それらのラインデータからなる領域の左半分または右半分をバッファに保持させる。

あるいは、ラインバッファ書込制御部２１０は、補助画像ＯＳＤにおいて、複数の画素からなる一定の領域を分割して、その左半分または右半分を保持させてもよい。この場合、ラインバッファ書込制御部２１０は、フレームレート変換部１２０から複数の画素（例えば、１０画素）が転送されるたびに、それらの画素からなる領域の左半分または右半分をバッファに保持させる。

もしくは、ラインバッファ書込制御部２１０は、補助画像ＯＳＤにおいて、画素データを２つのデータ（例えば、輝度データおよび色差データ）に分割して、その一方または他方を保持させてもよい。この場合、ラインバッファ書込制御部２１０は、フレームレート変換部１２０から画素データが転送されるたびに、画素データを分割して、いずれかをバッファに保持させる。また、この場合には、ラインバッファ読出制御部２３０は、書込開始信号に応じて、１ライン内の画素数と同じ回数、リードイネーブル信号ＲＥをアサ―トする。

さらに、ラインバッファ書込制御部２１０は、補助画像を半分に分割しているが、半分以外の比率で分割してもよい。例えば、ラインバッファ書込制御部２１０は、補助画像を４：６の比率で分割し、原補助画像の４割をバッファに保持させ、補間補助画像の６割をバッファに保持させてもよい。

また、フレームレート変換部１２０とラインバッファ２２０との間にノイズ除去フィルタなどのフィルタを設けてもよい。例えば、ＩＩＲ（Infinite impulse response）フィルタや、ＦＩＲ（Finite impulse response）が設けられる。フィルタを通過させる場合、ラインバッファ書込制御部２１０は、１／２ラインに、フィルタのタップ数と同数の画素を加えた分のデータをラインバッファ２２０に保持させる。

［ラインバッファ書込制御部の構成例］
図６は、第１の実施の形態におけるラインバッファ書込制御部２１０の一構成例を示すブロック図である。このラインバッファ書込制御部２１０は、画素数計数部２１１、書込開始信号生成部２１２およびライトイネーブル信号生成部２１３を備える。

画素数計数部２１１は、ピクセルクロックｐＣＬＫに同期して、メモリコントローラ２００へ転送された画素数を計数するものである。この画素数計数部２１１は、書込開始信号生成部２１２の制御に従って、計数値を初期値（例えば、「０」）にし、画素数の計数を開始する。画素数計数部２１１は、計数値を書込開始信号生成部２１２およびライトイネーブル信号生成部２１３へ供給する。

書込開始信号生成部２１２は、書込開始信号を生成するものである。この書込開始信号生成部２１２は、データイネーブル信号ＤＥおよび補助画像種別通知フラグを取得する。書込開始信号生成部２１２は、データイネーブル信号の立上りを検出し、検出したタイミングにおいて画素数計数部２１１を制御して計数値を初期化させる。また、書込開始信号生成部２１２は、補助画像種別通知フラグに基づいて補助画像ＯＳＤが原補助画像であるか補間補助画像であるかを判断する。補助画像ＯＳＤが原補助画像である場合、書込開始信号生成部２１２は、データイネーブル信号ＤＥの立上りを検出したタイミングにおいて書込開始信号を生成する。

一方、補助画像ＯＳＤが補間補助画像である場合、書込開始信号生成部２１２は、画素数計数部２１１の計数値を参照し、１／２ラインに相当する画素数が転送されたタイミングにおいて書込開始信号を生成する。書込開始信号生成部２１２は、生成した書込開始信号をライトイネーブル信号生成部２１３とラインバッファ読出制御部２３０とに供給する。

ライトイネーブル信号生成部２１３は、ライトイネーブル信号ＷＥを生成するものである。このライトイネーブル信号生成部２１３は、書込開始信号を受け取ると、画素数計数部２１１の計数値に基づいて、一定時間Ｔ（１／２ラインに相当する時間）の間、ハイレベルに設定したライトイネーブル信号ＷＥを生成してラインバッファ２２０に供給する。

［メモリコントローラの動作例］
図７は、第１の実施の形態におけるメモリコントローラ２００の動作の一例を示すフローチャートである。この動作は、例えば、補助画像ＯＳＤを含む動画がメモリコントローラ２００に入力されたときに開始される。図７において、主画像ＭＤをフレームメモリ１３０に書き込む動作は、省略されている。

メモリコントローラ２００は、補助画像種別通知フラグに基づいて、入力された補助画像ＯＳＤが原補助画像であるか否かを判断する（ステップＳ９０１）。補助画像ＯＳＤが原補助画像である場合（ステップＳ９０１：Ｙｅｓ）、メモリコントローラ２００は、原補助画像内のいずれかのラインの左半分のラインバッファ２２０への書込みを行う（ステップＳ９０２）。そして、メモリコントローラ２００は、ラインバッファ２２０に保持させたデータ（ラインの左半分）のフレームメモリ１３０への書込みを行う（ステップＳ９０３）。

メモリコントローラ２００は、原補助画像内の全ライン数と同じ回数の書込みが終了したか否かを判断する（ステップＳ９０４）。全ライン数と同じ回数の書込みが終了していなければ（ステップＳ９０４：Ｎｏ）、メモリコントローラ２００はステップＳ９０２に戻る。一方、全ライン数と同じ回数の書込みが終了したのであれば（ステップＳ９０４：Ｙｅｓ）、メモリコントローラ２００はステップＳ９０１に戻る。

補助画像ＯＳＤが補間補助画像である場合（ステップＳ９０１：Ｎｏ）、メモリコントローラ２００は、補間補助画像内のいずれかのラインの右半分のラインバッファ２２０への書込みを行う（ステップＳ９０５）。そして、メモリコントローラ２００は、ラインバッファ２２０に保持させたデータ（ラインの右半分）のフレームメモリ１３０への書込みを行う（ステップＳ９０６）。

メモリコントローラ２００は、補間補助画像内の全ライン数と同じ回数の書込みが終了したか否かを判断する（ステップＳ９０７）。全ライン数と同じ回数の書込みが終了していなければ（ステップＳ９０７：Ｎｏ）、メモリコントローラ２００はステップＳ９０５に戻る。一方、全ライン数と同じ回数の書込みが終了したのであれば（ステップＳ９０７：Ｙｅｓ）、メモリコントローラ２００はステップＳ９０１に戻る。

図８は、第１の実施の形態におけるメモリコントローラ２００による原補助画像の書込み動作の一例を示すタイミングチャートである。フレームレート変換部１２０は、垂直同期信号Ｖｓｙｎｃに同期して、補助画像ＯＳＤのそれぞれを転送する。また、フレームレート変換部１２０は、補助画像ＯＳＤとともに、補助画像種別通知フラグを転送する。

例えば、原補助画像Ｏ_ＯＳＤ１、Ｏ_ＯＳＤ２およびＯ_ＯＳＤ３とともに、「１」の値のＯＳＤ補助画像種別通知フラグが転送される。また、原補助画像Ｏ_ＯＳＤ１およびＯ_ＯＳＤ２の間に補間された補間補助画像Ｉ_ＯＳＤ１とともに、「０」の値のＯＳＤ補助画像種別通知フラグが転送される。原補助画像Ｏ_ＯＳＤ２およびＯ_ＯＳＤ３の間に補間された補間補助画像Ｉ_ＯＳＤ２とともに、「０」の値のＯＳＤ補助画像種別通知フラグが転送される。

原補助画像ＯＳＤ内のラインデータのそれぞれは、水平同期信号Ｈｓｙｎｃに同期して、データイネーブル信号ＤＥがハイレベルの期間にメモリコントローラ２００へ転送される。

原補助画像が転送されると、メモリコントローラ２００内のラインバッファ書込制御部２１０は、補助画像種別通知フラグに基づいて、補助画像ＯＳＤが原補助画像であると判断する。ラインバッファ書込制御部２１０は、データイネーブル信号ＤＥの立上りのタイミングにおいて書込開始信号を生成する。また、ラインバッファ書込制御部２１０は、書込開始信号から、一定時間Ｔ（すなわち、１／２ラインに相当する時間）が経過するまでの間、ライトイネーブル信号ＷＥをハイレベルに設定する。これにより、ラインバッファ２２０には、ラインの左半分のデータが書き込まれる。

一方、ラインバッファ読出制御部２３０は、書込開始信号が生成されると、リードイネーブル信号ＲＥを生成して、ラインバッファ２２０からデータ（ラインの左半分）を読み出す。ラインバッファ読出制御部２３０は、そのデータをフレームメモリ１３０へ転送する。このように、ラインの各々の左半分をフレームメモリ１３０へ転送するため、フレームメモリ１３０へのデータ転送量がライン全体を転送する場合と比較して半分になる。また、一度に書き込むデータ量がライン全体を書き込む場合と比較して半分になるため、メモリコントローラ２００およびフレームメモリ１３０の消費電力が低減する。

図９は、第１の実施の形態における、原補助画像転送時にラインバッファ２２０およびフレームメモリ１３０に保持されるデータとの一例を示す図である。図９におけるａは、原補助画像の一例である。原補助画像は、ラインＬ１およびＬ２などの複数のラインを含み、これらのラインは、水平同期信号Ｈｓｙｎｃに同期して順に、メモリコントローラ２００へ転送される。

図９におけるｂは、ラインバッファ２２０に保持されるデータの一例を示す図である。原補助画像内のラインＬ１がメモリコントローラ２００に転送されると、メモリコントローラ２００は、そのラインＬ１の左半分をラインバッファ２２０に保持する。ラインＬ１以外のラインのそれぞれも同様に、左半分が保持される。

図９におけるｃは、フレームメモリ１３０に保持されるデータの一例を示す図である。メモリコントローラ２００は、ラインバッファ２２０に保持した、各ラインの左半分をフレームメモリ１３０へ転送して書き込む。これにより、フレームメモリ１３０には、原補助画像の左半分が書き込まれる。フレームメモリ１３０には、原主画像ＭＤも書き込まれるが、図９におけるｃにおいて原主画像ＭＤは省略されている。

図１０は、第１の実施の形態におけるメモリコントローラ２００による補間補助画像の書込み動作の一例を示すタイミングチャートである。

補間補助画像ＯＳＤ内のラインデータのそれぞれは、水平同期信号Ｈｓｙｎｃに同期して、データイネーブル信号ＤＥがハイレベルの期間にメモリコントローラ２００へ転送される。

補間補助画像が転送されると、メモリコントローラ２００内のラインバッファ書込制御部２１０は、補助画像種別通知フラグに基づいて、補助画像ＯＳＤが補間補助画像であると判断する。ラインバッファ書込制御部２１０は、データイネーブル信号ＤＥの立上りのタイミングから一定時間Ｔ（すなわち、１／２ラインに相当する時間）が経過したときに書込開始信号を生成する。また、ラインバッファ書込制御部２１０は、書込開始信号から一定時間Ｔが経過するまでの間、ライトイネーブル信号ＷＥをハイレベルに設定する。これにより、ラインバッファ２２０には、ラインの右半分のデータが書き込まれる。

一方、ラインバッファ読出制御部２３０は、書込開始信号が生成されると、リードイネーブル信号ＲＥを生成して、ラインバッファ２２０からデータ（ラインの右半分）を読み出す。ラインバッファ読出制御部２３０は、そのデータをフレームメモリ１３０へ転送する。このように、ラインの各々の右半分をフレームメモリ１３０へ転送するため、フレームメモリ１３０へのデータ転送量がライン全体を転送する場合と比較して半分になる。また、一度に書き込むデータ量がライン全体を書き込む場合と比較して半分になるため、メモリコントローラ２００およびフレームメモリ１３０の消費電力が低減する。

図１１は、第１の実施の形態における、補間補助画像転送時にラインバッファ２２０およびフレームメモリ１３０に保持されるデータとの一例を示す図である。図１０におけるａは、補間補助画像の一例である。補間補助画像内の各ラインは、水平同期信号Ｈｓｙｎｃに同期して順にメモリコントローラ２００へ転送される。

図１１におけるｂは、ラインバッファ２２０に保持されるデータの一例を示す図である。補間補助画像内のラインＬ１がメモリコントローラ２００に転送されると、メモリコントローラ２００は、そのラインＬ１の右半分をラインバッファ２２０に保持する。ラインＬ１以外のラインのそれぞれも同様に、右半分が保持される。

図１１におけるｃは、フレームメモリ１３０に保持されるデータの一例を示す図である。メモリコントローラ２００は、ラインバッファ２２０に保持した、各ラインの右半分をフレームメモリ１３０へ転送して書き込む。これにより、フレームメモリ１３０には、原補助画像の右半分が書き込まれる。補間補助画像は、原補助画像と同一の画像であるため、原補助画像の左半分と補間補助画像の右半分とからなる画像は、原画像または補間補助画像と同一の画像となる。フレームメモリ１３０には、補間主画像ＭＤも書き込まれるが、図１１におけるｃでは、補間主画像ＭＤは省略されている。

このように、本技術の第１の実施の形態によれば、画像処理装置１００は、原補助画像の左半分と補間補助画像の右半分とをフレームメモリ１３０に転送して保持させるため、フレームメモリ１３０への単位時間当たりのデータ転送量を低減することができる。これにより、フレームメモリ１３０へのデータ転送速度（すなわち、帯域）に余裕が生じるため、フレームレートや画像の解像度を上昇させることができる。

［第１の変形例］
図１２は、第１の実施の形態の第１の変形例における画像処理システムの一構成例を示すブロック図である。第１の実施の形態では、フレームレート変換部１２０は、主画像ＭＤを含む動画のフレームレート変換を行っていた。しかし、この動画のフレームレートが、変換前の補助画像ＯＳＤと比べて高く、変換の必要がない場合には、この動画のフレームレート変換を行わない構成としてもよい。第１の変形例のフレームレート変換部１２０は、補助画像ＯＳＤを含む動画のみのフレームレート変換を行う点において第１の実施の形態と異なる。

第１の変形例の動画供給部１１０は、主画像ＭＤを含む動画を、フレームレート変換部１２０を介さずに直接メモリコントローラ２００へ供給する。この動画のフレームレートは、例えば、６０ｆｐｓである。

［第２の変形例］
図１３は、第１の実施の形態の第２の変形例における画像処理システムの一構成例を示すブロック図である。第１の実施の形態では、画像処理装置１００が動画供給部１１０、フレームレート変換部１２０、メモリコントローラ２００、フレームメモリ１３０および画像処理部１４０を備える構成としていた。しかし、これらを複数の機器に分散して設けてもよい。第２の変形例の画像処理システムは、画像処理装置１００の代わりに、ソース機器４００およびシンク機器５００を備える点において第１の実施の形態と異なる。

ソース機器４００は、動画供給部１１０およびフレームレート変換部１２０を備える。シンク機器５００は、メモリコントローラ２００、フレームメモリ１３０および画像処理部１４０を備える。

なお、ソース機器４００がフレームレート変換部１２０を備える構成としているが、ソース機器４００の代わりに、シンク機器５００がフレームレート変換部１２０を備える構成としてもよい。

＜２．第２の実施の形態＞
第１の実施の形態では、画像処理装置１００は倍速変換を行っていたが、変換前より高いフレームレートに変換するのであれば、倍速変換以外の変換を行ってもよい。例えば、２４ｆｐｓを６０ｆｐｓに変換してもよい。このような変換は、２−３プルダウンまたはテレシネ変換と呼ばれる。第２の実施の形態の画像処理装置１００は、２−３プルダウンを行う点において第１の実施の形態と異なる。

図１４は、第２の実施の形態におけるフレームレート変換前後の動画の一例を示す図である。図１４におけるａは、フレームレート変換前における、補助画像ＯＳＤを含む動画の一例を示す図である。この動画は、原補助画像Ｏ_ＯＳＤ１、Ｏ_ＯＳＤ２、および、Ｏ_ＯＳＤ３などの複数の補助画像ＯＳＤを時系列の順に含む。

図３におけるｂは、フレームレート変換後における、補助画像ＯＳＤを含む動画と、補助画像種別通知フラグとの一例を示す図である。２−３プルダウンにおいては、例えば、奇数番目の補助画像から、１枚の補間補助画像が生成され、偶数番目の補助画像から、２枚の補間補助画像が生成される。例えば、原補助画像Ｏ_ＯＳＤ１を複製した画像が補間補助画像Ｉ_ＯＳＤ１として、原補助画像Ｏ_ＯＳＤ１と原補助画像Ｏ_ＯＳＤ２との間に補間される。また、原補助画像Ｏ_ＯＳＤ２を複製した２枚の画像が補間補助画像Ｉ_ＯＳＤ２_１およびＩ_ＯＳＤ_２として、原補助画像Ｏ_ＯＳＤ２と原補助画像Ｏ_ＯＳＤ３との間に補間される。

［メモリコントローラの構成例］
図１５は、第２の実施の形態におけるメモリコントローラ２００の一構成例を示すブロック図である。第２の実施の形態のメモリコントローラ２００は、補間画像計数部２５０をさらに備える点において第１の実施の形態と異なる。

補間画像計数部２５０は、ラインバッファ書込制御部２１０の制御に従って、連続する補間補助画像の枚数を計数するものである。補間画像計数部２５０は、補間補助画像の計数値をラインバッファ書込制御部２１０に供給する。

第２の実施の形態のラインバッファ書込制御部２１０は、補助画像種別通知フラグがローレベルである（すなわち、補間補助画像が転送された）場合に、垂直同期信号Ｖｓｙｎｃに同期して、補間画像計数部２５０を制御して計数値を増分させる。また、ラインバッファ書込制御部２１０は、補助画像種別通知フラグがハイレベルである（すなわち、原補助画像が転送された）ときに計数値を初期値（例えば、「０」）にする。そして、その計数値が２枚目の補間補助画像に対応する値（例えば、「２」）である場合には、ラインバッファ書込制御部２１０は、書込開始信号を生成せず、ライトイネーブル信号ＷＥをローレベルに設定する。これにより、連続する２枚の補間補助画像のうち、２枚目の補間補助画像は、フレームメモリ１３０に書き込まれない。１枚目の補間補助画像の右半分が転送された時点で、１枚の画像全体がフレームメモリ１３０に保持されているためである。

第２の実施の形態の画像処理部１４０は、奇数番目にフレームメモリ１３０に保持された画像を２回読み出し、偶数番目に保持された画像を３回読み出して処理する。

図１６は、第２の実施の形態におけるメモリコントローラ２００の動作の一例を示すフローチャートである。第２の実施の形態のメモリコントローラ２００の動作は、メモリコントローラ２００がステップＳ９０８をさらに実行する点において第１の実施の形態と異なる。

補助画像ＯＳＤが補間補助画像である場合（ステップＳ９０１：Ｎｏ）、メモリコントローラ２００は、その補間補助画像が１枚目の補間補助画像であるか否かを判断する（ステップＳ９０８）。１枚目の補間補助画像である場合には（ステップＳ９０８：Ｙｅｓ）、メモリコントローラ２００は、ステップＳ９０５、Ｓ９０６およびＳ９０７を実行する。一方、２枚目の補間補助画像である場合には（ステップＳ９０８：Ｎｏ）、メモリコントローラ２００は、ステップＳ９０１に戻る。

図１７は、第２の実施の形態におけるメモリコントローラによる補間補助画像の書込み動作の一例を示すタイミングチャートである。原補助画像Ｏ_ＯＳＤ１またはＯ_ＯＳＤ２がフレームレート変換部１２０から転送されると、メモリコントローラ２００における補間画像計数部２５０は、計数値を初期値（例えば、「０」）にする。補間補助画像Ｉ_ＯＳＤ１、Ｉ_ＯＳＤ２_１またはＩ_ＯＳＤ２_２が転送されると、補間画像計数部２５０は、計数値を増分する。補間補助画像Ｉ_ＯＳＤ２_１およびＩ_ＯＳＤ２_２は連続して転送されるため、Ｉ_ＯＳＤ２_２が転送されたときに計数値は「２」になる。

計数値が「２」の場合、ラインバッファ書込制御部２１０は書込開始信号を生成せず、ライトイネーブル信号ＷＥをローレベルにする。書込開始信号が生成されないため、ラインバッファ読出制御部２３０もリードイネーブル信号ＲＥをローレベルにする。このため、２枚目の補間補助画像は、フレームメモリ１３０に転送されない。

なお、メモリコントローラ２００は、連続する複数の補間補助画像を補間する場合、１枚目の補間補助画像を転送せず、２枚目以降の補間補助画像の半分を転送してもよい。例えば、フレームレート変換部１２０が２−３プルダウンの代わりに４倍速変換を行う場合、隣り合う原補助画像の間に３枚の補間補助画像が補間される。この場合、メモリコントローラ２００は、これらの３枚のうち、２枚目または３枚目の右半分をフレームメモリ１３０へ転送してもよい。

また、補間補助画像の計数をメモリコントローラ２００が行う構成としているが、フレームレート変換部１２０が行う構成としてもよい。この場合、フレームレート変換部１２０は、計数値、または、１枚目の補間補助画像であるか否かを示すフラグをさらに生成し、メモリコントローラ２００に供給する。メモリコントローラ２００は、その計数値またはフラグに基づいて、１枚目の補間補助画像であるか否かを判断する。

このように、本技術の第２の実施の形態によれば、メモリコントローラ２００は、連続する２枚の補間補助画像のうち、１枚目の補間補助画像のみにおいて右半分をフレームメモリ１３０に転送するため、データ転送量をさらに低減することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１） 原画像と前記原画像を複製した複製画像とを時系列順に含む動画が入力されると前記原画像内の一部の領域と前記複製画像内において前記一部の領域に一致する領域を除く残りの領域とをフレームメモリに保持させる制御部と、
前記一部の領域と前記残りの領域とからなるデータを前記フレームメモリから複数回読み出して前記複数回読み出したデータのいずれかを前記原画像とし、残りのデータを前記複製画像として画像処理を実行する画像処理部と
を具備する画像処理装置。
（２） 前記動画は、前記時系列順において連続する複数の複製画像を含み、
前記制御部は、連続する前記複数の複製画像のいずれかにおける前記残りの領域を前記フレームメモリに保持させる前記（１）記載の画像処理装置。
（３） 前記原画像および前記複製画像の各々は、複数の転送単位データからなる画像であり、
前記制御部は、
データを保持するバッファと、
前記原画像内の前記複数の転送単位データのいずれかが入力されるたびに前記転送単位データを２つの分割データに分割して当該２つの分割データの一方を前記バッファに保持させ、前記複製画像内の前記複数の転送単位データのいずれかが入力されるたびに前記転送単位データを前記２つの分割データに分割して当該２つの分割データの他方を前記バッファに保持させる書込制御部と、
前記２つの分割データのいずれかが前記バッファに保持されるたびに前記保持された分割データを読み出して前記フレームメモリに保持させる読出制御部と
を備える前記（１）または（２）記載の画像処理装置。
（４） 前記転送単位データは、所定の方向に一列に配列された画素からなるラインデータである前記（３）記載の画像処理装置。
（５） 前記転送単位データは、画素データである前記（３）記載の画像処理装置。
（６） 前記２つの分割データの各々のデータサイズは、前記フレームメモリのバーストアクセスサイズを超えないサイズである前記（３）から（５）のいずれかに記載の画像処理装置。
（７） 前記原画像から前記複製画像を生成して前記原画像および前記複製画像を前記時系列順に前記制御部に入力する複製部をさらに具備する前記（１）から（６）のいずれかに記載の画像処理装置。
（８） 前記複製部は、前記動画内の画像が前記原画像であるか否かを示すフラグを生成して前記原画像および前記複製画像とともに前記制御部に入力し、
前記制御部は、前記入力されたフラグに基づいて前記動画内の画像が前記原画像であるか否かを判断する前記（７）記載の画像処理装置。
（９） 前記原画像および前記複製画像は、主画像に合成される補助画像であり、
前記画像処理は、前記原画像および前記複製画像のそれぞれと前記主画像とを合成する処理を含む前記（１）から（８）のいずれかに記載の画像処理装置。
（１０） 制御部が、原画像と前記原画像を複製した複製画像とを時系列順に含む動画が入力されると前記原画像内の一部の領域と前記複製画像内において前記一部の領域に一致する領域を除く残りの領域とをフレームメモリに保持させる制御手順と、
画像処理部が、前記一部の領域と前記残りの領域とからなるデータを前記フレームメモリから複数回読み出して前記複数回読み出したデータのいずれかを前記原画像とし、残りのデータを前記複製画像として画像処理を実行する画像処理手順と
を具備する画像処理方法。

１００ 画像処理装置
１１０ 動画供給部
１２０ フレームレート変換部
１２１、１２４ 補間処理部
１２２ 動き検出部
１２３ 補間画像生成部
１３０ フレームメモリ
１４０ 画像処理部
２００ メモリコントローラ
２１０ ラインバッファ書込制御部
２１１ 画素数計数部
２１２ 書込開始信号生成部
２１３ ライトイネーブル信号生成部
２２０ ラインバッファ
２３０ ラインバッファ読出制御部
２４０ フレームメモリ書込制御部
２５０ 補間画像計数部
３００ 表示装置
４００ ソース機器
５００ シンク機器

Claims (10)

1. 原画像と前記原画像を複製した複製画像とを時系列順に含む動画が入力されると前記原画像内の一部の領域と前記複製画像内において前記一部の領域に一致する領域を除く残りの領域とをフレームメモリに保持させる制御部と、
   前記一部の領域と前記残りの領域とからなるデータを前記フレームメモリから複数回読み出して前記複数回読み出したデータのいずれかを前記原画像とし、残りのデータを前記複製画像として画像処理を実行する画像処理部と
   を具備する画像処理装置。
2. 前記動画は、前記時系列順において連続する複数の複製画像を含み、
   前記制御部は、連続する前記複数の複製画像のいずれかにおける前記残りの領域を前記フレームメモリに保持させる請求項１記載の画像処理装置。
3. 前記原画像および前記複製画像の各々は、複数の転送単位データからなる画像であり、
   前記制御部は、
   データを保持するバッファと、
   前記原画像内の前記複数の転送単位データのいずれかが入力されるたびに前記転送単位データを２つの分割データに分割して当該２つの分割データの一方を前記バッファに保持させ、前記複製画像内の前記複数の転送単位データのいずれかが入力されるたびに前記転送単位データを前記２つの分割データに分割して当該２つの分割データの他方を前記バッファに保持させる書込制御部と、
   前記２つの分割データのいずれかが前記バッファに保持されるたびに前記保持された分割データを読み出して前記フレームメモリに保持させる読出制御部と
   を備える請求項１記載の画像処理装置。
4. 前記転送単位データは、所定の方向に一列に配列された画素からなるラインデータである請求項３記載の画像処理装置。
5. 前記転送単位データは、画素データである請求項３記載の画像処理装置。
6. 前記２つの分割データの各々のデータサイズは、前記フレームメモリのバーストアクセスサイズを超えないサイズである請求項３記載の画像処理装置。
7. 前記原画像から前記複製画像を生成して前記原画像および前記複製画像を前記時系列順に前記制御部に入力する複製部をさらに具備する請求項１記載の画像処理装置。
8. 前記複製部は、前記動画内の画像が前記原画像であるか否かを示すフラグを生成して前記原画像および前記複製画像とともに前記制御部に入力し、
   前記制御部は、前記入力されたフラグに基づいて前記動画内の画像が前記原画像であるか否かを判断する請求項７記載の画像処理装置。
9. 前記原画像および前記複製画像は、主画像に合成される補助画像であり、
   前記画像処理は、前記原画像および前記複製画像のそれぞれと前記主画像とを合成する処理を含む請求項１記載の画像処理装置。
10. 制御部が、原画像と前記原画像を複製した複製画像とを時系列順に含む動画が入力されると前記原画像内の一部の領域と前記複製画像内において前記一部の領域に一致する領域を除く残りの領域とをフレームメモリに保持させる制御手順と、
    画像処理部が、前記一部の領域と前記残りの領域とからなるデータを前記フレームメモリから複数回読み出して前記複数回読み出したデータのいずれかを前記原画像とし、残りのデータを前記複製画像として画像処理を実行する画像処理手順と
    を具備する画像処理方法。

Images