JP2006279556A

JP2006279556A - 画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体

Info

Publication number: JP2006279556A
Application number: JP2005095796A
Authority: JP
Inventors: Koichi Yoshizawa; 孝一吉澤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2006-10-12

Abstract

【課題】ゆっくり動く物体の映像など、動き速度が小さい場合に、動画像がシャープに再生できない。
【解決手段】本発明による画像処理装置によれば、まず、画像取得部110によって、時系列順に一定量の画像毎に、当該一定量の画像が順次取得され、再生画像選択部120によって、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像が選択される。そして、動きベクトル算出部140によって、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルが算出され、平滑化処理判定部150（動き速度算出部）によって、前記動きベクトルの大きさおよび前記再生時の画像速度から動き速度が算出され、当該算出された動き速度に基づいて、平滑化処理を行うか否かが判定され、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定される。
【選択図】図２

Description

本発明は、動画像または時系列に連続する静止画像から取得されたフレーム画像から動きベクトルを検出し、当該動きベクトルに応じた平滑化処理を行い滑らかな動画再生を実現するための画像処理技術に関する。

近年、コンピュータグラフィックス技術の進歩などにより実際の映像に近いアニメーションを制作できるようになってきているが、そのようなアニメーションにおいてはより滑らかで自然な動画像の再生を実現することが要求されている。

通常、動画像の表示は複数の静止画像を連続的に再生することによって実現されており、単位時間あたりの静止画像の数を増加させればより滑らかな動画像の再生を実現することができる。しかし、個々の静止画像が輪郭ぼやけなどのない完全な静止画像である場合、単位時間あたりの静止画像の数を増加させていくと、チラツキなどの不具合が生じる場合がある。

このような不具合を解消するため、特許文献１に開示されている信号処理装置では、画像入力信号データに対して、動きデータに応じて平均化処理を施すことによってちらつきの少ない自然な動画像を得ることができるようにしている。

特許第３１７９４７５号公報

しかし、特許文献１に開示されている信号処理装置では、動画像を滑らかに再生するための平均化処理を常に行っており、ゆっくり動く物体の映像など、動き速度が小さい場合に、動画像がシャープに再生できないという課題がある。

本発明は、このような課題を解決するためになされたもので、より滑らかで自然な動画像を再生可能な画像処理装置、画像表示装置、画像撮像装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

上記目的を達成する本発明の一態様による画像処理装置は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理装置であって、時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択部と、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出部と、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定部と、を備え、前記平滑化処理判定部は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定するように構成される。

上記のように構成された画像処理装置は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う。まず、画像取得部によって、時系列順に一定量の画像毎に、当該一定量の画像が順次取得され、再生画像選択部によって、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像が選択される。そして、動きベクトル算出部によって、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルが算出され、動き速度算出部によって、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度が算出される。さらに、平滑化処理判定部によって、当該算出された動き速度に基づいて、平滑化処理を行うか否かが判定され、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定される。

ここで、「一定量の画像」は、実施形態における「フレーム画像」に対応しているが、フレーム画像には限定されない。

また、「再生時の画像速度」が、実施形態における「再生フレームレート」に対応し、「所定値」が、実施形態における「しきい値」に対応している。

そして、「画像取得部」が、実施形態における「フレーム画像取得部」に対応し、「再生画像選択部」が、実施形態における「再生フレーム選択部」に対応している。

また、「動き速度算出部」と「平滑化処理判定部」とが、実施形態における「平滑化処理判定部」に対応している。

上記本発明による画像処理装置によれば、前記再生対象であるｎ番目の一定量の画像を複数の領域に分割する領域分割部を更に備え、前記動きベクトル算出部が、分割された複数の領域毎に動きベクトルを算出し、前記動き速度算出部が、分割された複数の領域毎に動き速度を算出し、平滑化処理判定部が、分割された複数の領域毎に算出された動き速度の中で最大の動き速度に基づいて、平滑化処理を行うか否かを判定することが好ましい。

ここで、「領域」が、実施形態における「ブロック」に対応している。

上記本発明による画像処理装置によれば、前記再生対象であるｎ番目の一定量の画像を複数の領域に分割する領域分割部を更に備え、前記動きベクトル算出部が、分割された複数の領域毎に動きベクトルを算出し、前記動き速度算出部が、分割された複数の領域毎に動き速度を算出し、平滑化処理判定部が、分割された複数の領域毎に算出された動き速度に基づいて、分割された複数の領域毎に平滑化処理を行うか否かを判定することが好ましい。

上記本発明による画像処理装置によれば、前記動き速度に応じて、平滑化処理の程度を変更することが好ましい。

上記本発明による画像処理装置によれば、前記再生時の画像速度に応じて、前記所定値を変化させることが好ましい。

上記本発明による画像処理装置によれば、前記再生時の画像速度を大きくするに連れて、前記所定値を大きくすることが好ましい。

上記本発明による画像処理装置によれば、Ｖhを水平方向動き速度、Ｖvを垂直方向動き速度とした場合、以下の式によって補正された動き速度Ｖcor
Ｖcor＝Ｗh・Ｖh＋Ｗv・Ｖv
に基づいて、平滑化処理判定部が平滑化処理を行うか否かを判定することが好ましい。

上記本発明による画像処理装置によれば、ＷhはＷvより小さな値であることが好ましい。

上記本発明による画像処理装置によれば、観察距離が大きいほど、前記所定値を大きくすることが好ましい。

上記目的を達成する本発明の他の態様による画像表示装置は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像表示装置であって、時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択部と、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出部と、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定部と、を備え、前記平滑化処理判定部は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定するように構成される。

上記目的を達成する本発明の他の態様による画像撮像装置は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像撮像装置であって、時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択部と、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出部と、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定部と、を備え、前記平滑化処理判定部は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定するように構成される。

上記目的を達成する本発明の他の態様による画像処理方法は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理方法であって、時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得工程と、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択工程と、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出工程と、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出工程と、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定工程と、を備え、前記平滑化処理判定工程は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定するように構成される。

上記目的を達成する本発明の他の態様によるプログラムは、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理をコンピュータに実行させるためのプログラムであって、時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得処理と、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択処理と、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出処理と、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出処理と、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定処理と、を備え、前記平滑化処理判定処理は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、プログラムである。

上記目的を達成する本発明の他の態様による記録媒体は、動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得処理と、前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択処理と、前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出処理と、前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出処理と、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定処理と、を備え、前記平滑化処理判定処理は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、プログラムを記録したコンピュータによって読取可能な記録媒体である。

次に、本発明の実施の形態を説明する。図１は本発明の一実施形態としての画像処理装置の概略構成を示す説明図である。この画像処理装置は汎用のコンピュータであり、入力インターフェイス（Ｉ／Ｆ）１０１、ＣＰＵ１０３、ＲＡＭ１０２、ＲＯＭ１０４、ハードディスク１０５および出力インターフェイス（Ｉ／Ｆ）１０６を備え、これらはバス１０７を介して互いに接続されている。入力Ｉ／Ｆ１０１には、動画像を入力する装置としてのデジタルビデオカメラ２００（画像撮像装置）およびＤＶＤプレーヤ２１０が接続され、出力Ｉ／Ｆ１０６には動画像を出力する装置（画像表示装置）としてのビデオプロジェクタ３００およびディスプレイ３１０が接続されている。その他、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置や、動画像を出力することが可能な画像表示装置をそれぞれ接続することもできる。なお、動画像には時系列に連続する静止画像も含まれる。

また、上記画像撮像装置および画像表示装置が、それぞれ本発明による画像処理装置を備えるように構成することもできる。

入力Ｉ／Ｆ１０１は、所定の画素数とＲＧＢ形式など所定の画素値を有する動画像からフレーム画像を取得し、コンピュータ１００で処理できるフレーム画像データに変換する。本実施形態では、フレーム画像を構成する所定枚数のフィールド画像から、フレーム画像データを取得するものとする。フレーム画像は、記録方式に応じて通常複数の所定枚数のフィールド画像によって構成されている。例えば、ＮＴＳＣ方式で記録された動画像の場合は、インターレース方式であり、毎秒６０枚のフィールド画像によって毎秒３０枚のフレーム画像が構成されている。従って、入力Ｉ／Ｆ１０１は、２つのフィールド画像の画素値を用いて１つのフレーム画像を取得する。もとより、１つのフィールド画像が１つのフレーム画像を構成しているプレグレッシブ方式（ノンインターレース方式）のような場合は、１つのフィールド画像を用いて１つのフレーム画像を取得することになる。

変換されたフレーム画像データは、ＲＡＭ１０２又はハードディスク１０５に格納される。ＣＰＵ１０３は格納されたフレーム画像データに対して所定の画像処理を実行し、補正フレーム画像データとして再びＲＡＭ１０２又はハードディスク１０５に格納する。補正フレーム画像データを生成するまでに行われる所定の画像処理に際し、必要に応じてＲＡＭ１０２やハードディスク１０５が画像処理データのワーキングメモリとして用いられる。そして、格納した補正フレーム画像データを、出力Ｉ／Ｆ１０６を介して所定の画像データに変換し、ビデオプロジェクタ３００などに送出する。

所定の画像処理を記録したアプリケーションプログラムは、予めハードディスク１０５やＲＯＭ１０４に格納されていることとしてもよいし、例えばＣＤ−ＲＯＭなどのコンピュータが読み取り可能な記録媒体によって外部から供給され、図示しないＤＶＤ−Ｒ／ＲＷドライブを介してハードディスク１０５に記憶することによって格納されるものとしてもよい。もとより、インターネットなどのネットワーク手段を介して、アプリケーションプログラムを供給するサーバー等にアクセスし、データをダウンロードすることによってハードディスク１０５に格納されるものとしてもよい。

ＣＰＵ１０３は、バス１０７を介してハードディスク１０５またはＲＯＭ１０４に格納されたアプリケーションプログラムを読み出し、この読み出したアプリケーションプログラムを所定のオペレーティングシステムのもとで実行することによって、画像処理装置として機能する。
第1実施形態
図２に、本発明の一実施形態としての画像処理装置の機能ブロック図を示す。図２に示すように、このアプリケーションプログラムが実行されることにより、ＣＰＵ１０３は、フレーム画像取得部１１０、再生フレーム選択部１２０、ブロック分割部１３０、動きベクトル算出部１４０、平滑化処理判定部１５０および平滑化処理部１６０として機能する。

各部はそれぞれ以下の処理を実行する。フレーム画像取得部１１０は、コンピュータ１００に入力した動画像から時系列順にフレーム画像を取得する。再生フレーム選択部１２０は、再生フレームレートに合わせて、再生時に使用するフレーム画像をソース動画像の中から選択する。ブロック分割部１３０は、対象フレーム画像を任意の大きさのブロックに分割する。動きベクトル算出部１４０は、再生動画像のフレーム画像の動きベクトルを算出する。平滑化処理判定部１５０は、動きベクトルの大きさおよび再生フレームレートから動き速度を算出して、当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する。そして、平滑化処理部１６０は、平滑化処理判定部１５０の判定結果に基づき、所望の平滑化処理を実行する。

次に、本実施形態の画像処理装置について各部が行う処理を、図３の処理フローチャートにより説明する。図３に示した処理が開始されると、まずステップＳ１０において、フレーム画像取得部１１０は、入力される動画像から時系列順に、順次フレーム画像Ｆ（ｎ）をコンピュータ１００に取り込む処理を行う。なお、本実施形態における以下の画像処理装置の説明において、（ｎ）は時系列順でｎ番目（ｎは自然数）であることを意味する。

本実施形態では、動画像の入力をトリガーにして、自動的にフレーム画像を時系列順で順次取り込むこととする。もとより、取り込むフレーム画像を指定することとしてもよい。フレーム画像の指定方法は、動画像からフレーム画像を取得してコンピュータ１００に取り込む際、通常付加されるフレーム画像の識別番号を指定するようにしてもよい。あるいは、ユーザがビデオカメラに備えられたモニタなどのディスプレイ（図示せず）に表示されるフレーム画像を見ながら画像を直接指定することとしてもよい。

次に、ステップＳ２０において、再生フレーム選択部１２０は、高フレームレートのソース動画像から低フレームレートの再生動画像を生成する場合、再生フレームレートに合わせて、再生時に使用するフレーム画像をソース動画像から選択する。例えば、ソース動画像のフレームレートが１２０[ｆｌａｍｅ／ｓｅｃ]で、再生動画像のフレームレートが３０[ｆｌａｍｅ／ｓｅｃ]である場合、図４に示すように、ソース動画像Ｆ０〜Ｆ８の中から４フレームおきに再生フレーム画像ＲＦ０（＝Ｆ０）、ＲＦ１（＝Ｆ４）、ＲＦ２（＝Ｆ８）を選択する。

次に、ステップＳ３０において、ブロック分割部１３０は、図５に示すように、対象再生フレーム画像を任意の大きさの複数のブロックに分割する。

そして、Ｓ４０において、動きベクトル算出部１４０は、分割された各ブロック毎に、再生動画像の対象再生フレーム画像ＲＦ（ｎ）と、その次の再生フレーム画像ＲＦ（ｎ＋１）との間の動きベクトルを算出する。ここで、再生フレーム画像ＲＦ（ｎ＋１）の動きベクトルＶ０（ｎ＋１）の算出処理を説明する。時系列順ｎ番目の再生フレーム画像ＲＦ（ｎ）に対して再生フレーム画像ＲＦ（ｎ＋１）の相対位置を算出し、その相対位置に再生フレーム画像ＲＦ（ｎ＋１）を配置する。そして、再生フレーム画像ＲＦ（ｎ）の画面位置に対する再生フレーム画像ＲＦ（ｎ＋１）の画面位置のずれ量を、Ｘ，Ｙ方向のそれぞれの画素数として算出する。このＸ方向の画素数をＸ成分、Ｙ方向の画素数をＹ成分とするベクトルによって表したものが、再生フレーム画像ＲＦ（ｎ＋１）の動きベクトルＶ０（ｎ＋１）となる。算出した動きベクトルＶ０（ｎ＋１）のデータＶ０（ｎ＋１）は、ＣＰＵ１０３によってＲＡＭ１０２などに格納される。

フレーム画像間の相対位置は、特許第２９５７８５１号公報に開示されている方法や、画像のパターンマッチングまたは特徴点追跡といった周知の画像処理方法によって求めることができる。具体的な相対位置の算出処理方法については、本発明の本質ではないので詳細な説明を省略する。

なお、データの処理順は、図５に示すように、フレーム画像の左上のブロックから右横方向にデータを処理し、順次下方に１ライン毎データ処理する。最終的にはフレーム画像の右下のブロックまで到達し、当該動きベクトル算出処理を終了する。

次に、ステップＳ５０において、平滑化処理判定部１５０は、各ブロック毎に算出された動きベクトルの大きさと、再生フレームレートとから、各ブロック毎に以下の式（１）により動き速度を算出する。

（動き速度）＝（動きベクトル大きさ）×（再生フレームレート） … 式（1）
式（1）の代わりに、式（2）のように、方向に応じて補正係数をかけて各ブロック毎に動き速度を求めると、より良い結果が得られることを経験的に確かめた。

Ｖcor＝Ｗh・Ｖh＋Ｗv・Ｖv … 式（2）
ここで、Ｖcorは補正された動き速度、Ｖhは水平方向動き速度、Ｖvは垂直方向動き速度、Ｗhは水平速度補正係数(＜１)、Ｗvは垂直速度補正係数(＝1)である。なお、ＷhはＷvより小さな値であり、ＷhはＷvの約２／３程度であることが好ましい。このように水平速度補正係数を垂直速度補正係数よりも小さくするのは、水平方向は観察者の目が追従しやすいのに対して、垂直方向は観察者の目が追従しにくいので、垂直方向の動き速度に対して水平方向の動き速度よりも大きな重み係数をかけ、垂直方向の動き速度が大きくなる際早めに平滑化処理を開始させるためである。

さらに、ステップＳ６０において、平滑化処理判定部１５０は、式（１）または式（２）によって算出された動き速度に応じて、平滑化処理を行うか否かを判定する。

まず、各ブロック毎に算出された動き速度の中から最大値（以下、単に「動き速度ＭＡＸ」と称する）を抽出する。そして、再生フレームレート（再生時のフレームレート）と、図６に示すグラフから求まるしきい値とから平滑化処理を行うか否かを判定する。

すなわち、平滑化処理判定部１５０は、動き速度ＭＡＸが図６に示すしきい値（所定値）よりも大きい場合には、平滑化処理を行うと判定し、前記しきい値（所定値）以下の場合には、平滑化処理を行わないと判定する。

図６において、横軸は再生時のフレームレート（フレーム／秒（[flame/sec]））を示し、縦軸は動き速度の絶対値（ｍｍ／秒（[mm/sec]））を示す。なお、このしきい値は、画像表示装置と観察者との間の距離（以下、単に「観察距離」と称する）が約４５ｃｍの時の推奨値である。図６に示すように、前記しきい値は、０（ゼロ）よりも大きく、再生フレームレートに応じて変化する値とする。具体的には、再生フレームレートが早くなるに連れて平滑化処理が不要になるため、前記しきい値は、再生フレームレートが大きくなるに連れて大きくする。

また、図７に示すように、観察距離に応じて、前記平滑化処理を行うか否かを判定するためのしきい値を変化させるようにしても良い。この場合、観察距離が大きいほど、前記しきい値を大きくする。図７において、横軸は再生時のフレームレート（フレーム／秒（[flame/sec]））を示し、縦軸は動き速度の絶対値（ｍｍ／秒（[mm/sec]））を示す。

但し、前記しきい値は、観察距離に比例した値よりは小さい値とする。すなわち、観察距離が２倍なっても、しきい値は２倍よりも小さい値とする。

そして、ステップＳ７０において、平滑化処理部１６０は平滑化処理を実行する。

平滑化処理部１６０は、再生フレーム画像ＲＦ（ｎ）の各画素(x,y)の出力として、以下の値を出力する。
（１−１）平滑化処理判定部１５０が平滑化処理を行うと判定した場合
平滑化処理部１６０は、
PO(n)(x,y)＝{PI(4n)(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)}／4
を出力する。すなわち、PI(4n)(x,y)、PI(4n+1)(x,y)、PI(4n+1)(x,y)、PI(4n+1)(x,y)の平均値を算出して出力する。
（１−２）平滑化処理判定部１５０が平滑化処理を行わないと判定した場合
平滑化処理部１６０は、
PO(n)(x,y)＝PI(4n)(x,y)
を出力する。

ここで、PO(n)(x,y)は、再生動画像におけるｎ番目の再生フレーム画像ＲＦ（ｎ）の各画素(x,y)の出力値であり、PI(4n)(x,y)は、入力動画像における４ｎ番目のフレーム画像の各画素(x,y)の値である。

そして、全ての再生フレーム画像ＲＦ（ｎ）について、上記Ｓ３０〜Ｓ７０についての処理を行うことによって図３に示す処理を終了する。

なお、平滑化処理については本願出願人によるＷＯ０２／００５５４４号公報に開示されている方法などの周知の画像処理方法を適用できる。ＷＯ０２／００５５４４号公報に開示されている方法の場合、平滑化フィルタの決定において、パラメータを以下のような値に設定することによって本発明に適用できる。

すなわち、mの値を最大、nの値を最小として、平滑化フィルタの形を最も扁平にする。そして、θg＝（動きベクトル）＋90°とし、動きベクトルの方向に平滑化処理を行う。さらに、(動きベクトルの大きさ)とσとを比例させ、動きベクトルが大きいとき、平滑化フィルタの係数が0でない領域を大きくする。

具体的な平滑化処理については、本発明の本質ではないので詳細な説明を省略する。

当該実施形態によれば、動き速度ＭＡＸが図６に示すしきい値（所定値）よりも大きい場合には平滑化処理が行われ、前記しきい値（所定値）以下の場合には平滑化処理が行われない。よって、動き速度が速い映像の場合には、平滑化処理により適切な画像ぼやけが生じるので、滑らかで自然な動画再生が可能になる。また、動き速度が遅い映像の場合には、輪郭のくっきりとした（シャープで）高品質な画像表示をおこなうことができる。
第２実施形態
第１実施形態においては動き速度に応じて平滑化処理を行うか否かのみを判定していたが、第２実施形態では動き速度に応じて平滑化処理のパラメータを変更し、平滑化の仕方を変更（平滑化処理の程度を徐々に変更）している点において、第１実施形態と第２実施形態とは異なる。

図８に、本発明の他の実施形態としての画像処理装置の機能ブロック図を示す。図８に示すように、このアプリケーションプログラムが実行されることにより、ＣＰＵ１０３は、フレーム画像取得部１１０、再生フレーム選択部１２０、ブロック分割部１３０、動きベクトル算出部１４０、平滑化パラメータ決定部１５５および平滑化処理部１６０として機能する。

各部はそれぞれ以下の処理を実行する。フレーム画像取得部１１０は、コンピュータ１００に入力した動画像から時系列順にフレーム画像を取得する。再生フレーム選択部１２０は、再生フレームレートに合わせて、再生時に使用するフレーム画像をソース動画像の中から選択する。ブロック分割部１３０は、対象フレーム画像を任意の大きさのブロックに分割する。動きベクトル算出部１４０は、再生動画像のフレーム画像の動きベクトルを算出する。平滑化パラメータ決定部１５５は、動きベクトルの大きさおよび再生フレームレートから動き速度を算出して、当該算出された動き速度に基づいて、平滑化処理を行うためのパラメータを決定する。そして、平滑化処理部１６０は、平滑化パラメータ決定部１５５によって決定されたパラメータに基づき、所望の平滑化処理を実行する。

次に、本実施形態の画像処理装置について各部が行う処理を、図９の処理フローチャートにより説明する。

図９のＳ１０〜Ｓ５０における処理は、図３のＳ１０〜Ｓ５０における処理とほぼ同様である。但し、図３のＳ５０では、平滑化処理判定部１５０が動き速度を算出しているのに対して、図９のＳ５０では、平滑化パラメータ決定部１５５が同様の方法で動き速度を算出している点のみが相違する。このため、図９のＳ１０〜Ｓ５０における処理の詳細な説明は省略する。

そして、ステップＳ６５において、平滑化パラメータ決定判定部１５５は、式（１）または式（２）によって算出された動き速度に応じて、平滑化パラメータを決定する。

第１実施形態と同様に、まず、各ブロック毎に算出された動き速度の中から最大値(動き速度ＭＡＸ)を抽出する。そして、再生フレームレート（再生時のフレームレート）と、図６に示すグラフから求まるしきい値とから、平滑化パラメータ決定判定部１５５は以下のように平滑化パラメータを決定する。
（２−１−１） (動き速度ＭＡＸ)＞(1＋α)×（しきい値）の時、
平滑化パラメータ＝1
（２−１−２） (1＋α)×（しきい値）≧(動き速度ＭＡＸ)＞（しきい値）の時、
平滑化パラメータ＝{(動き速度ＭＡＸ)−（しきい値）}／α×（しきい値）
（２−１−３）（しきい値）≧(動き速度ＭＡＸ)の時、
平滑化パラメータ＝0
ここで、αは、：平滑化処理を行わない状態から平滑化処理を１００％行う状態までの変化を決定するための係数（固定値）であり、経験的に０．２≦α≦０．３が好ましい。

また、第１実施形態と同様、図６に示すように、前記しきい値は、０（ゼロ）よりも大きく、再生フレームレートに応じて変化する値とする。具体的には、再生フレームレートが早くなるに連れて平滑化処理が不要になるため、前記しきい値は、再生フレームレートが大きくなるに連れて大きくする。

また、第１実施形態と同様、図７に示すように、観察距離に応じて、前記平滑化処理を行うか否かを判定するためのしきい値を変化させるようにしても良い。この場合、観察距離が大きいほど、前記しきい値を大きくする。

平滑化処理部１６０は、再生フレーム画像ＲＦ（ｎ）の各画素(x,y)の出力として、以下の値を出力する。以下のように、当該実施形態では、平滑化パラメータが０（ゼロ）よりも大きい場合に、平滑化処理の程度を徐々に変更しているので、より滑らかで自然な動画再生が可能になる。
（２−２−１）（平滑化パラメータ）＞１．０の時、
平滑化処理部１６０は、
PO(n)(x,y)＝{PI(4n)(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)}／4
を出力する。すなわち、PI(4n)(x,y)、PI(4n+1)(x,y)、PI(4n+1)(x,y)、PI(4n+1)(x,y)の平均値を算出して出力する。
（２−２−２）１．０≧（平滑化パラメータ）＞１／２の時、
平滑化処理部１６０は、
PO(n)(x,y)＝{PI(4n)
(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)}／3
を出力する。
（２−２−３）１／２≧（平滑化パラメータ）＞０の時、
平滑化処理部１６０は、
PO(n)(x,y)＝{PI(4n)(x,y)＋PI(4n+1)(x,y)}／2
を出力する。
（２−２−４）０≧（平滑化パラメータ）の時
平滑化処理部１６０は、
PO(n)(x,y)＝PI(4n)(x,y)
を出力する。

なお、第１実施形態と同様に、平滑化処理については本願出願人によるＷＯ０２／００５５４４号公報に開示されている方法などの周知の画像処理方法を適用できる。具体的な平滑化処理については、本発明の本質ではないので詳細な説明を省略する。

当該実施形態によれば、平滑化パラメータが０（ゼロ）よりも大きい場合には平滑化処理が行われ、０（ゼロ）以下の場合には平滑化処理が行われない。よって、動き速度が速い映像の場合には、平滑化処理により適切な画像ぼやけが生じるので、滑らかで自然な動画再生が可能になる。また、動き速度が遅い映像の場合には、輪郭のくっきりとした（シャープで）高品質な画像表示をおこなうことができる。さらに、当該実施形態では、平滑化パラメータが０（ゼロ）よりも大きい場合に、平滑化処理の程度を徐々に変更しているので、より滑らかで自然な動画再生が可能になる。
第３実施形態
第１実施形態においては各対象再生フレーム画像毎に平滑化処理を行うか否かを判定していたが、第３実施形態においては、各対象再生フレーム画像のブロック毎に平滑化処理を行うか否かを判定している点において、第１実施形態と第３実施形態とは異なる。

当該第３実施形態における画像処理装置の機能ブロック図は、図２に示す第１実施形態における画像処理装置の機能ブロック図と同一であるので、その詳細な説明は省略する。

また、第３実施形態の画像処理装置について各部が行う処理フローも、図３の処理フローチャートと同一である。図３のＳ１０〜Ｓ５０における処理については、処理内容も同一であるため、その詳細な説明を省略する。

そして、図３のＳ６０において、平滑化処理判定部１５０は、式（１）または式（２）によって各ブロック毎に算出された動き速度に応じて、平滑化処理を行うか否かを各ブロック毎に判定する。

すなわち、平滑化処理判定部１５０は、各ブロック毎に算出された動き速度と、再生フレームレート（再生時のフレームレート）と、図６に示すグラフから求まるしきい値とから平滑化処理を行うか否かを各ブロック毎に判定する。

つまり、平滑化処理判定部１５０は、各ブロック毎に、動き速度が図６に示すしきい値（所定値）よりも大きい場合には平滑化処理を行うと判定し、前記しきい値（所定値）以下の場合には平滑化処理を行わないと判定する。判定対象となるブロックを以下「注目ブロック」と称する。

平滑化処理部１６０は、再生フレーム画像ＲＦ（ｎ）の各画素(x,y)の出力として、以下の値を出力する。
（３−１）平滑化処理判定部１５０によって、注目画素が平滑化処理を行うと判定された場合、図１０に示すように、注目ブロックが動きベクトルに沿って移動した際わずかでも通過したブロック（注目ブロックを含む）を平滑化対象のブロックとする。

そして、平滑化処理部１６０は、
PO(n)(x,y)＝{PI(4n)(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)＋PI(4n+1)(x,y)}／4
を出力する。すなわち、PI(4n)(x,y)、PI(4n+1)(x,y)、PI(4n+1)(x,y)、PI(4n+1)(x,y)の平均値を算出して出力する。
（３−２）平滑化処理判定部１５０によって、注目画素が平滑化処理を行わないと判定された場合
平滑化処理部１６０は、
PO(n)(x,y)＝PI(4n)(x,y)
を出力する。

当該実施形態によれば、各ブロック毎に動き速度が図６に示すしきい値（所定値）よりも大きい場合には平滑化処理が行われ、前記しきい値（所定値）以下の場合には平滑化処理が行われない。よって、動き速度が速い映像の場合には、平滑化処理により適切な画像ぼやけが生じるので、滑らかで自然な動画再生が可能になる。また、動き速度が遅い映像の場合には、輪郭のくっきりとした（シャープで）高品質な画像表示をおこなうことができる。当該実施形態では、各ブロック毎に平滑化処理を行うか否かの判定が行われるため、より緻密な平滑化処理が可能となる。
（変形例１）
第２実施形態と第３実施形態とを組み合わせることも可能である。すなわち、各ブロック毎に算出された動きベクトルに応じて、各ブロック毎に平滑化パラメータを決定して、平滑化処理を行うこともできる。
（変形例２）
なお、ソース動画像と再生動画像のフレームレートが等しい場合であっても、撮影時に高速シャッターモードで撮影されている場合には、動きボケのない輪郭のくっきりした画像を取り込んでいるので、本願における平滑化処理を適用できる。

本発明の一実施形態としての画像処理装置のハードウエア構成を示す説明図である。本発明の一実施形態としての画像処理装置の機能ブロック図である。画像処理装置の処理を説明するフローチャートである。再生時に使用するフレーム画像の選択を説明するための図である。フレーム画像をブロックに分割すること、およびデータの処理順を説明するための図である。平滑化処理を行うか否かを判定するためのしきい値を説明するための図である。観察距離に応じて、平滑化処理を行うか否かを判定するためのしきい値を変化させることを説明するための説明図である。本発明の他の実施形態としての画像処理装置の機能ブロック図である。画像処理装置の処理を説明するフローチャートである。平滑化対象のブロックを説明するための図である。

符号の説明

１００…コンピュータ、１０１…入力Ｉ／Ｆ、１０２…ＲＡＭ、１０３…ＣＰＵ、１０４…ＲＯＭ、１０５…ハードディスク、１０６…出力Ｉ／Ｆ、１０７…バスライン、１１０…フレーム画像取得部、１２０…再生フレーム選択部、１３０…ブロック分割部、１４０…動きベクトル算出部、１５０…平滑化処理判定部、１５５…平滑化パラメータ決定部、１６０…平滑化処理部、２００…ビデオカメラ、２１０…ＤＶＤプレーヤ、３００…プロジェクタ、３１０…ディスプレイ

Claims

動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理装置であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、
前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択部と、
前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出部と、
当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定部と、
を備え、
前記平滑化処理判定部は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、画像処理装置。
請求項１に記載の画像処理装置であって、
前記再生対象であるｎ番目の一定量の画像を複数の領域に分割する領域分割部を更に備え、
前記動きベクトル算出部が、分割された複数の領域毎に動きベクトルを算出し、
前記動き速度算出部が、分割された複数の領域毎に動き速度を算出し、
平滑化処理判定部が、分割された複数の領域毎に算出された動き速度の中で最大の動き速度に基づいて、平滑化処理を行うか否かを判定する、画像処理装置。
請求項１に記載の画像処理装置であって、
前記再生対象であるｎ番目の一定量の画像を複数の領域に分割する領域分割部を更に備え、
前記動きベクトル算出部が、分割された複数の領域毎に動きベクトルを算出し、
前記動き速度算出部が、分割された複数の領域毎に動き速度を算出し、
平滑化処理判定部が、分割された複数の領域毎に算出された動き速度に基づいて、分割された複数の領域毎に平滑化処理を行うか否かを判定する、画像処理装置。
請求項１乃至３のいずれか一項に記載の画像処理装置であって、
前記動き速度に応じて、平滑化処理の程度を変更する、画像処理装置。
請求項１乃至４のいずれか一項に記載の画像処理装置であって、
前記再生時の画像速度に応じて、前記所定値を変化させる、画像処理装置。
請求項１乃至４のいずれか一項に記載の画像処理装置であって、
前記再生時の画像速度を大きくするに連れて、前記所定値を大きくする、画像処理装置。
請求項１乃至６のいずれか一項に記載の画像処理装置であって、
Ｖhを水平方向動き速度、Ｖvを垂直方向動き速度とした場合、
以下の式によって補正された動き速度Ｖcor
Ｖcor＝Ｗh・Ｖh＋Ｗv・Ｖv
に基づいて、平滑化処理判定部が平滑化処理を行うか否かを判定する、画像処理装置。
請求項７に記載の画像処理装置であって、
ＷhはＷvより小さな値である、画像処理装置。
請求項１乃至８のいずれか一項に記載の画像処理装置であって、
観察距離が大きいほど、前記所定値を大きくする、画像処理装置。
動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像表示装置であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、
前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択部と、
前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出部と、
当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定部と、
を備え、
前記平滑化処理判定部は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、画像表示装置。
動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像撮像装置であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得部と、
前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択部と、
前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出部と、
当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定部と、
を備え、
前記平滑化処理判定部は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、画像撮像装置。
動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理方法であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得工程と、
前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択工程と、
前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出工程と、
前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出工程と、
当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定工程と、
を備え、
前記平滑化処理判定工程は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、画像処理方法。
動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理をコンピュータに実行させるためのプログラムであって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得処理と、
前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択処理と、
前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出処理と、
前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出処理と、
当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定処理と、
を備え、
前記平滑化処理判定処理は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、プログラム。
動画像または時系列に連続する静止画像から一定量の画像を取得し、該取得した一定量の画像について平滑化処理を行う画像処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、
時系列順に一定量の画像毎に、当該一定量の画像を順次取得する画像取得処理と、
前記順次取得した一定量の画像のうち、再生時の画像速度に基づき、再生時に使用する一定量の画像を選択する再生画像選択処理と、
前記選択された再生時に使用する一定量の画像のうち、再生対象であるｎ（ｎは1以上の整数）番目の一定量の画像と、（ｎ＋１）番目の一定量の画像との間の動きベクトルを算出する動きベクトル算出処理と、
前記動きベクトルの大きさおよび前記再生時の画像速度から、動き速度を算出する動き速度算出処理と、
当該算出された動き速度に基づいて、平滑化処理を行うか否かを判定する平滑化処理判定処理と、
を備え、
前記平滑化処理判定処理は、前記算出された動き速度が、０より大きな所定値以下の時に平滑化処理を行わないと判定する、プログラムを記録したコンピュータによって読取可能な記録媒体。