JP2007180920A - 画像処理装置、電子機器、プログラム、情報記憶媒体及び画像処理方法 - Google Patents

Abstract

【課題】ディスプレイ等の画像表示装置に、この表示装置が有するアスペクト比とは異なるアスペクト比に対応した映像ソースの画像を表示する際、カメラワークに伴い移動する画像シーンが不自然な動きになってしまう問題があった。
【解決手段】フレーム画像取得部１１０は、入力映像信号から動画像を構成するフレーム画像を取得してフレームメモリ１２０に格納する。カメラワーク情報検出部１３０は、このフレーム画像を撮影したときのカメラワーク情報を検出して、検出したカメラワーク情報をメモリ１４０に格納する。変換倍率決定部１５０は、メモリ１４０に格納したカメラワーク情報に基づいて変換倍率を決定する。フレーム画像変換部１６０は、この変換倍率に従って、フレーム画像の表示サイズを異なるアスペクト比に対応した表示サイズに変換する。
【選択図】図２

Description

本発明は、動画像を構成する複数のフレーム画像を異なるアスペクト比のフレーム画像に変換する画像処理装置、当該画像処理装置を有する電子機器、プログラム、当該プログラムを記憶した情報記憶媒体及び画像処理方法に関する。

従来のテレビ映像及びビデオ映像等は、アスペクト比４：３のディスプレイにて視聴するのが一般的であり、これらの映像ソースは、アスペクト比４：３に対応したフレーム画像で構成されることが多い。このため、これらの映像ソースをアスペクト比１６：９のワイドディスプレイにて視聴する際には、アスペクト比４：３のフレーム画像を横方向に拡大する等して表示している。

図８は、アスペクト比４：３に対応したフレーム画像をアスペクト比１６：９のワイドディスプレイに表示する例を示す図であり、（ａ）は、フレーム画像を横方向に均等な倍率で拡大して表示した図であり、（ｂ）は、フレーム画像の中央領域は略等倍にして、横方向両端に拡がるほど高い倍率で拡大して表示した図であり、（ｃ）は、フレーム画像のアスペクト比４：３の状態でそのまま表示した図である。アスペクト比４：３に対応した映像ソースをアスペクト比１６：９のワイドディスプレイにて視聴する際には、映像ソースの種類によって自動的に図８（ａ）〜（ｃ）に示す表示形態が選択されるか、又はユーザが好みに応じていずれかの表示形態を選択する方法が知られている。

アスペクト比４：３に対応したフレーム画像を横方向に拡大する技術が、例えば、以下の特許文献１に記載されている。この特許文献１では、フレーム画像を各画像領域に分割して各画像領域毎に任意の倍率で横方向に拡大することを可能にしている。

特開２０００−１４８１２８号公報

しかしながら、上記したアスペクト比４：３に対応したフレーム画像をアスペクト比１６：９のワイドディスプレイに表示する方法では、映像ソースの画像は、図８（ａ）〜（ｃ）に示した表示形態のいずれかに固定されて表示される。図９は、図８（ａ）〜（ｃ）に示した表示形態の問題点を説明する図であり、図９（ａ）〜（ｃ）のそれぞれは、図８（ａ）〜（ｃ）に対応している。図８（ａ）に示す表示形態では、図９（ａ）に示すように、画像の中央領域が常に横長に拡大され、例えば人の顔が画像の中央領域にある場合、顔が横長に表示されて違和感のある画像となる。また、図８（ｂ）に示す表示形態では、画像の中央領域については略等倍であってリアルに表示されるが、図９（ｂ）に示すように、太線矢印で示す方向へ、例えばパンなどのカメラワークが生じている場合、画像の中央領域と両端領域との拡大率が異なることにより、中央領域は画像の移動スピードが遅く、両端領域は画像の移動スピードが速くなるため、移動する画像シーンが不自然な動きになってしまう。上記特許文献１でも同様に、拡大率が異なる領域では、カメラワークに伴い移動する画像シーンが不自然な動きとなってしまう。また、図８（ｃ）に示す表示形態では、図９（ｃ）に示すように、ワイドディスプレイ全体に画像を表示できないためワイドディスプレイを活かした映像を楽しむことができない。

本発明の目的は、上記した問題に鑑み、ディスプレイ等の画像表示装置に、この表示装置が有するアスペクト比とは異なるアスペクト比に対応した映像ソースの画像を表示する際に、カメラワークに伴い移動する画像シーンを自然な動きで表示し、且つ画像を画像表示装置全体に違和感なく表示する画像処理装置、電子機器、プログラム、情報記憶媒体及び画像処理方法を提供することにある。

本発明に係る画像処理装置は、上記した問題を解決するために、時系列に連続して動画像を構成する第１のアスペクト比から成る複数の第１のフレーム画像を第２のアスペクト比から成る複数の第２のフレーム画像に変換する画像処理装置であって、前記複数の第１のフレーム画像を取得するフレーム画像取得部と、前記取得した複数の第１のフレーム画像に基づいて、前記取得した複数の第１のフレーム画像のそれぞれからカメラワーク情報を検出するカメラワーク情報検出部と、前記検出したカメラワーク情報に基づいて、前記取得した複数の第１のフレーム画像を前記複数の第２のフレーム画像に変換するフレーム画像変換部とを備える。

本発明に係る画像処理装置によれば、フレーム画像取得部によって動画像を構成する複数のフレーム画像を取得し、これらのフレーム画像を基に、カメラワーク情報検出部によってフレーム画像を撮影したときの例えばパンやズームなどのカメラワークの情報を検出し、検出したフレーム画像のカメラワークの情報を基に、フレーム画像変換部によってフレーム画像を異なるアスペクト比に変換する。フレーム画像を撮影したときのカメラワークの情報を基にフレーム画像を変換することから、フレーム画像を撮影したときのカメラワークの変化に応じてフレーム画像の変換方法を変えることができる。このため、カメラワークに伴い移動する画像シーンが自然な動きで表示され、且つ画像を画像表示装置全体に違和感なく表示されるようにフレーム画像を変換することが可能となる。

上記した本発明に係る画像処理装置では、前記フレーム画像変換部は、前記第１のフレーム画像を複数の画像領域に分割し、前記第１のフレーム画像から検出したカメラワーク情報がカメラワーク無しを規定する場合に、当該第１のフレーム画像を前記分割した各画像領域毎に倍率が異なる第１の変換倍率を用いて前記第２のフレーム画像に変換し、前記第１のフレーム画像から検出したカメラワーク情報がカメラワーク有りを規定し、且つ当該第１のフレーム画像が、カメラワーク情報がカメラワーク無しを規定する第１のフレーム画像から時系列に、後に連続する所定数の第１のフレーム画像又は前に連続する所定数の第１のフレーム画像である場合に、前記第１のフレーム画像を前記分割した各画像領域毎に倍率が異なる第２の変換倍率を用いて前記第２のフレーム画像に変換し、前記第１のフレーム画像から検出したカメラワーク情報がカメラワーク有りを規定し、且つ当該第１のフレーム画像が、カメラワーク情報がカメラワーク無しを規定する第１のフレーム画像から時系列に、後に連続する所定数の第１のフレーム画像及び前に連続する所定数の第１のフレーム画像でない場合に、前記第１のフレーム画像を前記分割した各画像領域毎に倍率が均等な第３の変換倍率を用いて前記第２のフレーム画像に変換する。

上記した本発明に係る画像処理装置では、前記フレーム画像変換部は、前記第１のアスペクト比から成る複数の第１のフレーム画像の解像度を前記第２のアスペクト比から成る複数の第２のフレーム画像の解像度に変換する。

上記した本発明に係る画像処理装置では、前記第１のアスペクト比は４：３であり、前記第２のアスペクト比は１６：９である。

本発明に係る電子機器は、上記した問題を解決するために、上記画像処理装置を有する。

本発明に係るプログラムは、上記した問題を解決するために、時系列に連続して動画像を構成する第１のアスペクト比から成る複数の第１のフレーム画像を第２のアスペクト比から成る複数の第２のフレーム画像に変換する処理をコンピュータに実行させるためのプログラムであって、コンピュータを、前記複数の第１のフレーム画像を取得するフレーム画像取得部と、前記取得した複数の第１のフレーム画像に基づいて、前記取得した複数の第１のフレーム画像のそれぞれからカメラワーク情報を検出するカメラワーク情報検出部と、前記検出したカメラワーク情報に基づいて、前記取得した複数の第１のフレーム画像を前記複数の第２のフレーム画像に変換するフレーム画像変換部として機能させる。

本発明に係る情報記憶媒体は、上記した問題を解決するために、コンピュータ読み取り可能な情報記憶媒体であって、上記プログラムを記憶する。

本発明に係る画像処理方法は、上記した問題を解決するために、時系列に連続して動画像を構成する第１のアスペクト比から成る複数の第１のフレーム画像を第２のアスペクト比から成る複数の第２のフレーム画像に変換する画像処理方法であって、前記複数の第１のフレーム画像を取得するフレーム画像取得工程と、前記取得した複数の第１のフレーム画像に基づいて、前記取得した複数の第１のフレーム画像のそれぞれからカメラワーク情報を検出するカメラワーク情報検出工程と、前記検出したカメラワーク情報に基づいて、前記取得した複数の第１のフレーム画像を前記複数の第２のフレーム画像に変換するフレーム画像変換工程とを備える。

以下、本発明に係る画像処理装置の実施形態を図面を参照して説明する。

＜画像処理装置の構成＞
先ず、本発明に係る画像処理装置の概略構成について説明する。
図１は、本発明の一実施形態としての画像処理装置の概略構成を示す説明図である。この画像処理装置１００は、汎用のコンピュータであり、入力Ｉ／Ｆ（インターフェイス）１０１、ＣＰＵ１０３、ＲＡＭ１０２、ＲＯＭ１０４、ハードディスク１０５及び出力Ｉ／Ｆ１０６を備え、これらはバス１０７を介して互いに接続されている。入力Ｉ／Ｆ１０１には、映像ソースの動画像を入力する画像入力装置としてのデジタルビデオカメラ２００及びＤＶＤプレーヤ２１０が接続され、出力Ｉ／Ｆ１０６には、動画像を出力する画像表示装置としてのビデオプロジェクタ３００及びディスプレイ３１０が接続されている。ここで、ビデオプロジェクタ３００及びディスプレイ３１０が有する画面の第２のアスペクト比としてのアスペクト比は、１６：９とする。また、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置や、動画像を出力することが可能な画像表示装置をそれぞれ接続することもできる。なお、上記した画像入力装置及び画像表示装置が、それぞれ本発明による画像処理装置を備えるように構成することもできる。

入力Ｉ／Ｆ１０１は、デジタルビデオカメラ２００やＤＶＤプレーヤ２１０から、所定の画素数とＲＧＢ形式などの所定の画素値とで構成される動画像を入力映像信号として受け付け、この動画像から第１のフレーム画像としてのフレーム画像を取得する。この動画像は、複数枚のフレーム画像から成り、１枚のフレーム画像は、動画像の１コマに相当する静止画像を表す。取得したフレーム画像は、ＲＡＭ１０２又はハードディスク１０５に格納される。
ＣＰＵ１０３は、格納されたフレーム画像が第１のアスペクト比としてのアスペクト比４：３に対応したフレーム画像であった場合、このフレーム画像に対して所定の画像処理を実行し、アスペクト比１６：９に対応した補正フレーム画像として再びＲＡＭ１０２又はハードディスク１０５に格納する。ここで、補正フレーム画像を生成するまでに行われる所定の画像処理に際し、必要に応じてＲＡＭ１０２やハードディスク１０５が画像処理に係るデータのワーキングメモリとして用いられる。
出力Ｉ／Ｆ１０６は、格納された補正フレーム画像をアスペクト比１６：９に対応した第２のフレーム画像を出力映像信号としてビデオプロジェクタ３００やディスプレイ３１０などに送出する。

所定の画像処理を記録したアプリケーションプログラムは、予めハードディスク１０５やＲＯＭ１０４に格納されていることとしても良いし、コンピュータが読み取り可能な例えばＣＤ−ＲＯＭなどの記録媒体によって外部から供給され、図示しないＤＶＤ−Ｒ／ＲＷドライブを介してハードディスク１０５に記憶することによって格納されるものとしても良い。また、インターネットなどのネットワーク手段を介して、アプリケーションプログラムを供給するサーバー等にアクセスし、データをダウンロードすることによってハードディスク１０５に格納されるものとしても良い。

ＣＰＵ１０３は、バス１０７を介してハードディスク１０５又はＲＯＭ１０４に格納されたアプリケーションプログラムを読み出し、この読み出したアプリケーションプログラムを所定のオペレーティングシステムのもとで実行することによって、画像処理装置として機能する。

図２は、本発明の一実施形態としての画像処理装置の機能ブロック図である。図２に示すように、上記したアプリケーションプログラムが実行されることにより、図１に示すＣＰＵ１０３は、フレーム画像取得部１１０、カメラワーク情報検出部１３０、変換倍率決定部１５０、フレーム画像変換部１６０及び画像出力部１７０として機能する。

フレーム画像取得部１１０は、画像処理装置１００に入力された入力映像信号から、動画像を構成するフレーム画像を取得してフレームメモリ１２０に格納する。
このとき、格納したフレーム画像がアスペクト比４：３に対応したフレーム画像であった場合、カメラワーク情報検出部１３０は、このフレーム画像を撮影したときの例えばパンやズームなどのカメラワークの情報を示すカメラワーク情報を検出して、検出したカメラワーク情報をメモリ１４０に格納する。
変換倍率決定部は、メモリ１４０に格納したカメラワーク情報に基づいて、アスペクト比４：３に対応したフレーム画像の表示サイズをアスペクト比１６：９に対応した表示サイズに変換するための変換倍率を決定する。
フレーム画像変換部１６０は、変換倍率決定部１５０によって決定した変換倍率に従って、アスペクト比４：３に対応したフレーム画像の表示サイズをアスペクト比１６：９に対応した表示サイズに変換し、補正フレーム画像を生成する。
画像出力部１７０は、フレーム画像変換部１６０によって生成したアスペクト比１６：９に対応した補正フレーム画像を出力映像信号として出力する。

＜フレーム画像変換の動作＞
次に、アスペクト比４：３に対応したフレーム画像を取得し、アスペクト比１６：９に対応した補正フレーム画像に変換して出力する動作について説明する。
図３は、フレーム画像を取得し、補正フレーム画像に変換して出力する動作を示すフローチャートである。図４は、フレーム画像の変換処理の詳細を示すフローチャートである。図３及び図４に示す各ステップにおける動作は、全て画像処理装置１００に備えられたＣＰＵ１０３の制御により実行される。

先ず、図３に示すステップＳ５１０では、画像処理装置１００に入力された映像ソースから、動画像を構成するフレーム画像を時系列に順次取得する。ここでは、アスペクト比４：３に対応したフレーム画像で構成される動画像が入力映像信号として入力されることとする。

ステップＳ５２０では、ステップＳ５１０において取得したフレーム画像に基づいて、このフレーム画像を撮影したときのカメラワークの情報を示すカメラワーク情報を検出する。
ここで、フレーム画像からカメラワーク情報を検出する方法は、例えば特開平６―２７６４６７号公報に記載されている方法を用いても良い。特開平６―２７６４６７号公報においては、時系列に隣り合う２つのフレーム画像間でオプティカルフローを検出してオプティカルフローの方向を求め、このオプティカルフローの方向によってカメラワークの種類を判定している。

図５は、カメラワーク情報とオプティカルフローの方向との対応表である。取得したフレーム画像からオプティカルフローの方向を求め、図５に示す対応表に従ってフレーム画像を撮影したときのカメラワークの種類を示すカメラワーク情報を検出する。ここで、図５に示すカメラワーク情報の項目に記載されているパンとは、撮影位置を固定した状態で撮影方向を左右に変化させながら撮影することである。トラックとは、撮影面に沿って左右方向等に撮影位置を変化させながら撮影することである。チルトとは、撮影位置を固定した状態で撮影方向を上下に変化させながら撮影することである。ズームとは、撮影位置を固定した状態で画角を変更しながら撮影することである。
なお、上記のカメラワークの種類に限らず、撮影方向、撮影位置及び画角等の少なくとも１つを変更することによって画像シーンが移動するカメラワークに適用することが可能である。

ステップＳ５３０では、ステップＳ５２０において検出したカメラワーク情報に基づいて、ステップＳ５１０において取得したアスペクト比４：３に対応したフレーム画像の表示サイズを、アスペクト比１６：９に対応した表示サイズに変換して補正フレーム画像を生成する。なお、フレーム画像の変換処理の詳細は後述する。

ステップＳ５４０では、ステップＳ５３０において生成したアスペクト比１６：９に対応した補正フレーム画像を出力する。ここでは、生成した補正フレーム画像を、図１に示す出力Ｉ／Ｆ１０６を介して、ビデオプロジェクタ３００やディスプレイ３１０などの画像表示装置が必要とする映像信号に変換し、補正フレーム画像を生成する毎に直ちに出力するものとする。こうすれば、変換対象となるフレーム画像の取得後から補正フレーム画像の出力までの時間が短くなり、補正のための変換処理をリアルタイムでおこなえる可能性がある。また、補正フレーム画像の出力先をＲＡＭ１０２やハードディスク１０５などに設けられた所定の画像ファイルとし、生成した一連の補正フレーム画像を格納することとしても良い。

ステップＳ５５０では、時系列の最終のフレーム画像に対しての変換処理が終了したか否かを判定する。最終のフレーム画像に対しての変換処理が終了した場合は、映像ソースの動画像の全てに対して変換処理が完了しているので、図３に示すフローチャートの動作を終了する。
他方、最終のフレーム画像に対しての処理が終了していない場合は、ステップＳ５１０に戻り次のフレーム画像に対しての処理を実行する。

次に、フレーム画像の変換処理の詳細について説明する。上記した図３のステップＳ５３０のフレーム画像の変換処理へ進むと、図４に示すステップＳ６１０の処理を開始する。

ステップＳ６１０では、これから変換処理を実行するフレーム画像に対して、図３のステップＳ５２０において検出したカメラワーク情報に基づいてカメラワークの有無を判定する。カメラワーク情報がカメラワーク無しに該当する場合、ステップＳ６３０において図６（ａ）に示す倍率曲線を選択する。なお、図６（ａ）〜（ｃ）に示す倍率曲線の説明については後述する。
他方、カメラワーク情報がカメラワーク無しに該当しない場合、即ちカメラワーク情報が、パン、トラック、チルト及びズームのいずれかに該当する場合、ステップＳ６２０へ進む。

ステップＳ６２０では、カメラワーク情報が、パン、トラック、チルト及びズームのいずれかに該当する場合に、そのカメラワーク情報を有するフレーム画像は、カメラワーク開始直後のフレーム画像なのか、あるいはカメラワーク終了直前のフレーム画像なのかを判定する。カメラワーク開始直後のフレーム画像、あるいはカメラワーク終了直前のフレーム画像である場合、ステップＳ６４０において図６（ｂ）に示す倍率曲線を選択する。
他方、カメラワーク開始直後のフレーム画像、及びカメラワーク終了直前のフレーム画像でない場合、即ちカメラワーク進行中の状態である場合、ステップＳ６５０において図６（ｃ）に示す倍率曲線を選択する。

本実施形態では、カメラワーク開始直後のフレーム画像であるか否かの判定は、カメラワーク情報がカメラワーク無しのフレーム画像からカメラワーク有りのフレーム画像に切り替わったとき、そのカメラワーク有りに切り替わったフレーム画像と、そのフレーム画像と同一のカメラワーク情報を有して時系列に後ろに続く１４枚のフレーム画像とを含めた計１５枚のフレーム画像を、カメラワーク開始直後のフレーム画像であると判定する。
また、カメラワーク終了直前のフレーム画像であるか否かの判定は、カメラワーク情報がカメラワーク有りのフレーム画像からカメラワーク無しのフレーム画像に切り替わったとき、その切り替わる前のカメラワーク有りのフレーム画像と、そのフレーム画像と同一のカメラワーク情報を有して時系列に前に続く１４枚分のフレーム画像とを含めた計１５枚のフレーム画像を、カメラワーク終了直前のフレーム画像であると判定する。

図７は、動画像においてカメラワークの切り替わりの例を示す説明図である。図７を用いて、カメラワーク開始直後、カメラワーク進行中及びカメラワーク終了直前のそれぞれの対象と成るフレーム画像について説明する。図７に示すように、画像シーンＳ１では、カメラワーク情報は、カメラワーク無しを示しており、画像シーンＳ２において、カメラワーク無しからパンに切り替わっている。この例では、パンに切り替わった後の画像シーンＳ２を構成する１５枚のフレーム画像を、カメラワーク開始直後のフレーム画像であると規定する。また、画像シーンＳ２〜Ｓ４では、継続してパンを示しており、画像シーンＳ５において、パンからカメラワーク無しに切り替わっている。この例では、パンからカメラワーク無しに切り替わる前の画像シーンＳ４を構成する１５枚のフレーム画像を、カメラワーク終了直前のフレーム画像であると規定する。また、カメラワーク無しからパンに切り替わって、再びカメラワーク無しに切り替わるまでの画像シーンＳ２〜Ｓ４において、Ｓ２のカメラワーク開始直後及びＳ４のカメラワーク終了直前の画像シーンを除いた画像シーンＳ３を構成するフレーム画像を、カメラワーク進行中のフレーム画像であると規定する。

なお、本実施形態では、カメラワーク開始直後及びカメラワーク終了直前のフレーム画像として、それぞれ１５枚のフレーム画像を対象にしたが、フレーム画像の枚数はこれに限定されない。また、本実施形態では、カメラワークの切り替わりのフレーム画像として、カメラワーク開始直後及びカメラワーク終了直前のフレーム画像を対象にしたが、カメラワーク切り替わりの対象と成るフレーム画像は、これに限定されない。例えば、カメラワーク開始直後のフレーム画像に代えて、カメラワーク開始直前と成るカメラワーク無しの所定枚数のフレーム画像を対象にしたり、あるいはカメラワーク有りに切り替わる直前直後と成るカメラワーク無し及び有りの所定枚数のフレーム画像を対象にしたりしても良い。また、カメラワーク終了直前のフレーム画像に代えて、カメラワーク終了直後と成るカメラワーク無しの所定枚数のフレーム画像を対象にしたり、あるいはカメラワーク無しに切り替わる直前直後と成るカメラワーク有り及び無しの所定枚数のフレーム画像を対象にしたりしても良い。

ステップＳ６６０では、ステップＳ６３０〜Ｓ６５０において選択した倍率曲線に基づいて、アスペクト比４：３に対応したフレーム画像の解像度を変換して、アスペクト比１６：９に対応した補正フレーム画像に変換する。
補正フレーム画像への変換後は、図３に示すフローチャートの処理に戻る。

次に、図６（ａ）〜（ｃ）に示す倍率曲線について説明する。図６は、アスペクト比４：３に対応したフレーム画像の表示サイズを、アスペクト比１６：９に対応したフレーム画像の表示サイズに変換する倍率を示す倍率曲線であり、（ａ）は第１の変換倍率を示し、（ｂ）は第２の変換倍率を示し、（ｃ）は第３の変換倍率を示す。これらの倍率曲線は、座標の横軸がフレーム画像の画像領域の横方向の位置を表し、座標の縦軸がこの横方向の位置における拡大倍率を表す。
図６（ａ）に示す倍率曲線では、画像領域の横方向における中央領域近辺の拡大倍率が略等倍であり、左右両端部に近づくに従って拡大倍率が増加している。このため、この倍率曲線に基づいてフレーム画像の表示サイズを変換すると、図８（ｂ）の変換後の画像に示すように、画像の中央領域では略等倍に表示され、左右両端に近づくに従って画像が拡大される。
また、図６（ｂ）に示す倍率曲線では、図６（ａ）に示す倍率曲線と同様に、中央領域近辺の拡大倍率が低く、左右両端部に近づくに従って拡大倍率が増加しているが、図６（ａ）と比べると、中央領域近辺の拡大倍率と左右両端部の拡大率との差を小さくしてある。このため、この倍率曲線に基づいてフレーム画像を変換すると、画像の中央領域では少しだけ拡大されて表示され、左右両端部に近づくに従って画像が拡大されるが、図６（ａ）と比べると拡大の程度は小さい。
また、図６（ｃ）に示す倍率曲線では、画像領域の横方向の全ての位置の拡大倍率が均等になっている。このため、この倍率曲線に基づいてフレーム画像を変換すると、図８（ａ）の変換後の画像に示すように、横方向に均等に拡大されて表示される。

なお、本発明のフレーム画像取得工程は、上記ステップＳ５１０に相当する。また、本発明のカメラワーク情報検出工程は、上記ステップＳ５２０に相当する。また、本発明のフレーム画像変換工程は、上記ステップＳ５３０に相当する。

上述したように、本実施形態の画像処理装置１００では、フレーム画像を撮影したときのカメラワーク情報に応じて、フレーム画像の画像領域毎の拡大倍率を示す倍率曲線（ａ）〜（ｃ）を選択し、その倍率曲線に従って画像の表示サイズを変更してアスペクト比１６：９に対応したフレーム画像に変換している。このため、カメラワークが生じていない画像シーンを表示するときには、倍率曲線（ａ）を用いることにより、画像の中央領域がリアルに表示されて、例えば人の顔が画像の中央に位置した場合、顔が横長に広がるなどの違和感をなくすことができる。また、例えばパンやズームなどのカメラワークの画像シーンの場合は、倍率曲線（ｃ）を用いることにより、画像は均等に拡大されるため、カメラワークに伴い移動する画像シーンは、画像の各領域において均等なスピードで移動することから、自然な動きを実現できる。また、カメラワークが生じていない画像シーンからカメラワークの画像シーンに切り替わるとき、及びカメラワークの画像シーンが終了するときは、上記したカメラワークが生じているときの倍率曲線（ａ）より拡大倍率を少し抑えた倍率曲線（ｂ）を用いて変換することから、画像内容が急に別の表示形態に切り替わって画像シーンが不自然な印象を与えてしまうのを防ぐことができる。

（変形例１）上記した実施形態では、動画像におけるカメラワークの状態を、カメラワーク無し、カメラワーク開始直後、カメラワーク進行中及びカメラワーク終了直前の４種類に分類し、それぞれのカメラワークの状態に応じて、図６（ａ）〜（ｃ）に示す３種類の倍率曲線を用いて画像の変換を行っている。しかし、カメラワークの状態の種類及び画像の変換に用いる倍率曲線の種類はこれに限定されない。
例えば、カメラワーク開始直後及び終了直前のカメラワークの状態を時系列に更に細かく分類して、それぞれの状態に応じて新しく倍率曲線を設定しても良い。具体的には、例えば、上記した実施形態のカメラワーク開始直後の画像シーンの場合、１５枚のフレーム画像を対象にして倍率曲線（ｂ）を用いるのに代えて、これら１５枚のフレーム画像のうち時系列の最初から５枚は倍率曲線Ａ、次の５枚は倍率曲線Ｂ、最後の５枚は倍率曲線Ｃのように更に細かく倍率曲線を設定する。そして、これら倍率曲線Ａ〜Ｃは、倍率曲線（ａ）から（ｃ）へと段階的に緩やかな曲線で変化していくように設定する。これにより、カメラワーク無しからカメラワーク進行中への画像シーンの移行をよりスムーズに切り替えることができる。また、カメラワーク終了直前の画像シーンの場合も同様の対応によって、カメラワーク進行中からカメラワーク無しへの画像シーンの移行をよりスムーズに切り替えることができる。

（変形例２）上記した実施形態では、アスペクト比４：３に対応したフレーム画像の表示サイズを、アスペクト比１６：９に対応したフレーム画像の表示サイズに変換しているが、本発明は、これらのアスペクト比に限定されるものではなく、アスペクト比の異なるフレーム画像間での表示サイズの変換に適用が可能である。

（変形例３）上記した実施形態では、汎用のコンピュータで構成するようにしているが、本発明は、これに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしても良い。あるいは、デジタルカメラやビデオカメラ、ＤＶＤ録画再生機、又はビデオプロジェクタやＴＶ、あるいは携帯電話など、動画像を記録又は再生できる機器や、時系列順で静止画像を記録又は再生できる種々の機器に、本発明の画像処理装置を組み込んで構成するようにしても良い。

本発明の一実施形態としての画像処理装置の概略構成を示す説明図。 本発明の一実施形態としての画像処理装置の機能ブロック図。 フレーム画像を取得し、補正フレーム画像に変換して出力する動作を示すフローチャート。 フレーム画像の変換処理の詳細を示すフローチャート。 カメラワーク情報とオプティカルフローの方向との対応表。 アスペクト比４：３に対応したフレーム画像の表示サイズを、アスペクト比１６：９に対応したフレーム画像の表示サイズに変換する倍率を示す倍率曲線、（ａ）は第１の変換倍率、（ｂ）は第２の変換倍率、（ｃ）は第３の変換倍率。 動画像においてカメラワークの切り替わりの例を示す説明図。 従来のアスペクト比４：３に対応したフレーム画像をアスペクト比１６：９のワイドディスプレイに表示する例を示す図。 従来の表示形態の問題点を説明する図。

符号の説明

１００…画像処理装置、１０１…入力Ｉ／Ｆ、１０２…ＲＡＭ、１０３…ＣＰＵ、１０４…ＲＯＭ、１０５…ハードディスク、１０６…出力Ｉ／Ｆ、１０７…バス、１１０…フレーム画像取得部、１２０…フレームメモリ、１３０…カメラワーク情報検出部、１４０…メモリ、１５０…変換倍率決定部、１６０…フレーム画像変換部、１７０…画像出力部、２００…デジタルビデオカメラ、２１０…ＤＶＤプレーヤ、３００…ビデオプロジェクタ、３１０…ディスプレイ。

Claims (8)

1. 時系列に連続して動画像を構成する第１のアスペクト比から成る複数の第１のフレーム画像を第２のアスペクト比から成る複数の第２のフレーム画像に変換する画像処理装置であって、
   前記複数の第１のフレーム画像を取得するフレーム画像取得部と、
   前記取得した複数の第１のフレーム画像に基づいて、前記取得した複数の第１のフレーム画像のそれぞれからカメラワーク情報を検出するカメラワーク情報検出部と、
   前記検出したカメラワーク情報に基づいて、前記取得した複数の第１のフレーム画像を前記複数の第２のフレーム画像に変換するフレーム画像変換部とを備えることを特徴とする画像処理装置。
2. 前記フレーム画像変換部は、前記第１のフレーム画像を複数の画像領域に分割し、
   前記第１のフレーム画像から検出したカメラワーク情報がカメラワーク無しを規定する場合に、当該第１のフレーム画像を前記分割した各画像領域毎に倍率が異なる第１の変換倍率を用いて前記第２のフレーム画像に変換し、
   前記第１のフレーム画像から検出したカメラワーク情報がカメラワーク有りを規定し、且つ当該第１のフレーム画像が、カメラワーク情報がカメラワーク無しを規定する第１のフレーム画像から時系列に、後に連続する所定数の第１のフレーム画像又は前に連続する所定数の第１のフレーム画像である場合に、前記第１のフレーム画像を前記分割した各画像領域毎に倍率が異なる第２の変換倍率を用いて前記第２のフレーム画像に変換し、
   前記第１のフレーム画像から検出したカメラワーク情報がカメラワーク有りを規定し、且つ当該第１のフレーム画像が、カメラワーク情報がカメラワーク無しを規定する第１のフレーム画像から時系列に、後に連続する所定数の第１のフレーム画像及び前に連続する所定数の第１のフレーム画像でない場合に、前記第１のフレーム画像を前記分割した各画像領域毎に倍率が均等な第３の変換倍率を用いて前記第２のフレーム画像に変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記フレーム画像変換部は、前記第１のアスペクト比から成る複数の第１のフレーム画像の解像度を前記第２のアスペクト比から成る複数の第２のフレーム画像の解像度に変換することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のアスペクト比は４：３であり、前記第２のアスペクト比は１６：９であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置を有する電子機器。
6. 時系列に連続して動画像を構成する第１のアスペクト比から成る複数の第１のフレーム画像を第２のアスペクト比から成る複数の第２のフレーム画像に変換する処理をコンピュータに実行させるためのプログラムであって、
   コンピュータを、
   前記複数の第１のフレーム画像を取得するフレーム画像取得部と、
   前記取得した複数の第１のフレーム画像に基づいて、前記取得した複数の第１のフレーム画像のそれぞれからカメラワーク情報を検出するカメラワーク情報検出部と、
   前記検出したカメラワーク情報に基づいて、前記取得した複数の第１のフレーム画像を前記複数の第２のフレーム画像に変換するフレーム画像変換部として機能させることを特徴とするプログラム。
7. 請求項６に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
8. 時系列に連続して動画像を構成する第１のアスペクト比から成る複数の第１のフレーム画像を第２のアスペクト比から成る複数の第２のフレーム画像に変換する画像処理方法であって、
   前記複数の第１のフレーム画像を取得するフレーム画像取得工程と、
   前記取得した複数の第１のフレーム画像に基づいて、前記取得した複数の第１のフレーム画像のそれぞれからカメラワーク情報を検出するカメラワーク情報検出工程と、
   前記検出したカメラワーク情報に基づいて、前記取得した複数の第１のフレーム画像を前記複数の第２のフレーム画像に変換するフレーム画像変換工程とを備えることを特徴とする画像処理方法。
   

Images