JP2006287743A - 情報処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】 撮像装置に高度なリソースを要求することなく、効果的に画像情報のフリッカを低減することを可能にする技術を提供する。
【解決手段】 本発明によれば、画像情報と当該画像情報に関連づけられた補助情報とを入力する入力手段と、１以上の画像処理方法を記憶する記憶手段と、入力された前記画像情報に対して行う画像処理方法を、当該画像情報に関連づけられた前記補助情報に基づいて、前記記憶手段に記憶された前記画像処理方法から選択する選択手段と、入力された前記画像情報に対して、少なくとも前記選択手段において選択された前記画像処理方法に基づいて画像処理を行うように制御する制御手段とを備えることを特徴とする情報処理装置が提供される。
【選択図】 図１

Description

本発明は、画像情報のフリッカを低減する技術に関する。

光源の輝度が時間変動する環境においてカメラやビデオカメラ等の撮像装置を用いて撮像を行うと、光源の輝度が変動するタイミングと撮像装置が光情報を感知するタイミングとの不整合により、撮像装置が撮像する画像情報が乱れる場合がある。この画像情報の乱れをフリッカという。

例えば、商用電源周波数（５０または６０Ｈｚ）の倍の周波数（１００または１２０Ｈｚ）で明滅を繰り返す、交流電源を電源とする蛍光灯等を光源とした環境における撮像を考える。このような環境下で２４〜３０ｆｐｓ程度のタイミングで動画像を撮像すると、光源からの光を受けた明るいフレームと、光を受けていないときのフレームとが、光源の輝度変動周期よりも長い周期で撮像される。このため、撮像された動画像を再生したときに画面全体がちらついて見えることになる。このようなちらつきを面フリッカと呼ぶ。

また、同様の環境下で、走査方向に１行ずつ順に露光して画像を形成する、例えば、ローリングシャッター方式等を採用した撮像装置を用いて撮像を行った場合を考える。この場合、光源からの光を受けている時に撮像したピクセルの行と、光を受けていない時に撮像したピクセルの行とが交互に撮像される。このため、撮像された画像に縞状の乱れが含まれることになる。このような乱れをラインフリッカと呼ぶ。

従来より画像情報のフリッカを低減する技術として、撮像装置においてフリッカを低減する技術と、外部装置においてフリッカを低減する技術が知られている。

（撮像装置におけるフリッカ低減技術）
撮像装置におけるフリッカ低減技術として、光電変換特性のゲインを自動的に調整するオート・ゲイン・コントロール（Ａｕｔｏ−Ｇａｉｎ Ｃｏｎｔｒｏｌ、以下、ＡＧＣと呼ぶ）が知られている。また、被写体の色温度を検出し、それに基づいてホワイトバランスを自動的に調整するオート・ホワイト・バランス（Ａｕｔｏ−Ｗｈｉｔｅ Ｂａｌａｎｃｅ、以下、ＡＷＢと呼ぶ）が知られている。

また、被写体映像を光電変換する撮像素子と撮像素子における電荷の蓄積時間を制御する電子シャッタ制御手段と撮像素子からの出力信号の利得を制御する利得制御手段と被写体明るさ検出手段を用いて適切に露光制御を行う制御手段を具備し、映像信号のフリッカ成分を検出したときに電子シャッタを制御してフリッカを補正する撮像装置において、低照度時にはフリッカ補正量をオフセットさせることでシャッタを切らない領域から制御できるようにして低照度時のＳ／Ｎを改善することを特徴とする撮像装置の技術が知られている（特許文献１）。

（外部装置におけるフリッカ低減技術）
外部装置におけるフリッカ低減技術として、静止画像の撮像時に光源の周波数と色情報（色温度等）の情報を取得し、外部装置においてこれらの情報を用いて画像情報に含まれるフリッカを低減する技術が知られている（特許文献２）。

また、撮像された映像信号を解析し、周期的な輝度変動等の情報を検出して、適宜映像信号を補正する技術も知られている（特許文献３、４）。
特開２００１−８６４０１号公報 特開平１−２９３３２９号公報 特許第３０９８７３６号公報 特開２００３−１１０８８０号公報

しかしながら、撮像装置は、一般にポータビリティが要求されるため、小型で軽量であることが必要でり、消費電力、実装面積、処理速度等のリソースについて制約が存在する。また、撮像と同時にフリッカ低減処理を行う必要があるため、撮像装置において実行することのできるフリッカ低減処理は一部のものに限られる。このため、特許文献１のように撮像装置においてフリッカを低減する技術によっては、十分にフリッカを低減することができなかった。

また、特許文献２には、光源の周波数と色情報（色温度等）の情報を取得し、これらの情報を用いて画像情報に含まれるフリッカを低減する技術が開示されているが、フリッカは光源の周波数と色情報（色温度等）だけによって発生するわけではない。フリッカ現象は、少なくとも以下のパラメータに依存する。
１） 被写体の輝度変動の周波数
２） 被写体の輝度変動の位相
３） 被写体の輝度変動の振幅
４） 被写体の色相、彩度変動
５） 撮像装置の撮像動作に関するパラメータ（例えば、撮像や露光走査のタイミング等）
フリッカ現象は被写体を照明する光源の輝度変動が主な原因であるが、被写体を照明する光源が１種類であるとは限らない。例えば日中に蛍光灯を点灯していても、蛍光灯によって生じるフリッカは無視できるほど小さい。また被写体の中には、自身に発光源を持つものや反射率が時間的に変動する特殊なものも存在する。従ってフリッカ現象の記述には当然の事ながら照明光源の特性ではなく、撮像の対象となる被写体の特性を記述する必要がある。

しかしながら、特許文献２に開示されている技術においては、光源についての情報のみに基づいて処理を行うため、十分にフリッカを低減することができなかった。また、特許文献２に開示されている技術は、いわゆる銀塩写真の撮像を対象としているため、ラインフリッカや面フリッカの補正には適用することができなかった。

また、特許文献３、４には、撮像された画像情報を解析し、フリッカに関する情報を抽出して適宜補正を行う技術が開示されているが、撮像された画像情報を解析するのみでは補正を行うために十分な情報を得ることができず、十分にフリッカを低減することができなかった。

本発明は上記問題に鑑みなされたものであり、撮像装置に高度なリソースを要求することなく、効果的に画像情報のフリッカを低減することを可能にする技術を提供することを目的とする。

本発明によれば、画像情報と当該画像情報に関連づけられた補助情報とを入力する入力手段と、１以上の画像処理方法を記憶する記憶手段と、入力された前記画像情報に対して行う画像処理方法を、当該画像情報に関連づけられた前記補助情報に基づいて、前記記憶手段に記憶された前記画像処理方法から選択する選択手段と、入力された前記画像情報に対して、前記選択手段において選択された前記画像処理方法と前記補助情報とに基づいて画像処理を行うように制御する制御手段とを備えることを特徴とする情報処理装置が提供される。

本発明によれば、撮像装置に高度なリソースを要求することなく、効果的に画像情報のフリッカを低減することを可能にする技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜＜第１実施形態＞＞
本実施形態の構成においては、前述の１）〜５）によって表されるフリッカパラメータを撮像装置側で検出し、検出したフリッカパラメータを画像ファイルに関連づけて所定の記録（記憶）媒体に記録制御する。そして、画像ファイルを再生する画像再生装置（以下、再生装置と呼ぶ）側で画像ファイルに関連づけられたパラメータを記録媒体から読み出し、読み出したパラメータに基づいて画像ファイルの画像処理・再生等を制御し、フリッカを低減する。

（撮像装置の処理）
まず、撮像装置の処理について、図２、４、５を参照して説明する。図２は、光源下において撮像装置が被写体を撮像する様子を模式的に示した図である。

図２において、２４は、被写体を撮像する撮像装置であり、カメラやビデオカメラ等がこれに相当する。２３は、撮像装置２４の撮像対象である被写体である。Ｉ１は太陽光等の比較的遠距離からの均一光、Ｉ２、Ｉ３は被写体２３から比較的近距離に存在する照明光源２１、２２からの照明光である。

このような構成において、撮像装置２４は被写体２３について撮像を行うと同時に、例えば、図４に示すようなフリッカ発生に関するパラメータ（フリッカパラメータ：画像に関連づけられた補助情報）を取得する。各パラメータとその取得方法については後述する。静止画像を撮像する場合は撮像と同時にパラメータを取得し、動画像を撮像する場合は一定時間毎（例えば、１つのフレームを生成するタイミング毎）にパラメータを取得する。そして、撮像装置２４は、撮像して得られた画像情報と、取得したパラメータとを用いて図５にその構成を例示するような画像ファイルを生成する。図５は、画像ファイルの構成を模式的に示した図である。

図５において、５１は画像ファイルであり、ヘッダ部５２、フッタ部５３、本体部５４から構成されている。ヘッダ部５２には、画像情報を作成したときに取得したフリッカ発生に関するパラメータが記録されている。図中のＦｆｌは、例えば、後述する被写体輝度周波数である。本体部５４には画像情報のバイナリーデータが記録されており、フッタ部５４にはファイルの終了を示す情報（ＥＯＦ：Ｅｎｄ ｏｆ Ｆｉｌｅ）等が記録されている。

（フリッカ発生に関するパラメータ）
次に、各パラメータとその取得方法について図２、４を参照して説明する。

図２において、被写体２３から撮像装置２４に入射する入射光の強度Ｉ（ｔ）は、照明光Ｉ１、Ｉ２、Ｉ３の関数であり、次式で表される。
Ｉ（ｔ）＝ｆ（Ｉ１，Ｉ２，Ｉ３） ・・・（１）
またｒ＝Ｉ（ｔ）／（Ｉ１＋Ｉ２＋Ｉ３）は被写体２３の反射率と呼ばれるが、各照明光の位置や方向が異なる場合、複雑な関数で表される。

被写体２３を照明する光源が１つで、それは周期的に輝度を変化するものである場合、入射光の強度Ｉ（ｔ）は次式で表される。
Ｉ（ｔ）＝Ｉ_O＊ｓiｎ（ωｔ＋α）＋Ｃ ・・・（２）
ここでＩ_Oは振幅（図４における被写体輝度振幅４０３）、ωはフリッカ周波数（図４における被写体輝度周波数４０１）、αは位相（図４における被写体輝度位相４０４）、ＣはＤＣオフセット（図４における被写体輝度ＤＣオフセット４０２）である。ただし、図２に示したように、複数の光源が存在したり反射光等が入射する場合、Ｉ（ｔ）は２つ以上の三角関数の和になる。

本実施形態において、撮像装置２４は撮像時にＩ_O、ω、α、Ｃをパラメータとして検出する。これらのパラメータは、撮像装置２４に付属する光電変換センサで容易に検出可能である。即ち、光電変換センサによって得られる光情報の推移をフーリエ変換等を用いて周波数帯に変換し、周波数毎に振幅Ｉ_O、位相α、ＤＣオフセットＣを算出する。尚、撮像装置によって撮像された複数のフレーム情報を解析したり、交流電源の周波数に基づいてフリッカ周波数ωを算出することによっても一定の範囲内で推定することができる。

撮像装置２４は、これらの４つのパラメータ等を適当な形で記述し、それぞれ被写体輝度振幅４０３、被写体輝度周波数４０１、被写体輝度位相４０４、被写体輝度ＤＣオフセット４０２として、画像ファイル５１中の適当な部分、例えばヘッダ５２に格納する。尚、Ｉ（ｔ）が複数の三角関数の和で表現される場合は、所定の基準を満たすもの（例えば、振幅の大きいもの）から順に一定数（例えば、１０個）の、（Ｉ_O，ω，α，Ｃ）の組を、それぞれ被写体輝度振幅４０３、被写体輝度周波数４０１、被写体輝度位相４０４、被写体輝度ＤＣオフセット４０２として、格納する。

同様にして、撮像装置２４は光電変換センサを用いて取得された入射光Ｉ（ｔ）から、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ（以下、まとめてＲＧＢと呼ぶ）の各要素の変動を抽出し、抽出された値の推移をフーリエ変換等を用いて周波数帯に変換して、周波数毎に振幅、位相、ＤＣオフセットを算出する。そして、撮像装置２４はこれらの４つのパラメータ等を適当な形で記述し、被写体色相振幅４０７、被写体色相周波数４０５、被写体色相位相４０８、被写体色相ＤＣオフセット４０６として、ヘッダ５２に格納する。

また、撮像装置２４は、画像情報ファイル５１の本体部５４に格納されている画像情報が動画像であるか、静止画像であるかを識別するフラグを動画像／静止画像フラグ４０９としてヘッダ５２に格納する。

また、撮像装置２４は、画像情報ファイル５１の本体部５４に格納されている画像情報が動画像である場合、そのフレームレートを動画像フレームレート４１０としてヘッダ５２に格納する。

また、撮像装置２４は、画像情報を取得したときの撮像時間（シャッタースピード等）をシャッタースピード４１１としてヘッダ５２に格納する。尚、本体部５４に格納されている画像情報が動画像である場合、この撮像時間には、シャッタースピードに加えてシャッターのタイミング、先頭フレームに対するオフセット等の情報を含む。

また、撮像装置２４は、シャッター方式がローリングシャッター方式であるか否か等の情報を、シャッター方式４１２としてヘッダ５２に格納する。

また、撮像装置２４は、撮像時にＡＧＣ（Ａｕｔｏ−Ｇａｉｎ Ｃｏｎｔｒｏｌ）を作動させていた場合、ＡＧＣの作動時間やＡＧＣの対応（適用）フレーム、ＡＧＣの設定レベル（通常は平均輝度がダイナミックレンジ（ＤＲ）の１８％程度がＡＧＣレベルとして設定される）、ＡＧＣゲイン（或いは平均輝度）をそれぞれＡＧＣフレーム対応４１３、ＡＧＣ設定レベル４１４、ＡＧＣゲイン４１５としてヘッダ５２に格納する。

また、撮像装置２４は、撮像時にＡＷＢ（Ａｕｔｏ−Ｗｈｉｔｅ Ｂａｌａｎｃｅ）を作動させていた場合、ＡＷＢの作動時間やＡＷＢの対応（適用）フレームをＡＷＢフレーム対応４１６としてヘッダ５２に格納する。また、ＡＷＢの処理について、例えば、デイライト、夕方（夕陽）、人工照明、蛍光灯等のモードが設定されている場合は、そのモード（例えば、デイライトモード用のＲＧＢ変換マトリックス等）についての情報をＡＷＢ色設定４１７としてヘッダ５２に格納する。

なお、以上述べたパラメータはあくまでも一例であり、他のフリッカ発生に関するパラメータを画像ファイル５１のヘッダ部５２に格納するような構成としてもよい。また、用途や目的に応じて、上述のパラメータの一部をヘッダ部５２に格納するような構成としてもよい。

（再生装置の構成）
本実施形態においては、図５で例示したようにフリッカ発生に関する情報（補助情報）が付加された画像ファイルを再生装置側で読み出し、最適なフリッカ低減方法を画像再生プロセスに適用することによりフリッカの低減を行う。次に、かかる再生装置の構成について図３を参照して説明する。図３は、本実施形態に対応する情報処理装置としての、再生装置の構成を示したブロック図である。

図３において、３１は画像ファイルを入力するインタフェースとして機能する画像情報入力端子である。３２は、再生装置内のデータの流れを司るバスである。３３は、バス３２内のデータの流れを制御するバスコントローラである。

３４はメモリであり、基本Ｉ／Ｏプログラム等のプログラムや各種データ等を記憶するＲＯＭ、各種データを一時記憶するＲＡＭ、大容量メモリとして機能するハードディスク装置等から構成される。メモリ３４には、予め、画像情報に対して適用するフリッカ低減フィルタに関する情報と、各フィルタを選択する際の基準となる情報が格納されている。これらの情報については後述する。

３５はＣＰＵであり、メモリ３４に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、メモリ３４のＲＡＭ等にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。

３７は画像ファイルに含まれる画像情報の内容や、再生装置に対して入力されたコマンド、それに対する応答等を表示する表示装置である。表示装置３７は、液晶ディスプレイやＣＲＴ、プロジェクタ、プラズマディスプレイ等により実現される。

３６は、表示装置３７のバッファメモリ（ＶＲＡＭ）として機能するバッファである。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。また、図３の構成に、再生装置に対して指示入力を与える、キーボードやポインティングデバイス（マウス等）、タッチパネル等の指示入力装置を加えてもよい。

本実施形態では、本実施形態に係るプログラム及び関連データをＣＰＵ３４の制御により直接メモリ３４のＲＡＭにロードして実行させる例を示すが、これ以外にも、本実施形態に係るプログラムを動作させる度に、既にプログラムがインストールされているハードディスク装置からＲＡＭにロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭに記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ３４で実行することも可能である。

（フリッカ低減処理）
次に、再生装置におけるフリッカ低減処理について図１を参照して説明する。図１は、再生装置において実行されるフリッカ低減処理の流れを示したフローチャートである。

まず、ステップＳ１０１において、静止画像または動画像が記録された、図５に例示するような画像ファイル５１を、画像情報入力端子３１からメモリ３４に読込む。先に述べたように、その画像ファイル５１のヘッダ部分５２には、図４に示されたようなフリッカパラメータが記述されている。図５中のＦｆｌとは、ここでは、図４に示された被写体輝度周波数４０１の事である。

次に、ステップＳ１０２において、ステップＳ１０１で読み込んだ画像ファイル５１のヘッダ部５２を解析し、フリッカ発生に関するパラメータを取得するように制御する。

次に、ステップＳ１０３において、ステップＳ１０２において取得したパラメータに基づいて画像情報に対して適用する最適なフリッカ低減フィルタを、メモリ３４に予め格納されているものから選択する。フリッカ低減フィルタは、例えば、
Ａ）面フリッカ低減フィルタ
Ｂ）ラインフリッカ低減フィルタ
Ｃ）ランダムノイズ低減処理付きフィルタ
Ｄ）色相補償付きフィルタ
等が含まれる。

面フリッカ低減フィルタ（Ａ）はフレーム間に存在する主に輝度変動を補正する為のフィルタであり、平均輝度の低いフレームの画像階調を上げ、平均輝度の高いフレームの画像階調を下げるようなフィルタである。

ラインフリッカ低減フィルタ（Ｂ）は画像の水平または垂直方向に存在するライン状の輝度ムラを補正するフィルタである。水平だけでなく垂直方向にも存在するのは、撮像面に対するカメラの回転等に起因するものである。ラインフリッカ低減フィルタはラインの輝度ムラを場所、時間方向に解析し、面フリッカ低減フィルタと同様に輝度階調を補正するものである。

ランダムノイズ低減処理付きフィルタ（Ｃ）は、メディアンフィルタ等のランダムノイズを低減処理するフィルタである。

色相補償付きフィルタ（Ｄ）は特にフリッカ変動量（振幅Ｉ_O）が大きな場合や、ある特定のフレームで光量がダイナミックレンジの上限に当たるような場合に生じる色相回転を補償するためのフィルタで、具体的にはＲ，Ｇ，Ｂ比を他の正常なフレーム値や、或いは、予め登録されている図示しない光源スペクトルデータ等に基づいて決定、修正する機能を有するフィルタである。

フィルタの選択処理について、図１１を参照して説明する。図１１は、フィルタの選択処理の流れを示すフローチャートである。

まず、ステップＳ１１０１において、ステップＳ１０２において取得したパラメータと、予めメモリ３４に記憶されたラインフリッカ低減フィルタを選択する際に基準となる情報に基づいて、ラインフリッカ低減フィルタを選択する必要があるか否かを判断する。具体的には、例えば、シャッター方式４１２を参照して画像情報を撮像したシャッターの方式がラインフリッカを発生する可能性のあるもの（例えば、ローリングシャッター方式等）であるか否かを判定し、ラインフリッカを発生する可能性のあるものである場合は、被写体輝度周波数４０１、被写体色相周波数４０５、シャッタースピード４１１、図４に不図示の露光の操作スピード等の情報に基づいて、被写体の輝度や色相の変動のタイミングと、撮像のタイミングを算出し、ラインフリッカを発生するか否かを判定する。ラインフリッカを発生すると判定された場合（ステップＳ１１０１でＹＥＳ）はステップＳ１１０２へ進み、ラインフリッカを発生すると判定されなかった場合（ステップＳ１１０１でＮＯ）はステップＳ１１０３へ進む。

ステップＳ１１０２においては、ラインフリッカ低減フィルタを必要なものであるとして選択する。そして、ステップＳ１１０３へ進む。

ステップＳ１１０３においては、ステップＳ１０２において取得したパラメータと、予めメモリ３４に記憶された面フリッカ低減フィルタを選択する際に基準となる情報とに基づいて、面フリッカ低減フィルタを選択する必要があるか否かを判定する。具体的には、例えば、シャッター方式４１２を参照して画像情報を撮像したシャッターの方式が面フリッカを発生する可能性のあるもの（例えば、ローリングシャッター方式等）であるか否かを判定し、面フリッカを発生する可能性のあるものである場合は、被写体輝度周波数４０１、被写体色相周波数４０５、シャッタースピード４１１、図４に不図示の露光の走査スピード等の情報に基づいて、被写体の輝度や色相の変動のタイミングと、撮像のタイミングを算出し、面フリッカを発生するか否かを判定する。面フリッカを発生すると判定された場合（ステップＳ１１０３でＹＥＳ）はステップＳ１１０４へ進み、面フリッカを発生すると判定されなかった場合（ステップＳ１１０３でＮＯ）はステップＳ１１０５へ進む。

ステップＳ１１０４においては、面フリッカ低減フィルタを必要なものであるとして選択する。そして、ステップＳ１１０５へ進む。

ステップＳ１１０５においては、ステップＳ１０２において取得したパラメータと、予めメモリ３４に記憶された色相補償付きフィルタを選択する必要があるか否かを判定する。具体的には、例えば、被写体輝度振幅４０３が予め定められた閾値以上の場合や、各色の被写体色相振幅４０７と被写体色相ＤＣオフセット４０６の比が大幅に異なる場合に、色相補償付きフィルタが必要であると判定する。色相補償付きフィルタが必要であると判定された場合（ステップＳ１１０５でＹＥＳ）はステップＳ１１０６へ進み、そうではない場合（ステップＳ１１０５でＮＯ）は処理を終了する。

ステップＳ１１０６においては、色相補償付きフィルタを必要なものであるとして選択する。そして、ステップＳ１１０７へ進む。

ステップＳ１１０７においては、ステップＳ１０２において取得したパラメータと、予めメモリ３４に記憶されたランダムノイズ低減処理付きフィルタを選択する際に基準となる情報とに基づいて、ランダムノイズ低減処理付きフィルタを選択する必要があるか否かを判定する。具体的には、例えば、被写体輝度振幅４０３が予め定められた閾値以上の場合、ランダムノイズ低減処理付きフィルタが必要であると判定する。ランダムノイズ低減処理付きフィルタが必要であると判定された場合（ステップＳ１１０７でＹＥＳ）はステップＳ１１０８へ進み、そうではない場合（ステップＳ１１０７でＮＯ）は処理を終了する。

ステップＳ１１０８においては、ランダムノイズ低減処理付きフィルタを必要なものであるとして選択する。そして、処理を終了する。

なお、これまでに述べたステップＳ１１０１、Ｓ１１０３、Ｓ１１０５、Ｓ１１０７の各ステップにおけるフィルタの必要性の判定処理は一例であり、上記に限られるものではない。また、フィルタの種類も上記に限られるわけではない。例えば、いずれかのフィルタの選択がなされたら、その時点でフィルタ選択処理を終了してもよい。或いは、用途や目的に応じて、一部のフィルタ群に対しフィルタ選択処理を実行するようにしてもよい。

図１の説明に戻る。ステップＳ１０３の処理を終了するとステップＳ１０４へ進む。ステップＳ１０４においては、ステップＳ１０３において選択されたフリッカ低減フィルタを用いて、画像ファイルに含まれる画像情報を画像処理する。

次に、ステップＳ１０５において、ステップＳ１０４において画像処理された画像情報の再生処理を行う。即ち、ＣＰＵ３５の制御に基づいて画像情報の内容を表示装置３７上に表示する。

本実施形態の構成によれば、撮像装置よりも強力なプロセッシング環境（処理能力が高い）を有する再生装置においてフリッカ低減処理を行うことで、効果的にフリッカ低減を行うことができる。また、画像ファイル中にフリッカ発生に関するパラメータを記述し、再生装置においてこのパラメータに基づいて最適なフリッカ低減フィルタ（フィルタ処理方法）を選択して、フリッカ低減処理を行うことで、撮像条件に合わせて効果的にフリッカ低減を行うことができる。

尚、本実施形態においては、フリッカ低減を目的とした画像処理を行う再生装置について述べたが、画像の再生機能のない画像処理装置として提供しても同様の効果を得ることができる。

＜＜第２実施形態＞＞
第１実施形態においては、フリッカ発生に関するパラメータを画像ファイルのヘッダ部に格納した構成について述べたが、本発明に係る実施の形態はこれに限られるものではない。パラメータは画像ファイルのどの部分に格納してもよい。本実施形態においては、動画像の画像情報を格納した画像ファイルについて、動画像を構成するフレーム毎にフリッカ発生に関するパラメータを格納した構成について述べる。尚、特に断らない限り、撮像環境や再生装置の構成、撮像装置が取得するフリッカ発生に関するパラメータ等は第１実施形態と同様である。

（画像ファイルの構成）
まず、本実施形態における撮像装置が生成する、フリッカ発生に関するパラメータの含まれた画像ファイルの構造について図６を参照して説明する。図６は本実施形態における画像ファイルの構造を模式的に示した図である。

図６において、６１は画像ファイルであり、６２はヘッダ部、６３はフッタ部、６４は動画像の１フレームを示す情報が格納されたブロックである。

撮像装置は、撮影時間中変動がない、又は、変動の小さいパラメータをヘッダ部６２に格納し、時間変動の大きいパラメータを１フレームを示すブロック６４に格納するように制御する。図６の例においては、交流電源の周波数との関連性が考えられる被写体輝度周波数４０１（図６におけるＦｆｌ）がヘッダ部６２に格納され、撮像装置や被写体の移動に伴って大きく変動すると考えられる被写体輝度ＤＣオフセット４０２（Ｃｄｃ）、被写体輝度振幅４０３（Ｉ_O）、被写体輝度位相４０４（α）がフレーム毎にブロック６４に格納されている。これらのパラメータの取得方法は第１実施形態における構成と同様である。尚、これらのパラメータは必ずしも１フレーム毎に格納されている必要はなく、例えば、一定数（例えば５）のフレーム毎に検出し、格納するように制御してもよい。

（フリッカ低減処理）
次に、図７を参照して再生装置におけるフリッカ低減処理について説明する。図７は本実施形態における再生装置のフリッカ低減処理の流れを示したフローチャートである。

まず、ステップＳ７０１において、動画像情報が記録された、図６に例示するような画像ファイル６１を、画像情報入力端子３１からメモリ３４に読込む。

次に、ステップＳ７０２において、ステップＳ７０１で読み込んだ画像ファイル６１のヘッダ部６２を解析し、フリッカ発生に関するパラメータ（例えば、Ｆｆｌ等）を取得するように制御する。

次に、ステップＳ７０３〜Ｓ７０８において、各フレームについてフリッカを低減する画像処理を行い、その内容を表示装置３７に表示制御する処理を繰り返す。まず、ステップＳ７０３において、メモリ３４に読み込まれた動画像情報から先頭のフレームを構成する情報を取得する。

次に、ステップＳ７０４において動画像情報の最後のフレームが既に再生されているか否かを判定する。再生されている場合（ステップＳ７０４でＹＥＳ）はステップＳ７０９へ進み、再生されていない場合（ステップＳ７０４でＮＯ）はステップＳ７０５へ進む。 ステップＳ７０５においては、取得されているフレームの情報からパラメータ（例えば、Ｃｄｃ、Ｉ_O、α等）を取得する。

次にステップＳ７０６において、ステップＳ７０２で取得したパラメータと、ステップＳ７０５で取得したパラメータとに基づいてフリッカ低減フィルタを選択する。フリッカ低減フィルタの選択処理は第１実施形態と同様である。

次にステップＳ７０７において、ステップＳ７０６で選択されたフリッカ低減フィルタを用いて処理対象のフレームに画像処理を施す。例えば、ステップＳ７０６において、以下のフィルタＦが選択されたものとする。
Ｆ＝（Ｉ_O＋Ｃ）／（Ｉ_O＊ｓiｎ（ωｔ＋α）＋Ｃ）・・・（３）
ただし、（３）式は（２）式より算出される。また、ＣはＣｄｃであり、ωはＦｆｌであり、ｔはこのフレームの撮像開始時刻からの経過時間（フレーム番号に比例）である。この場合、画像処理は、各画素の階調Ｉ（ｔ）と（３）式のＦとから次式
Ｉ＝Ｆ＊Ｉ（ｔ） ・・・（４）
によって算出される階調Ｉにより、当フレームの画素値全体を補正することによって行われる。

次にステップＳ７０８において、ステップＳ７０７において画像処理されたフレームをバッファ３６に書き込み、表示装置３７に表示するように制御する。そして、次のフレームを取得し、ステップＳ７０４へ戻る。

このようにして、全てのフレームについてステップＳ７０５〜Ｓ７０８の処理を実行する。全てのフレームについての再生処理が終了した場合（ステップＳ７０４でＹＥＳ）、ステップＳ７０９において再生を終了する。

本実施形態の構成によれば、時間の経過とともに大きく変動する可能性の高いフリッカ発生に関するパラメータをフレーム毎に検出・格納し、再生装置において全てのフレームに共通なパラメータとフレーム毎に検出されたパラメータとを用いて、フレーム毎にフリッカ低減フィルタを選択しフリッカ低減処理を行っている。これにより、撮像条件が時間とともに変化するような環境において撮像された動画像情報についても、効果的にフリッカ低減処理を行うことができる。

尚、画像ファイルに格納するフリッカ発生に関するパラメータは本実施形態において述べた組み合わせに限られるわけではなく、用途や目的に応じてどのようなものを用いてもよい。

尚、本実施形態においては各フレームの画像処理をフレームの再生処理と併行して動的に行う場合について述べたが、再生処理の事前に、全てのフレームについて予めフィルタの選択と画像処理を行っておくようにしてもよい。

また、ブロック６４のパラメータが１フレーム毎ではなく、例えば、予め定められた一定数のフレーム毎に格納されている場合は、ステップＳ７０５〜Ｓ７０８の処理は一定数のフレーム毎に実行するものとする。

＜＜第３実施形態＞＞
本実施形態においては画像情報からラインフリッカを低減する処理について説明する。特に断らない限り、第１実施形態の構成と同様である。

本実施形態において使用するフリッカパラメータは、動画像フレームレートＦｆｒ４１０、シャッタースピードオフセットｔｏ４１１、シャッター方式４１２、ＡＧＣフレーム対応４１３である。ただし、シャッタースピードｔｏ４１１とは、１つのフレームの水平走査線全本数がローリングする時間である。

第１実施形態と同様に、再生装置は、まず、動画像ファイルのヘッダから前述のフリッカパラメータを読み取る。そして、シャッター方式がローリングシャッターであり、ＡＧＣフレーム対応がなしの場合、フリッカ低減フィルタとして以下の形式のものを選択する。
Ｆ（ｈ）＝（Ｉ_O＋Ｃ）／（Ｉ_O＊ｓiｎ（ωＴ＋α）＋Ｃ） ・・・（４）
Ｔ＝ｎ／Ｆｆｒ＋ｈ＊ｔｏ／Ｈ ・・・（５）
低減フィルタＦ（ｈ）は上記のように、水平走査線の番号ｈの関数になっている。ここでｎは撮像開始から数えたフレーム番号であり、Ｈは前記フレーム画像から求められる水平走査線の本数である。その他のパラメータは、先に説明した通りである。

本実施形態によれば、ラインフリッカを精密に除去することが可能である。また、上述のフィルタに加えて、適当なパラメータに基づいて適宜他のフィルタと組み合わせることで、更に高画質にする画像処理を行う事ができる。

＜＜第４実施形態＞＞
本実施形態においては、オート・ゲイン・コントロール（Ａｕｔｏ−Ｇａｉｎ Ｃｏｎｔｒｏｌ：ＡＧＣ）を用いて撮像された画像情報からフリッカを低減する処理について説明する。特に断らない限り、第２実施形態の構成と同様である。

本実施形態におけるフリッカ低減処理について図８を参照して説明する。図８は、本実施形態における再生装置のフリッカ低減処理を示したフローチャートである。図８において、ステップＳ８０１〜Ｓ８０２の処理は、図７のステップＳ７０１〜Ｓ７０２の処理と同様である。

ステップＳ８０３〜Ｓ８１１において、各フレームについてフリッカを低減する画像処理を行い、その内容を表示装置３７に表示制御する処理を繰り返す。まず、ステップＳ８０３において、メモリ３４に読み込まれた動画像情報から先頭のフレームを構成する情報を取得する。

次に、ステップＳ８０４において動画像情報の最後のフレームが既に再生されているか否かを判定する。再生されている場合（ステップＳ８０４でＹＥＳ）はステップＳ８１２へ進み、再生されていない場合（ステップＳ８０４でＮＯ）はステップＳ８０５へ進む。 ステップＳ８０５においては、取得されているフレームの情報からパラメータ（例えば、ＡＧＣゲイン４１５等）を取得する。

次に、ステップＳ８０６において、フリッカ発生に関するパラメータのうちＡＧＣゲイン４１５の値を参照し、この値が予め定められた閾値より小さいか否かを判定する。閾値より小さい場合（ステップＳ８０６でＹＥＳ）はステップＳ８０７へ進み、小さくない場合（ステップＳ８０６でＮＯ）はステップＳ８０９へ進む。

ステップＳ８０７においては、ステップＳ８０２で取得したパラメータと、ステップＳ８０５で取得したパラメータとに基づいてフリッカ低減フィルタを選択する。フリッカ低減フィルタの選択処理は第１実施形態と同様である。そして、選択されたフリッカ低減フィルタを用いて処理対象のフレームに画像処理を施す。

次に、ステップＳ８０８において、ステップＳ８０７において画像処理されたフレームをバッファ３６に書き込み、表示装置３７に表示するように制御する。そして、次のフレームを取得し、ステップＳ８０４へ戻る。

一方、ステップＳ８０９においては、例えば、メディアンフィルタ等のランダムノイズ低減フィルタを用いてランダムノイズの低減処理を行う。これは、一定値以上のＡＧＣゲインによってＡＧＣ処理を行うとランダムノイズが発生しやすいからである。

次に、ステップＳ８１０、Ｓ８１１において、それぞれステップＳ８０７、Ｓ８０８と同様の処理を行う。そして、ステップＳ８０４へ戻る。

このようにして、全てのフレームについてステップＳ８０５〜Ｓ８１１の処理を実行する。全てのフレームについての再生処理が終了した場合（ステップＳ８０４でＹＥＳ）、ステップＳ８１２において再生を終了する。

本実施形態によれば、オートゲインコントロールによるランダムノイズを精密に除去することが可能である。

＜＜第５実施形態＞＞
第２実施形態においては、画像ファイルに記録された動画像のフレームレートと再生時のフレームレートとが等しい場合について述べたが、本発明に係る実施形態はこれに限られるものではない。そこで本実施形態では再生装置において再生フレームレートを変更可能で、且つ、フリッカを低減することのできる構成について述べる。特に断らない限り、第２実施形態の構成と同様である。

図９はＭＰＥＧ等の動画像記録フォーマットの構造を模式的に示した図である。図９において、９１はＩピクチャ等の基本フレームであり、９２は基本フレーム９１から前方予測あるいは後方予測等で合成して生成されるＰピクチャやＢピクチャに相当する合成フレームである。フレームレート変換は、これらの合成フレーム９２の個数ｎを変える事で実現する事ができる。

本実施形態におけるフリッカ低減処理について図１０を参照して説明する。図１０は、本実施形態における再生装置のフリッカ低減処理を示したフローチャートである。図１０の処理は、基本的に図７の処理と同様であり、図１０におけるステップＳ１００１〜Ｓ１００９の各処理は、図７におけるステップＳ７０１〜Ｓ７０９の各処理と基本的には同様である。但し、本実施形態においては、フリッカ発生に関するパラメータはＩピクチャ等の基本フレーム毎に検出・格納されており、ステップＳ１００５〜Ｓ１００７のフリッカ低減処理は基本フレームに対してのみ行い、合成フレームに対しては行わない。

また、本実施形態においては、ステップＳ１００７の処理とＳ１００８の処理との間にステップＳ１０１０のフレームレート変換処理を行う。ここでは、再生フレームレートから決められる個数ｎの合成フレーム９２を合成する。次に、ステップＳ１００８においてステップＳ１００５〜ステップＳ１０１０の処理が行われた再生画像を再生装置において再生、表示制御することは第２実施形態の構成と同様である。

本実施形態の構成によればフレームレートが変更されて再生される動画像においても、フリッカが低減された高品質な動画像を提供することができる。

＜＜その他の実施形態＞＞
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

第１実施形態の再生装置において実行されるフリッカ低減処理の流れを示したフローチャートである。 光源下において撮像装置が被写体を撮像する様子を模式的に示した図である。 再生装置の構成を示したブロック図である。 フリッカ発生に関するパラメータを例示的に示した図である。 第１実施形態における画像ファイルの構成を模式的に示した図である 第２、４実施形態における画像ファイルの構造を模式的に示した図である。 第２実施形態の再生装置において実行されるフリッカ低減処理の流れを示したフローチャートである。 第４実施形態の再生装置において実行されるフリッカ低減処理の流れを示したフローチャートである。 ＭＰＥＧ等の動画像記録フォーマットの構造を模式的に示した図である。 第５実施形態の再生装置において実行されるフリッカ低減処理の流れを示したフローチャートである。 フィルタの選択処理の流れを示すフローチャートである。

Claims (14)

1. 画像情報と当該画像情報に関連づけられた補助情報とを入力する入力手段と、
   １以上の画像処理方法を記憶する記憶手段と、
   入力された前記画像情報に対して行う画像処理方法を、当該画像情報に関連づけられた前記補助情報に基づいて、前記記憶手段に記憶された前記画像処理方法から選択する選択手段と、
   入力された前記画像情報に対して、少なくとも前記選択手段において選択された前記画像処理方法に基づいて画像処理を行うように制御する制御手段とを備えることを特徴とする情報処理装置。
2. 前記記憶手段に記憶された前記画像処理方法は、面フリッカ低減フィルタ、ラインフリッカ低減フィルタ、ランダムノイズ低減処理付きフィルタ、色相補償付きフィルタの少なくともいずれかを用いるフィルタ処理方法であることを特徴とする請求項１に記載の情報処理装置。
3. 前記補助情報は、前記画像情報のフリッカ発生に関する情報であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像情報は複数のフレーム情報から構成され、
   前記補助情報は、第１補助情報と、前記複数のフレーム情報のそれぞれに関連づけられた複数の第２補助情報とから構成され、
   前記選択手段は、前記フレーム情報のそれぞれについて、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて前記画像処理方法を選択し、
   前記制御手段は、前記フレーム情報のそれぞれに対して、前記選択手段において選択された前記画像処理方法と、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて画像処理を行うように制御することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記フレーム情報は、第１フレーム情報と、当該第１フレーム情報から合成して生成される第２フレーム情報とから構成され、
   前記選択手段は、前記フレーム情報のうち前記第１フレーム情報のそれぞれについて、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて前記画像処理方法を選択し、前記第２フレーム情報については前記画像処理方法を選択せず、
   前記制御手段は、前記フレーム情報のうち前記第１フレーム情報のそれぞれに対して、前記選択手段において選択された前記画像処理方法と、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて画像処理を行い、前記第２フレーム情報に対しては画像処理を行わないように制御することを特徴とする請求項４に記載の情報処理装置。
6. 画像処理がなされた前記画像情報の内容を表示する表示手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 画像情報と当該画像情報に関連づけられた補助情報とを入力する入力工程と、
   入力された前記画像情報に対して行う画像処理方法を、当該画像情報に関連づけられた前記補助情報に基づいて、記憶手段に記憶された１以上の画像処理方法から選択する選択工程と、
   入力された前記画像情報に対して、前記選択工程において選択された前記画像処理方法と前記補助情報とに基づいて画像処理を行うように制御する制御工程とを備えることを特徴とする情報処理装置の制御方法。
8. 前記記憶手段に記憶された前記１以上の画像処理方法は、面フリッカ低減フィルタ、ラインフリッカ低減フィルタ、ランダムノイズ低減処理付きフィルタ、色相補償付きフィルタの少なくともいずれかを用いるフィルタ処理方法であることを特徴とする請求項７に記載の情報処理装置の制御方法。
9. 前記補助情報は、前記画像情報のフリッカ発生に関する情報であることを特徴とする請求項７又は８に記載の情報処理装置の制御方法。
10. 前記画像情報は複数のフレーム情報から構成され、
    前記補助情報は、第１補助情報と、前記複数のフレーム情報のそれぞれに関連づけられた複数の第２補助情報とから構成され、
    前記選択工程は、前記フレーム情報のそれぞれについて、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて前記画像処理方法を選択し、
    前記制御工程は、前記フレーム情報のそれぞれに対して、前記選択工程において選択された前記画像処理方法と、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて画像処理を行うように制御することを特徴とする請求項７乃至９のいずれか１項に記載の情報処理装置の制御方法。
11. 前記フレーム情報は、第１フレーム情報と、当該第１フレーム情報から合成して生成される第２フレーム情報とから構成され、
    前記選択工程は、前記フレーム情報のうち前記第１フレーム情報のそれぞれについて、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて前記画像処理方法を選択し、前記第２フレーム情報については前記画像処理方法を選択せず、
    前記制御工程は、前記フレーム情報のうち前記第１フレーム情報のそれぞれに対して、前記選択工程において選択された前記画像処理方法と、前記第１補助情報と、当該フレーム情報に関連づけられた前記第２補助情報とに基づいて画像処理を行い、前記第２フレーム情報に対しては画像処理を行わないように制御することを特徴とする請求項１０に記載の情報処理装置の制御方法。
12. 画像処理がなされた前記画像情報の内容を表示手段に表示する表示工程を更に備えることを特徴とする請求項７乃至１２のいずれか１項に記載の情報処理装置の制御方法。
13. 請求項７乃至１２のいずれか１項に記載の情報処理装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images