JP2002300615A

JP2002300615A - 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置

Info

Publication number: JP2002300615A
Application number: JP2001096314A
Authority: JP
Inventors: Yumiko Totsuka; 由美子戸塚; Motohiro Asano; 基広浅野
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2001-03-29
Filing date: 2001-03-29
Publication date: 2002-10-11
Anticipated expiration: 2021-03-29
Also published as: JP4189565B2

Abstract

(57)【要約】【課題】動画が示すシーンの特性を精度よく判定し、
適切な動画補正を実現する。【解決手段】コンピュータにて動画を補正する画像処
理装置において、動画中のシーンチェンジから次のシー
ンチェンジまでのフレーム群に対して所定間隔ごとに注
目フレームを決定し、注目フレームの特性を判定する
（ステップＳ２１，Ｓ２２，Ｓ２５）。判定結果が判定
不能を示す場合は、注目フレーム近傍の他のフレームに
対して再判定を行う（ステップＳ２３，Ｓ２４，Ｓ２
２）。その後、最頻の判定結果をフレーム群に対する共
通シーン特性とする（ステップＳ２６）。動画中の各フ
レーム群に対して共通シーン特性が求められると、共通
シーン特性に基づいて各フレーム群に補正を施す。以上
の処理により、フレーム群が示すシーンの特性が精度よ
く判定され、適切な動画補正が実現される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像が示すシーン
の特性を判定する技術に関する。

【０００２】

【従来の技術】従来の動画の補正においては、まず、予
備的な処理として動画を構成するフレーム画像（以下、
単に「フレーム」という。）ごとにその輝度などの変化
を検出して動画におけるシーンチェンジ（シーン変化）
が検出される。そして、シーンチェンジから次のシーン
チェンジまでのフレーム群を実質的に同一シーンを示す
フレーム群とみなし、フレーム群に共通するシーンの特
性としての共通シーン特性が決定される。具体的には、
シーンチェンジ直後のフレームが示すシーンの特性が判
定され、判定結果が共通シーン特性とされる。

【０００３】その後、共通シーン特性に応じた補正パラ
メータが求められ、補正パラメータに基づいてフレーム
群に同一の画像補正が行われる。これにより、動画補正
の効率化および適正化が図られる。

【０００４】

【発明が解決しようとする課題】ところで、フレームが
示すシーンの特性の判定（以下、「シーン判定」とい
う。）において、判定結果の信頼性が低いために判定不
能とすることが好ましい場合がある。この場合、共通シ
ーン特性および補正パラメータを求めることが不可能と
なり、例えば、先行するフレーム群の補正に用いられた
補正パラメータを用いて判定不能となったフレーム群に
対して補正を行うなどの対策が必要となる。

【０００５】なお、フレームに対するシーン判定は、静
止画の補正の際に行われるシーン判定とほぼ同様であ
り、動画のみならず静止画においても判定不能の場合の
対策は必要とされる。

【０００６】本発明は、上記課題に鑑みなされたもので
あり、画像のシーンの特性の判定精度を向上することを
目的としている。

【０００７】

【課題を解決するための手段】請求項１に記載の発明
は、画像に対する判定を行うプログラムであって、前記
プログラムのコンピュータによる実行は、前記コンピュ
ータに、動画中の複数のフレーム画像の特性を判定不能
の場合を含めて判定し、複数の判定結果を取得する工程
と、前記複数の判定結果に基づいて前記動画が示すシー
ンの特性を判定する工程とを実行させる。

【０００８】請求項２に記載の発明は、請求項１に記載
のプログラムであって、前記プログラムの前記コンピュ
ータによる実行は、前記コンピュータに、前記複数の判
定結果のいずれかが判定不能を示す場合に、判定不能の
判定結果に対応して再判定を行う工程をさらに実行させ
る。

【０００９】請求項３に記載の発明は、請求項２に記載
のプログラムであって、前記再判定を行う工程におい
て、前記判定不能の判定結果に対応するフレーム画像近
傍の一のフレーム画像に対して判定が行われる。

【００１０】請求項４に記載の発明は、請求項２に記載
のプログラムであって、前記複数の判定結果を取得する
工程において、フレーム画像中の所定数の画素の値に基
づいて判定が行われ、前記再判定を行う工程において、
前記判定不能の判定結果に対応するフレーム画像中の前
記所定数よりも多い数の画素の値に基づいて判定が行わ
れる。

【００１１】請求項５に記載の発明は、請求項２に記載
のプログラムであって、前記再判定を行う工程におい
て、前記判定不能の判定結果に対応するフレーム画像近
傍の複数のフレーム画像に基づいて再判定が行われる。

【００１２】請求項６に記載の発明は、画像に対する判
定を行うプログラムであって、前記プログラムのコンピ
ュータによる実行は、前記コンピュータに、画像の特性
を判定不能の場合を含めて判定し、判定結果を取得する
工程と、前記判定結果が判定不能を示す場合に、判定に
用いられる前記画像中の画素を変更して前記画像の特性
を再判定する工程とを実行させる。

【００１３】請求項７に記載の発明は、請求項６に記載
のプログラムであって、前記判定結果を取得する工程に
おいて、前記画像中の所定数の画素の値に基づいて前記
画像の判定が行われ、前記再判定する工程において、前
記画像中の前記所定数よりも多い数の画素の値に基づい
て判定が行われる。

【００１４】請求項８に記載の発明は、コンピュータ読
み取り可能な記録媒体であって、請求項１ないし７のい
ずれかに記載のプログラムを記録している。

【００１５】請求項９に記載の発明は、画像処理方法で
あって、動画中の複数のフレーム画像の特性を判定不能
の場合を含めて判定し、複数の判定結果を取得する工程
と、前記複数の判定結果に基づいて前記動画が示すシー
ンの特性を判定する工程とを有する。

【００１６】請求項１０に記載の発明は、画像処理方法
であって、画像の特性を判定不能の場合を含めて判定
し、判定結果を取得する工程と、前記判定結果が判定不
能を示す場合に、判定に用いられる前記画像中の画素を
変更して前記画像の特性を再判定する工程とを有する。

【００１７】請求項１１に記載の発明は、画像処理装置
であって、動画中の複数のフレーム画像の特性を判定不
能の場合を含めて判定し、複数の判定結果を取得する手
段と、前記複数の判定結果に基づいて前記動画が示すシ
ーンの特性を判定する手段とを備える。

【００１８】

【発明の実施の形態】＜１．第１実施形態＞＜１．１画像処理装置の要部構成＞図１は、本発明の
第１実施形態に係る画像処理装置１の要部構成を示す斜
視図である。画像処理装置１は、パーソナルコンピュー
タとして構成されており、箱型の形状を有する処理部
２、操作部３およびモニタ４を備える。

【００１９】処理部２は、画像処理を行う部位であり、
前面に光ディスクなどの記録媒体９（図２参照）を挿入
する挿入部２１を有する。操作部３は、マウス３１とキ
ーボード３２とから構成され、ユーザからの画像処理装
置１に対する入力操作を受付ける。モニタ４は、処理部
２からの指示に基づいて表示を行う。

【００２０】図２は、画像処理装置１の構成をブロック
にて示す図である。

【００２１】画像処理装置１の処理部２は、マウス３
１、キーボード３２およびモニタ４が接続される入出力
Ｉ／Ｆ２２、並びに、入出力Ｉ／Ｆ２２に電気的に接続
された制御部２３を備える。さらに、処理部２は、制御
部２３に電気的に接続された記憶部２４、入出力Ｉ／Ｆ
２５および通信Ｉ／Ｆ２６を備える。

【００２２】入出力Ｉ／Ｆ２２は、マウス３１、キーボ
ード３２およびモニタ４と制御部２３との間でデータの
送受をコントロールするためのインターフェイスであ
る。

【００２３】記憶部２４は、ハードディスクとして構成
されており、オペレーションシステム（ＯＳ）２４ａ、
および、画像処理を行うための演算処理プログラム２４
ｂを記憶する。

【００２４】入出力Ｉ／Ｆ２５は、挿入部２１を介し
て、記録媒体９に対するデータの入出力を行うためのイ
ンターフェイスである。通信Ｉ／Ｆ２６は、通信線１１
（図１参照）を介して画像処理装置１の外部のネットワ
ークと通信を行うためのインターフェイスである。

【００２５】制御部２３は、ＣＰＵ２３１およびメモリ
２３２を有しており、上記の各部を有機的に制御して画
像処理装置１の動作を統括制御する部位である。メモリ
２３２には、記録媒体９に記録されているプログラムデ
ータを入出力Ｉ／Ｆ２５を介して格納することも可能と
されている。すなわち、画像処理用のプログラム２４ｂ
は、記録媒体９からメモリ２３２に直接読み込むこと
も、記録媒体９から一旦記憶部２４に保存した後、メモ
リ２３２に読み込むことも可能とされている。そして、
ＣＰＵ２３１がプログラムを実行することにより、コン
ピュータが画像処理装置としての動作を実行する。

【００２６】＜１．２画像処理装置の動作＞図３は、
ＣＰＵ２３１がプログラムを実行することにより実現さ
れる機能をブロックにて示す図であり、図４は画像処理
装置１の基本的な動作を示すフローチャートである。図
３において、予備シーン判定部４０１、本シーン判定部
４０２および補正部４０３がＣＰＵ２３１などにより実
現される機能を示す。

【００２７】図４に示すステップＳ１では、予備シーン
判定部４０１により動画データ５１に基づいて動画の予
備シーン判定が行われ、シーンチェンジが検出される。
ステップＳ２では、本シーン判定部４０２により動画の
本シーン判定が行われ、シーンチェンジからシーンチェ
ンジまでの各フレーム群に対する共通シーン特性が求め
られる。ステップＳ３では、補正部４０３により共通シ
ーン特性に基づいて動画補正が行われ、補正済動画デー
タ５２が生成される。

【００２８】図５は、予備シーン判定部４０１による動
画の予備シーン判定の動作を示すフローチャートであ
り、図６は、予備シーン判定を説明するための図であ
る。図６に例示する動画Ｖｄ１は、Ｒ(赤)、Ｇ(緑)、Ｂ
(青)の各色成分が合成されたカラー画像である１２のフ
レームＦ₁〜Ｆ₁₂で構成されるものとする。以下、図５
および図６を参照しながら動画Ｖｄ１に対する予備シー
ン判定について説明する。

【００２９】ステップＳ１１では、カウンタｉに１が代
入され、ステップＳ１２では、フレームＦ_iにおける緑
色の画素値の平均値Ｇ_oldと、フレームＦ_i+1における緑
色の画素値の平均値Ｇ_newとが算出される。ここでは、
図７に示す画素配列Ｍｔにおいて、一定画素、例えば５
画素ごと（平行斜線を付す画素７１）の緑色の画素値が
サンプリングされ、平均値が求められる。

【００３０】ステップＳ１３では、平均値Ｇ_oldと平均
値Ｇ_newとの差Ｄが算出され、ステップＳ１４では、差
Ｄがしきい値Ｔｈ以上となっているか否かが確認され
る。差Ｄがしきい値Ｔｈ以上となっている場合には、ス
テップＳ１５に進み、しきい値Ｔｈ未満の場合には、ス
テップＳ１６に進む。

【００３１】ステップＳ１５に移行した場合、フレーム
Ｆ_iとフレームＦ_i+1との間にシーンチェンジが存在する
と判定され、フレーム群（フレーム区間）の境界とし
て、これらのフレーム番号が記録される。図６では、動
画Ｖｄ１のフレームＦ₈とフレームＦ₉との間にシーンチ
ェンジＳＣが存在すると判定され、フレームＦ₁〜Ｆ₈が
フレーム群ＦＧ１とされ、フレームＦ₉〜Ｆ₁₂がフレー
ム群ＦＧ２とされた様子を示している。

【００３２】ここで、画像情報であるＲＧＢの色成分の
うち緑の色成分の画素値を抽出してシーンチェンジが判
定されるのは、緑色の画素値は画像全体の輝度に近い特
性を有し、従来の全色成分を考慮する方法と比べても遜
色のない精度でシーンチェンジの判定が達成できるため
である。

【００３３】また、デジタルビデオカメラやデジタルス
チルカメラで使用されるＣＣＤは、図８に示すようなＲ
ＧＢベイヤー配列を有するものが多く、色Ｇに対する素
子(平行斜線部)の個数が他の色Ｒ，Ｂのそれぞれに対す
る素子の２倍とされる。そして、各画素のＲ，Ｇおよび
Ｂの値は周囲の素子の出力値を補間することにより求め
られる。したがって、緑色の画素値に基づいて判定を行
うことにより、シーンチェンジを精度良く判定すること
が可能となる。

【００３４】ステップＳ１６では、カウンタｉにｉ＋１
が代入され、ステップＳ１７では、カウンタｉが動画Ｖ
ｄ１を構成する全フレーム数ｎ以上であるか、すなわ
ち、処理対象の動画における全フレームに対してシーン
チェンジの判定が完了したか否かを確認する。図６に示
す動画Ｖｄ１の場合、ｎは１２となる。ここで、カウン
タｉがｎ以上である場合には、ステップＳ２に進み、ｎ
未満である場合には、ステップＳ１２に戻る。

【００３５】以上の動作により、図６中にてに平行斜線
で示す全フレームＦ₁〜Ｆ₁₂についてシーンチェンジが
調べられ、画像の相関関係が高い、すなわち、それぞれ
が実質的に同一のシーン特性を有するとみなされる複数
のフレーム群に分割される。

【００３６】また、以上の予備シーン判定の動作ではフ
レームごとに緑色の画素値、すなわち、複数の色成分の
うちの一部の色成分の情報のみに注目してシーンチェン
ジが判定されるため、他の色に対する処理を省略するこ
とによりシーンチェンジの検出の高速化が図られ、迅速
に動画処理を行うことができる。

【００３７】図９は本シーン判定部４０２の機能の詳細
を示すブロック図であり、図１０は、本シーン判定の動
作を示すフローチャートである。また、図１１ないし図
１３は、本シーン判定を説明するための図である。

【００３８】ステップＳ２１〜ステップＳ２５では、フ
レーム判定部４２１が、予備シーン判定部４０１からの
シーンチェンジデータ５３および動画データ５１に基づ
いてフレーム群ＦＧ１における一部のフレームに対し
て、シーン判定を行う。ここで、シーン判定とは画像の
特性（すなわち、画像が示すシーンの特性）の判定であ
り、例えば、特開平１１−２９８７３６号公報に開示さ
れている夕焼け判定、色被り判定、コントラスト判定な
どに相当する。

【００３９】より詳細には、ステップＳ２１において判
定対象となる注目フレームが決定され、ステップＳ２２
において注目フレームのシーン判定が行われる。これに
より、注目フレームが示すシーンの特性が判定結果とし
て取得される。なお、シーン判定は判定不能の場合も含
めて行われ、判定結果はシーン特性ではなく判定不能を
示す場合もある。

【００４０】シーン判定において判定不能以外の判定結
果が取得された場合（すなわち、シーン特性を示す判定
結果が得られた場合）、ステップＳ２５により、所定時
間だけ後続のフレームを次の注目フレームとして決定す
ることができるか否かが確認され、次の注目フレームを
決定することができる場合にはステップＳ２１へと戻
る。

【００４１】このような動作により、フレーム群ＦＧ１
に対して、等時間間隔、例えば１秒ごとにフレームが離
散的にサンプリングされる。具体的には、図１１に平行
斜線で示すように３つのフレームＦ₁，Ｆ₄，Ｆ₇が順次
特定されるとともにシーン判定が行われる。

【００４２】なお、フレーム群に対して予め設定された
フレーム数、例えば３フレームをサンプリングするよう
にしてもよい。この場合には、３フレームの時間間隔が
等間隔とされることが好ましい。

【００４３】また、各注目フレームに対するシーン判定
では、図７に示した予備シーン判定の場合と同様に、注
目フレーム中の所定の間隔ごとの画素の画素値が取得さ
れ、これらの画素値のみを用いてシーン判定が行われ
る。

【００４４】シーン判定において判定不能であった場合
には、再判定制御部４２２によるステップＳ２３，Ｓ２
４により、注目フレーム近傍の他のフレームが新たな注
目フレームとして決定され、ステップＳ２２に戻ってフ
レーム判定部４２１による再判定が実行される。例え
ば、図１１においてフレームＦ₄が判定不能であった場
合、図１２に示すようにフレームＦ₄近傍の一のフレー
ムＦ₃が新たな注目フレームとして決定され、再判定が
実行される。

【００４５】フレームＦ₃も判定不能の場合、図１３に
示すようにフレームＦ₅が新たな注目フレームとして決
定され、さらに判定が実行される。フレームＦ₅におい
ても判定不能を示す判定結果が得られた場合には、フレ
ームＦ₄近傍のさらに他の一のフレームに対して判定が
行われる。

【００４６】なお、判定不能とは、注目フレームから導
かれる様々な判定用パラメータの値が、「ハイコントラ
スト」「ローコントラスト」「アンダー」「オーバー」
などの判定結果に対応して定められている判定用パラメ
ータの範囲に属しないために、注目フレームが示すシー
ンの特性を明確に特定することができないことをいう。

【００４７】例えば、逆光の際にはコントラストが高く
なるとともに注目フレームの中央が周囲に比べて暗くな
るが、中央が周囲に比べて若干暗いだけの場合には、注
目フレームのシーン特性が「ハイコントラスト」なのか
「逆光」なのかが判定不能となる。また、「ローコント
ラスト」なのか「アンダー」なのか、「緑被り」なのか
「正常」（すなわち、緑色の被写体）なのかという判断
も判定不能が生じ易い典型例として挙げることができ
る。

【００４８】もちろん、判定用パラメータの範囲設定を
調整することにより、判定不能となることを抑制あるい
は防止することも可能であるが、画像処理装置１では、
判定不能という判定結果を取得して再判定を行うことに
より、不正確な判定結果の取得を防止している。

【００４９】さらに具体的な例として色被りの判定につ
いて説明する。色被り判定では所定値以上の明度を有す
る画素に関して色相のヒストグラムが生成され、色相の
第１の幅に８７％以上の画素が集中している場合には
「色被り」ではなく「正常」（すなわち、特定の色の被
写体）であると判定される。そして、８７％未満８３％
以上の画素が集中している場合には「判定不能」とされ
る。

【００５０】また、色相の第１の幅に８３％未満の画素
が集中しており、色相の第２の幅（ただし、第２の幅は
第１の幅よりも広い）に８２％以上の画素が集中してい
る場合には「色被り」が生じていると判定される。第２
の幅に８２％未満７８％以上の画素が集中している場合
には「判定不能」と判定され、７８％未満の場合には色
被りが生じていないと判定される。

【００５１】このように、原則として画像から導かれる
判定用パラメータの値としきい値とを比較することによ
りシーン判定が行われ、このような判定手法は「ハイコ
ントラスト」、「ローコントラスト」、「オーバー」、
「アンダー」、「夕焼け」などの他の種類の判定に関し
ても同様である。

【００５２】再判定を伴うステップＳ２１〜Ｓ２５の処
理により、フレーム群ＦＧ１において、およそ等しい時
間間隔の複数のフレームに対して判定不能以外の判定結
果が最終的に得られると、ステップＳ２６にてフレーム
群判定部４２３がフレーム群ＦＧ１の最頻のシーン特性
をそのフレーム群に共通の特性である共通シーン特性と
して決定する。決定された共通シーン特性は、共通シー
ン特性データ５４として補正部４０３へと送られる。

【００５３】その後、ステップＳ２７において次のフレ
ーム群が存在するか、すなわち、動画Ｖｄ１における全
フレーム群に対してシーン判定が完了したか否かが確認
される。ここで、次のフレーム群が存在する場合には、
ステップＳ２１に戻り、次のフレーム群に対してステッ
プＳ２１〜Ｓ２６の動作が行われる。例えば、図１１に
示す動画Ｖｄ１ではフレーム群ＦＧ１の本シーン判定が
完了すれば次のフレーム群ＦＧ２の本シーン判定に移行
する。フレーム群ＦＧ２の共通シーン特性が求められる
と、フレーム群ＦＧ２の次のフレーム群が存在しないこ
とから図４のステップＳ３へと移行する。

【００５４】上記の本シーン判定の動作について、次の
表１および表２を用いて具体的な判定結果を参照しなが
らさらに説明する。

【００５５】

【表１】

【００５６】

【表２】

【００５７】ステップＳ２３，Ｓ２４による再判定を実
行しない場合に、ステップＳ２１，Ｓ２２の動作によ
り、表１のようにフレーム群ＦＧ１におけるフレームＦ
₁，Ｆ₄，Ｆ₇が、それぞれ「緑被り」、「判定不能」、
「ノーマル」と判定されるものと仮定する。この場合、
実際にはフレームＦ₄の判定の際にステップＳ２３，Ｓ
２４によりフレームＦ₃に対する再判定が行われる。そ
の結果、フレームＦ₃の判定結果として「緑被り」が得
られるものとすると、ステップＳ２１〜Ｓ２５の処理に
より画像処理装置１では表２に示す判定結果群が得られ
る。

【００５８】したがって、ステップＳ２６では最頻のシ
ーンである「緑被り」がフレーム群ＦＧ１の共通シーン
特性と決定される。

【００５９】その後、フレーム群ＦＧ２についても、フ
レーム群ＦＧ１と同様に本シーン判定が行われ、例え
ば、表３のように動画Ｖｄ１の全フレーム群に対する本
シーン判定の結果が取得される。

【００６０】

【表３】

【００６１】以上の本シーン判定の動作では、各フレー
ム群において両端のフレームに挟まれる複数のフレーム
に対してシーン判定が行われるため、精度良く共通シー
ン特性を決定することが実現される。また、判定不能と
いう判定結果が得られたとしても再判定により判定不能
以外の判定結果へと修正することができ、さらに精度よ
く共通シーン特性を求めることが実現される。

【００６２】図１４は、図４中のステップＳ３における
動画補正の動作を示すフローチャートである。

【００６３】ステップＳ３１では、フレーム群ごとに補
正パラメータ（補正レベル）が決定される。ここでは、
例えば、表４に示すように、シーン特性が「ノーマ
ル」、「ローコントラスト」、「ハイコントラスト」、
「緑被り」、「緑被り＆ローコントラスト」である場合
に画像を適切に表示するための各補正レベルが設定され
ている。そして、本シーン判定により決定された共通シ
ーン特性に応じて補正レベルが決定される。例えば、図
１１に示すフレーム群に対して表５に示す補正レベルが
決定される。

【００６４】

【表４】

【００６５】

【表５】

【００６６】ステップＳ３２〜Ｓ３６では、ステップＳ
３１で決定された補正レベルに基づいて、色被り補正、
コントラスト補正、彩度補正、シャープネス補正および
明度補正が行われる。これにより、フレーム群の各フレ
ームに対して共通シーン特性に応じた適切な画像補正が
一律に行われる。

【００６７】ステップＳ３７では、次のフレーム群が存
在するか、すなわち、動画Ｖｄ１における全てのフレー
ム群の画像補正が完了したか否かが確認される。ここ
で、次のフレーム群が存在する場合には、ステップＳ３
２に戻る。

【００６８】なお、上記の動画補正の動作において、表
５に示すようにフレーム群ごとに全フレームについて一
律に補正レベルに設定するのでなく、シーンチェンジ近
傍のフレームの補正レベルが隣接するフレーム群の補正
レベルに応じて修正されてもよい。具体的には、表６に
示すように、フレームＦ₇〜Ｆ₁₀の補正レベルが、隣の
フレーム群の補正レベルを考慮して線形補間により調整
されてもよい。

【００６９】

【表６】

【００７０】これにより、フレーム群の境界において補
正レベルが不連続となってしまうことを抑制でき、補正
後の動画全体をスムーズな画像とすることができる。ま
た、シーンチェンジが多少誤検出されたとしても、その
悪影響を軽減することができる。

【００７１】＜２．第２実施形態＞次に、第１実施形
態における再判定の際に注目フレームを変更しない例を
第２実施形態として説明する。なお、第２実施形態で
は、図１５に示す再判定の際の処理（ステップＳ２４
ａ）を除き、画像処理装置１の構成および動作は第１実
施形態と同様である。

【００７２】図１６は再判定の際に注目フレームの画素
配列Ｍｔのうち、シーン判定に利用される画素７２を平
行斜線を付して示す図である。なお、注目フレームに対
する最初のシーン判定が行われる際には、図７に示した
ように５画素おきの画素７１の画素値が利用されるもの
とする。

【００７３】図７および図１６に示すように、再判定の
際には再判定制御部４２２の制御により、シーン判定に
利用される画素の間隔（サンプリングピッチ）が５画素
から３画素へと小さくされ、シーン判定に利用される画
素の数が増加される（ステップＳ２４ａ）。すなわち、
通常、フレーム中の所定数の画素の値に基づいてシーン
判定が行われるが、判定不能を示す判定結果が得られた
フレームに対しては上記所定数よりも多い数の画素の値
に基づいて再判定が行われる。

【００７４】これにより、再判定の際に最初の判定より
も精度の高いシーン判定が行われ、判定不能という判定
結果をシーン特性を示す判定結果へと変更することが可
能となる。

【００７５】もちろん、再判定において判定不能という
結果が得られる可能性もあるが、この場合、シーン判定
に利用される画素の間隔をさらに小さくしてさらに多く
の画素がシーン判定に利用される。これにより、ほぼ確
実に判定不能以外の判定結果を得ることが可能となる。

【００７６】＜３．第３実施形態＞第１実施形態で
は、注目フレームのシーン判定が不可能な場合に、近傍
の他の一のフレームに対して再判定を行うが、次に、第
３実施形態として再判定の際に複数のフレームがシーン
判定に利用される例について説明する。なお、第３実施
形態においても図１７に示す再判定の際の処理（ステッ
プＳ２４ｂ）を除き、画像処理装置１の構成および動作
は第１実施形態と同様である。

【００７７】図１８および図１９は、第３実施形態にお
ける再判定の際の動作を説明するための図である。図１
８に示すように、動画Ｖｄ２中のフレームＦ₁，Ｆ₈，Ｆ
₁₅ _が順次注目フレームとして決定される場合において、
フレームＦ₈に対する判定結果が判定不能である場合、
再判定制御部４２２の制御により図１９に示すようにフ
レームＦ₈近傍の複数のフレームＦ₆，Ｆ₁₀が判定対象に
含められる（ステップＳ２４ｂ）。

【００７８】具体的には、フレームＦ₈中の画素値が３
つのフレームＦ₆，Ｆ₈，Ｆ₁₀の対応する画素の平均の画
素値に置き換えられる。これにより、再判定の際に注目
フレーム近傍のフレームの状態も考慮した適切なシーン
判定が実現される。

【００７９】その結果、判定結果として判定不能が得ら
れてしまうことを抑制することができる。もちろん、再
判定において判定不能という結果が得られる可能性もあ
るが、この場合、シーン判定に利用されるフレーム数が
さらに多くされた上で再々判定が実行される。これによ
り、ほぼ確実に判定不能以外の判定結果を得ることが可
能となる。

【００８０】なお、注目フレーム近傍の複数のフレーム
が他の手法により再判定の際の判定対象に含められても
よい。例えば、注目フレームの前後の複数のフレームの
それぞれについて判定結果を取得し、判定不能以外の最
も多い判定結果が注目フレームの判定結果として採用さ
れてもよい。

【００８１】以上のように、判定不能の判定結果が得ら
れたフレーム近傍の複数のフレームに基づいて再判定を
行うことにより、再判定を適切に行うことが実現され
る。

【００８２】＜４．第４実施形態＞第２実施形態で
は、注目フレームを変更することなく再判定が行われ
る。既述のように注目フレームに対するシーン判定の処
理は静止画に対するシーン判定とほぼ同様であり、第２
実施形態に係る再判定の技術は静止画におけるシーン判
定に応用することができる。

【００８３】すなわち、画像処理装置１が図１５中のス
テップＳ２２〜Ｓ２４ａの動作を静止画に対して行うこ
とにより、静止画に対する判定結果が判定不能である場
合に再判定を実行することができる。再判定では既述の
ようにシーン判定に利用される画素の数が増される。こ
れにより、より精度の高い静止画のシーン判定を必要最
小限の時間で行うことが実現される。

【００８４】また、第２実施形態における注目フレーム
に対する再判定の処理は様々に変形することが可能であ
り、再判定の対象となる注目フレームが変更されない限
り、変形された再判定の処理を静止画に応用することが
可能である。

【００８５】例えば、図２０に示すように注目フレーム
の画素配列Ｍｔにおいて、フレームの中央を重視するた
めに領域７３１内の一部の画素の値を用いてシーン判定
が行われるものとし、最初のシーン判定において判定不
能という判定結果が得られた場合に、再判定制御部４２
２により領域７３１が領域７３２へと拡張されて再判定
が実行されてもよい。これにより、判定不能以外の判定
結果を効率よく求めることができる。

【００８６】領域７３１が領域７３２に拡張される際に
は、シーン判定に利用される画素の数が同一に維持され
てもよいし（すなわち、シーン判定に利用される画素の
間隔が拡大される。）、シーン判定に利用される画素の
数が増されてもよい。

【００８７】一方、図２０に示す領域７３１の位置が再
判定の際に再判定制御部４２２により領域７３３へと移
動されてもよい。これにより、再判定の際に注目フレー
ム中の中央からやや上方の領域に基づいてシーン判定が
実行される。その結果、中央の領域７３１では判定不能
であっても再判定により判定不能以外の判定結果が得ら
れる可能性が生じる。もちろん、再判定にて判定不能と
いう判定結果が得られてしまった場合には、判定に利用
する領域をさらに変更して再々判定が行われてよい。

【００８８】以上のように、画像の特性を判定する際に
判定不能を含む判定結果を取得し、判定不能の場合に演
算対象となる画素を変更（好ましくは、増加）すること
により、同一の画像に対する再度の判定を適切に実行す
ることが可能となる。

【００８９】＜５．変形例＞以上、本発明の実施形態
について説明してきたが、本発明は上記実施形態に限定
されるものではなく様々な変形が可能である。

【００９０】第１ないし第３実施形態では、動画がノン
リアルタイム（ノンリニア）にて補正されるが、動画の
単位時間当たりの情報量が少なく、十分に高速な処理を
行うことができるのであるならば、入力される動画をリ
アルタイムに解析および補正する画像処理装置１とされ
てもよい。

【００９１】高速化を実現するために図３および図９に
示した各種機能構成が専用の電気回路として構築されて
もよい。特に、画像処理における繰り返し演算をハード
ウェア化することにより、高速化が容易に実現される。
なお、上記動画補正では、再判定が行われたとしても判
定対象となるフレーム数が大幅に増加することはないた
め、高速化への悪影響が最小限に抑えられる。

【００９２】また、上記実施形態ではシーン判定が行わ
れる注目フレームが一定のフレーム間隔（または、一定
の時間間隔）にて決定されるものとして説明したが、注
目フレームは任意に決定されてもよい。例えば、シーン
チェンジ近傍では画像の明るさが安定していない可能性
があるため、シーンチェンジ近傍以外の部位にて注目フ
レームが適宜決定されてもよい。

【００９３】上記実施形態では、判定結果が判定不能の
場合に判定対象フレームまたは判定精度を変更して再判
定が行われるが、判定不能を示す可能性がある複数の判
定結果に基づいてフレーム群（すなわち、動画）が示す
シーンの特性が判定されるのであるならば、再判定の処
理は省略されてもよい。例えば、判定不能のフレームが
緑被りの判定結果のフレームの間に存在する場合に、判
定不能の判定結果が緑被りに修正されてもよい。これに
より、判定不能を考慮しつつフレーム群が示すシーンの
特性を適切に判定することができる。

【００９４】上記第１および３実施形態では、再判定の
際に注目フレーム近傍の少なくとも１つのフレームが判
定対象とされるが、このことは、注目フレーム近傍にて
サンプリングを行うフレーム間隔が小さくされると捉え
ることも可能である。例えば、判定不能の判定結果が得
られた場合に、次の注目フレームまでの間隔を短くする
とともに少なくとも１つのフレームの判定結果を用いて
判定不能の判定結果が他の判定結果に修正されるように
なっていてもよい。

【００９５】既述のように、判定結果が判定不能となる
か否かは判定に用いられるしきい値の設定に依存する。
したがって、しきい値の設定の仕方によっては判定不能
という判定結果をなくすことも不可能ではない。この点
を考慮し、最初の判定により判定不能という判定結果が
得られた際に、別のしきい値を用いて判定不能以外の仮
の判定結果も求めておき、仮の判定結果の信頼性を向上
するために他のフレームの判定結果が利用されてもよ
い。

【００９６】上記実施形態では、プログラムが記録媒体
９からコンピュータである画像処理装置１に入力される
ようになっているが、プログラムはネットワークを介し
てコンピュータ内に入力されてもよい。もちろん、動画
データ（第４実施形態の場合は静止画データ）もネット
ワークを介して入出力が行われてもよい。

【００９７】

【発明の効果】請求項１ないし５、並びに、請求項９お
よび１１の発明では、判定不能を考慮しつつ動画が示す
シーンの特性を適切に判定することができる。

【００９８】また、請求項２の発明では、再判定により
精度よく判定を行うことができる。

【００９９】また、請求項３の発明では、判定不能の判
定結果に対応するフレーム画像近傍の一のフレーム画像
を用いて、請求項４の発明では、判定不能の判定結果に
対応するフレーム画像を用いて、請求項５の発明では、
判定不能の判定結果に対応するフレーム画像近傍の複数
のフレーム画像を用いて適切な再判定を行うことができ
る。

【０１００】請求項６、７および１０の発明では、判定
結果が判定不能を示す場合に再判定を行うことにより画
像の特性を精度よく判定することができる。

【０１０１】また、請求項７の発明では、再判定の際に
より多くの画素の値に基づいてさらに精度よく判定を行
うことができる。

【図面の簡単な説明】

【図１】第１実施形態に係る画像処理装置の要部構成を
示す斜視図である。

【図２】画像処理装置の構成をブロックにて示す図であ
る。

【図３】画像処理装置の機能構成をブロックにて示す図
である。

【図４】画像処理装置の概略動作を示すフローチャート
である。

【図５】予備シーン判定の動作を示すフローチャートで
ある。

【図６】予備シーン判定を説明するための図である。

【図７】画素配列を示す図である。

【図８】ＣＣＤにおけるＲＧＢベイヤー配列を示す図で
ある。

【図９】本シーン判定部の機能構成をブロックにて示す
図である。

【図１０】本シーン判定の動作を示すフローチャートで
ある。

【図１１】本シーン判定を説明するための図である。

【図１２】再判定を説明するための図である。

【図１３】再判定を説明するための図である。

【図１４】動画補正の動作を示すフローチャートであ
る。

【図１５】第２実施形態における再判定の動作を示すフ
ローチャートである。

【図１６】再判定を説明するための図である。

【図１７】第３実施形態における再判定の動作を示すフ
ローチャートである。

【図１８】再判定を説明するための図である。

【図１９】再判定を説明するための図である。

【図２０】再判定の他の例を説明するための図である。

【符号の説明】

１画像処理装置２処理部９記録媒体２３制御部２４ｂプログラム７１，７２画素４２１フレーム判定部４２３フレーム群判定部７３１〜７３３領域Ｓ２１〜Ｓ２６ステップＳ２４ａ，Ｓ２４ｂステップＦ₁〜Ｆ₁₂ フレームＦＧ１，ＦＧ２フレーム群Ｖｄ１，Ｖｄ２動画

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C023 AA37 BA01 BA07 BA08 BA11 CA01 DA01 DA08 5C061 BB02 BB05 BB11 5C065 AA01 BB01 BB12 CC01 DD15 EE05 EE06 5L096 AA06 DA01 FA32 FA34 FA37

Claims

【特許請求の範囲】

【請求項１】画像に対する判定を行うプログラムであ
って、前記プログラムのコンピュータによる実行は、前
記コンピュータに、動画中の複数のフレーム画像の特性を判定不能の場合を
含めて判定し、複数の判定結果を取得する工程と、前記複数の判定結果に基づいて前記動画が示すシーンの
特性を判定する工程と、を実行させることを特徴とする
プログラム。
【請求項２】請求項１に記載のプログラムであって、
前記プログラムの前記コンピュータによる実行は、前記
コンピュータに、前記複数の判定結果のいずれかが判定不能を示す場合
に、判定不能の判定結果に対応して再判定を行う工程、
をさらに実行させることを特徴とするプログラム。
【請求項３】請求項２に記載のプログラムであって、前記再判定を行う工程において、前記判定不能の判定結
果に対応するフレーム画像近傍の一のフレーム画像に対
して判定が行われることを特徴とするプログラム。
【請求項４】請求項２に記載のプログラムであって、前記複数の判定結果を取得する工程において、フレーム
画像中の所定数の画素の値に基づいて判定が行われ、前
記再判定を行う工程において、前記判定不能の判定結果
に対応するフレーム画像中の前記所定数よりも多い数の
画素の値に基づいて判定が行われることを特徴とするプ
ログラム。
【請求項５】請求項２に記載のプログラムであって、前記再判定を行う工程において、前記判定不能の判定結
果に対応するフレーム画像近傍の複数のフレーム画像に
基づいて再判定が行われることを特徴とするプログラ
ム。
【請求項６】画像に対する判定を行うプログラムであ
って、前記プログラムのコンピュータによる実行は、前
記コンピュータに、画像の特性を判定不能の場合を含めて判定し、判定結果
を取得する工程と、前記判定結果が判定不能を示す場合に、判定に用いられ
る前記画像中の画素を変更して前記画像の特性を再判定
する工程と、を実行させることを特徴とするプログラ
ム。
【請求項７】請求項６に記載のプログラムであって、前記判定結果を取得する工程において、前記画像中の所
定数の画素の値に基づいて前記画像の判定が行われ、前
記再判定する工程において、前記画像中の前記所定数よ
りも多い数の画素の値に基づいて判定が行われることを
特徴とするプログラム。
【請求項８】請求項１ないし７のいずれかに記載のプ
ログラムを記録したことを特徴とするコンピュータ読み
取り可能な記録媒体。
【請求項９】画像処理方法であって、動画中の複数のフレーム画像の特性を判定不能の場合を
含めて判定し、複数の判定結果を取得する工程と、前記複数の判定結果に基づいて前記動画が示すシーンの
特性を判定する工程と、を有することを特徴とする画像
処理方法。
【請求項１０】画像処理方法であって、画像の特性を判定不能の場合を含めて判定し、判定結果
を取得する工程と、前記判定結果が判定不能を示す場合に、判定に用いられ
る前記画像中の画素を変更して前記画像の特性を再判定
する工程と、を有することを特徴とする画像処理方法。
【請求項１１】画像処理装置であって、動画中の複数のフレーム画像の特性を判定不能の場合を
含めて判定し、複数の判定結果を取得する手段と、前記複数の判定結果に基づいて前記動画が示すシーンの
特性を判定する手段と、を備えることを特徴とする画像
処理装置。