JP2002152669A

JP2002152669A - 動画処理装置、動画処理方法、および記録媒体

Info

Publication number: JP2002152669A
Application number: JP2000342190A
Authority: JP
Inventors: Motohiro Asano; 基広浅野
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2000-11-09
Filing date: 2000-11-09
Publication date: 2002-05-24
Anticipated expiration: 2020-11-09
Also published as: JP4013024B2

Abstract

(57)【要約】【課題】動画において共通シーンを精度良く判定でき
る動画処理技術を提供する。【解決手段】動画Ｖｄは、複数のフレームＦ₁〜Ｆ₁₂
で構成されている。ここで、画像の輝度情報に関するフ
レームごとの変化に応じて動画ＶｄのシーンチェンジＳ
Ｃを検出し、このシーンチェンジＳＣを境界として実質
的に同一シーンを有するフレーム群ＦＧ１、ＦＧ２に分
割する。そして、フレーム群ＦＧ１に対して３フレーム
ごとにフレームＦ₁、Ｆ₄、Ｆ₇をサンプリングしてシー
ン判定を行い、最頻のシーンをフレーム群ＦＧ１の共通
シーンと決定する。これにより、フレーム群ＦＧ１にお
いて両端のフレームＦ₁、Ｆ₁₂に挟まれ、十分にシーン
チェンジがなされたフレームＦ₄、Ｆ₇に対するシーン判
定結果を利用できるため、共通シーンを精度良く定でき
ることとなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画処理技術に関
し、特に動画におけるシーン判定技術の改良に関する。

【０００２】

【従来の技術】従来の動画処理においては、動画を構成
するフレームごとにその輝度などの変化を検出し動画に
おけるシーンチェンジ（シーン変化）を判定して、シー
ンチェンジから次のシーンチェンジまでの、実質的に同
一シーンを有するフレーム群に共通する動画特性として
の共通シーン特性を決定する方法がある。

【０００３】そして、この共通シーン特性に応じた補正
パラメータに基づき、フレーム群で一括した画像補正を
行って動画処理の効率化、適正化を図っている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
動画処理では、共通シーン特性がシーンチェンジ直後の
フレームに対するシーン判定のみに基づき決定されるこ
ととなるが、シーンチェンジ直後のフレームは必ずしも
十分なシーンチェンジがなされたものとは限らず、共通
シーン特性の判定精度が悪い場合が多い。

【０００５】本発明は、上記課題に鑑みてなされたもの
であり、動画において共通シーン特性を精度良く判定で
きる動画処理技術を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明は、複数のフレームで構成される動
画を処理する動画処理装置であって、(a)所定の画像情
報に関するフレームごとの変化に応じて前記動画に係る
シーンチェンジを検出し、前記シーンチェンジを境界と
したフレーム区間を設定する設定手段と、(b)前記フレ
ーム区間について、両端のフレームに挟まれる少なくと
も１のフレームに対するシーンの特性判定を行うシーン
判定手段と、(c)前記シーン判定手段によるシーン判定
結果に基づき、前記フレーム区間で共通特性を表現した
共通シーン特性を決定する決定手段とを備える。

【０００７】また、請求項２の発明は、請求項１の発明
に係る動画処理装置において、前記シーン判定手段は、
前記シーンチェンジ近傍のフレームを除外したフレーム
に対してシーンの特性判定を行う。

【０００８】また、請求項３の発明は、請求項１または
請求項２の発明に係る動画処理装置において、前記設定
手段は、複数のフレームごとに１回シーンチェンジを検
出し、前記フレーム区間を設定する。

【０００９】また、請求項４の発明は、請求項１ないし
請求項３のいずれかの発明に係る動画処理装置におい
て、(d)所定の閾値よりも短い時間間隔だけ連続し、か
つその前後のフレーム区間とは異なる共通シーン特性を
有する短時間フレーム区間を検出する検出手段と、(e)
前記前後のフレーム区間の共通シーン特性が実質的に同
一である場合に、前記短時間フレーム区間の共通シーン
特性を、前記前後のフレーム区間の共通シーン特性で置
換する置換手段とをさらに備える。

【００１０】また、請求項５の発明は、請求項１ないし
請求項４のいずれかの発明に係る動画処理装置におい
て、前記シーン判定手段は、３以上のフレームに対する
シーン判定を行い、前記決定手段は、前記３以上のフレ
ームのうち最頻のシーンに基づき、前記フレーム区間に
係る共通シーン特性を決定する。

【００１１】また、請求項６の発明は、請求項１ないし
請求項５のいずれかの発明に係る動画処理装置におい
て、(f)前記フレーム区間に係る共通シーン特性に応じ
て設定された補正係数に基づき、前記フレーム区間の各
フレームに対して画像補正を行う補正手段、をさらに備
え、前記補正手段では、前記シーンチェンジ近傍に係る
フレームの補正係数を、隣接するフレーム区間の補正係
数に応じて調整する。

【００１２】また、請求項７の発明は、請求項１ないし
請求項６のいずれかの発明に係る動画処理装置におい
て、前記所定の画像情報は、緑の色成分の情報である。

【００１３】また、請求項８の発明は、複数のフレーム
で構成される動画を処理する動画処理方法であって、
(a)所定の画像情報に関するフレームごとの変化に応じ
て前記動画に係るシーンチェンジを検出し、前記シーン
チェンジを境界としたフレーム区間を設定する設定工程
と、(b)前記フレーム区間について、両端のフレームに
挟まれる少なくとも１のフレームに対するシーンの特性
判定を行うシーン判定工程と、(c)前記シーン判定工程
におけるシーン判定結果に基づき、前記フレーム区間で
共通特性を表現した共通シーン特性を決定する決定工程
とを備える。

【００１４】また、請求項９の発明は、動画処理装置に
内蔵されたコンピュータにインストールされることによ
り、当該動画処理装置を請求項１ないし請求項７のいず
れかの発明に係る動画処理装置として機能させるための
プログラムを記録してある。

【００１５】

【発明の実施の形態】＜第１実施形態＞＜動画処理装置の要部構成＞図１は、本発明の第１実施
形態に係る動画処理装置１の要部構成を示す斜視図であ
る。

【００１６】動画処理装置１は、パーソナルコンピュー
タとして構成されており、箱型の形状を有する処理部２
と、操作部３と、モニタ４とを備えている。

【００１７】処理部２は、動画処理を行う部位であり、
その前面に光ディスクなどの記録媒体９を挿入する挿入
部２１を有している。

【００１８】操作部３は、マウス３１とキーボード３２
とから構成され、ユーザからの動画処理装置１に対する
入力操作を受付ける。

【００１９】モニタ４は、処理部２からの指示に基づき
表示が行われることとなる。

【００２０】図２は、動画処理装置１の機能ブロックを
示す図である。

【００２１】動画処理装置１の処理部２は、上記のマウ
ス３１、キーボード３２およびモニタ４に接続する入出
力Ｉ／Ｆ２２と、入出力Ｉ／Ｆ２２に電気的に接続する
制御部２３とを備えている。また、処理部２は、制御部
２３に電気的に接続する記憶部２４と、入出力Ｉ／Ｆ２
５と、通信Ｉ／Ｆ２６とを備えている。

【００２２】入出力Ｉ／Ｆ２２は、マウス３１、キーボ
ード３２およびモニタ４と制御部２３との間でデータの
送受をコントロールするためのインターフェイスであ
る。

【００２３】記憶部２４は、ハードディスクとして構成
されており、オペレーションシステム（ＯＳ）２４ａ
と、動画処理を行うための演算処理プログラム２４ｂと
が記憶されている。

【００２４】入出力Ｉ／Ｆ２５は、挿入部２１を介し
て、記録媒体９に対するデータの入出力を行うためのイ
ンターフェイスである。

【００２５】通信Ｉ／Ｆ２６、通信線１１を介して動画
処理装置１の外部のネットワークと通信するためのイン
ターフェイスである。

【００２６】制御部２３は、ＣＰＵ２３１およびメモリ
２３２を有しており、上記の各部を有機的に制御して動
画処理装置１の動作を統括制御する部位である。この制
御部２３のメモリ２３２には、記録媒体９に記録されて
いるプログラムデータを入出力Ｉ／Ｆ２５を介して格納
することができる。これにより、この格納したプログラ
ムを動画処理装置１の動作に反映することができる。

【００２７】＜動画処理装置１の動作＞図３は、動画処
理装置１の基本的な動作を示すフローチャートである。
この動作は制御部２３のＣＰＵ２３１により自動的に実
行される。

【００２８】ステップＳ１では、後述する動画の予備シ
ーン判定を行う。

【００２９】ステップＳ２では、後述する動画の本シー
ン判定を行う。

【００３０】ステップＳ３では、後述する動画補正を行
う。

【００３１】図４は、動画の予備シーン判定の動作を示
すフローチャートである。また、図５は、予備シーン判
定を説明するための図である。

【００３２】動画Ｖｄは、例えば図５に示すように、Ｒ
(赤)、Ｇ(緑)、Ｂ(青)の各色成分の合成によりカラー画
像形成される１２のフレームＦ₁〜Ｆ₁₂で構成されてい
る。以下では、この動画Ｖｄにおける予備シーン判定に
ついて説明する。

【００３３】ステップＳ１１では、カウンタｉに１を代
入する。

【００３４】ステップＳ１２では、フレームＦ_iにおけ
る緑色の画素値の平均値Ｇ_oldと、Ｆ _i+1における緑色の
画素値の平均値Ｇ_newとを算出する。ここでは、図６に
示す画素配列Ｍｔにおいて、一定画素、例えば５画素毎
（平行斜線部）に緑色の画素値をサンプリングし、その
平均値を求める。

【００３５】ステップＳ１３では、平均値Ｇ_oldと平均
値Ｇ_newとの差Ｄを算出する。

【００３６】ステップＳ１４では、差Ｄが閾値Ｔｈ以上
となっているかを判定する。ここで、差Ｄが閾値Ｔｈ以
上となっている場合には、ステップＳ１５に進み、閾値
Ｔｈ未満の場合には、ステップＳ１６に進む。

【００３７】ステップＳ１５では、フレームＦ_iにおい
てシーンチェンジと判定し、フレーム群（フレーム区
間）の境界として、そのフレーム番号を記録して設定し
ておく。図５に示す動画Ｖｄでは、フレームＦ₈でシー
ンチェンジと判定され、フレームＦ₁〜Ｆ₈がフレーム群
ＦＧ１に、フレームＦ₉〜Ｆ₁₂がフレーム群ＦＧ２に分
けられる。

【００３８】ここで、画像情報であるＲＧＢの色成分の
うち緑の色成分の画素値を抽出してシーンチェンジの判
定を行うのは、緑色の画素値は画像全体の輝度に近い特
性を有し、従来の全色成分を考慮する方法と比べても遜
色のない精度を達成できるためである。また、デジタル
ビデオやデジタルカメラで使用するＣＣＤは、図７に示
すようなＲＧＢベイヤー配列を有するものが多く、緑色
の画素(平行斜線部)が他の色Ｒ、Ｂそれぞれの２倍の感
度（領域）を有するため、精度良く判定できることとな
る。

【００３９】このように緑色に絞ったシーンチェンジの
検出により、迅速な処理が行えることとなる。

【００４０】ステップＳ１６では、カウンタｉにｉ＋１
を代入する。

【００４１】ステップＳ１７では、カウンタｉが動画Ｖ
ｄを構成する全フレーム数ｎ以上であるか、すなわち処
理対象の動画における全フレームのシーンチャンジ判定
が完了したかを判定する。図５に示す動画Ｖｄでは、ｎ
は１２となる。ここで、カウンタｉがｎ以上である場合
には、ステップＳ２に進み、ｎ未満である場合には、ス
テップＳ１２に戻る。

【００４２】以上の動作により、図５に平行斜線で示す
全フレームＦ₁〜Ｆ₁₂についてシーンチェンジが調べら
れ、画像の相関関係が高い、すなわちそれぞれが実質的
に同一シーンとみなされる複数のフレーム群に分割され
ることとなる。

【００４３】また、以上の予備シーン判定の動作によ
り、フレームごとに緑色の画素値、すなわち複数の色成
分のうちの一部の色成分の情報のみに注目してシーンチ
ェンジを判定するため、シーンチェンジの検出の高速
化、すなわち迅速に動画処理が行える。

【００４４】図８は、動画の本シーン判定の動作を示す
フローチャートである。また、図９は、本シーン判定を
説明するための図である。

【００４５】ステップＳ２１では、フレーム群ＦＧ１に
おける一部のフレームに対して、シーン判定を行う。こ
のシーン判定とは、特開平１１−２９８７３６号に開示
されている夕焼け判定、色被り判定、コントラスト判定
などの画像の特性としてシーン判定することを指してい
る。このステップＳ２１では、フレーム群ＦＧ１に対し
て、等時間間隔、例えば１秒ごとにフレームを離散的に
サンプリングする。具体的には、図９に平行斜線で示す
ように３フレームごとにフレームＦ₁、Ｆ₄、Ｆ ₇をサン
プリングして、これらのフレームに対するシーン判定を
行う。

【００４６】なお、フレーム群に対して予め設定された
フレーム数、例えば３フレームをサンプリングするよう
にしても良い。この場合には、この３フレームの時間間
隔が等間隔となるのが好ましい。

【００４７】ステップＳ２２では、フレーム群ＦＧ１の
最頻のシーンの画像内容の特性を、そのフレーム群に共
通する特性として共通シーン特性と決定する。

【００４８】ステップＳ２３では、次のフレーム群があ
るか、すなわち動画Ｖｄにおけるフレーム群のシーン判
定が完了したかを判定する。ここで、次のフレーム群が
ある場合には、ステップＳ２１に戻り、次のフレーム群
に対してステップＳ２１、Ｓ２２の動作を行う。例え
ば、動画Ｖｄではフレーム群ＦＧ１のシーン判定が完了
すれば次のフレーム群ＦＧ２のシーン判定に移行するこ
ととなる。また、次のフレーム群がない場合には、ステ
ップＳ３に進む。

【００４９】上記の本シーン判定の動作について、次の
表１および表２を用いて具体的に説明する。

【００５０】

【表１】

【００５１】

【表２】

【００５２】上記のステップＳ２１の動作により、表１
のようにフレーム群ＦＧ１におけるフレームＦ₁、Ｆ₄、
Ｆ₇が、それぞれ「緑被り」、「緑被り」、「ノーマ
ル」と判定された場合には、ステップＳ２２の動作によ
って、最頻のシーンである「緑被り」がフレーム群ＦＧ
１の共通シーン特性と決定される。

【００５３】また、フレーム群ＦＧ２についても、フレ
ーム群ＦＧ１と同様に本シーン判定を行うことで、表２
のように動画Ｖｄのシーン判定が行われる。

【００５４】以上の本シーン判定の動作により、フレー
ム群ＦＧ１では両端のフレームＦ₁、Ｆ₁₂に挟まれるフ
レームＦ₄、Ｆ₇に対するシーン判定を行うため、精度良
く共通シーン特性を決定できる。

【００５５】図１０は、動画補正の動作を示すフローチ
ャートである。

【００５６】ステップＳ３１では、フレーム群ごとに補
正パラメータ（補正レベル）を決定する。ここでは、例
えば次の表３に示すように、シーン「ノーマル」、「ロ
ーコントラスト」、「ハイコントラスト」、「緑被
り」、「緑被り＆ローコントラスト」について、画像を
適切に表示するために各補正レベルが設定されており、
上記の本シーン判定の動作により決定された共通シーン
特性に対応して、次の表４のように補正レベルが決定さ
れることとなる。

【００５７】

【表３】

【００５８】

【表４】

【００５９】ステップＳ３２〜ステップＳ３６では、ス
テップＳ３１で決定された補正レベルに基づいて、色被
り補正、コントラスト補正、彩度補正、シャープネス補
正、明度補正を行う。これにより、フレーム群に対して
共通シーン特性として一括した適切な画像補正が行え
る。

【００６０】ステップＳ３７では、次のフレーム群があ
るか、すなわち動画Ｖｄにおける全てのフレーム群の画
像補正が完了したかを判定する。ここで、次のフレーム
群がある場合には、ステップＳ３２に戻る。

【００６１】また、上記の動画補正の動作については、
表４に示すようにフレーム群ごとに全フレームについて
一律に補正レベルに設定するのでなく、シーンチェンジ
近傍のフレームの補正レベルを、隣接するフレーム群の
補正レベルに応じた設定としても良い。具体的には、表
５に示すように、フレームＦ₇〜Ｆ₁₀の補正レベルに関
して隣のフレーム群の補正レベルを考慮し、線形補間に
より補正レベルを調整する。

【００６２】

【表５】

【００６３】これにより、フレーム群の境界において補
正レベルが不連続となるのを抑制でき、動画全体をスム
ーズに画像補正できることとなる。また、シーンチェン
ジを多少、誤検出しても、その悪影響を軽減できること
となる。

【００６４】＜第２実施形態＞本発明の第２実施形態に
係る動画処理装置１の構成は、上記の動画処理装置１の
構成に類似しているが、後述の動画処理装置１に係る動
作を行うためのプログラムが、図２に示す全体制御部２
３Ａのメモリ２３２に記憶されている。

【００６５】図１１は、動画処理装置１の基本的な動作
を示すフローチャートである。この動作は制御部２３の
ＣＰＵ２３１により自動的に実行される。

【００６６】本動作においては、第１実施形態の動画処
理装置１における動画補正動作に代わり、複数の動画に
対する検索の動作が行われる。

【００６７】ステップＳ５１では、操作部３に対するユ
ーザ操作により、動画において検索のキー画像を設定す
る。また、後述する色特徴の類似度Ｒを判定する閾値Ｔ
ｄ、例えば０.６を設定する。

【００６８】ステップＳ５２では、キー画像の色特徴を
抽出する。なお、ユーザが色特徴を指定していれば、そ
の情報をそのまま利用する。

【００６９】色特徴については、特開平１１−９６３６
４号公報に開示されている方法で抽出される。この色特
徴について以下で簡単に説明する。

【００７０】色特徴は、フレームの各画素のＲＧＢ値を
ＨＳＬ値に変換し、色を特定する複数の色要素の値に基
づいて複数の色グループに色を分類するための分類情報
を有する色グループ分類テーブルを参照し、画像を構成
する各画素の色を色グループ毎にカウントする。そし
て、色グループ内にカウントされた画素の色要素の値に
基づいて各色グループの平均色を求め、色グループ内に
カウントされた画素が画像全体に占める割合である占有
率を色グループ毎に算出し、色グループの平均色と占有
率とを色グループ毎に抽出することによって得られるも
のである。

【００７１】ステップＳ５３では、後述する予備シーン
判定を行う。

【００７２】ステップＳ５４では、フレーム群における
１つのフレームに対して色特徴を抽出する。なお、ここ
で、第１実施形態における本シーン判定の動作のように
複数のフレームで色特徴を抽出する場合には、抽出され
た色特徴の平均を求めるのが好ましい。

【００７３】ステップＳ５５では、キー画像に対するフ
レーム群の類似度Ｒ_iを算出する。

【００７４】ステップＳ５６では、次のフレーム群があ
るか、すなわち動画における全フレーム群の色特徴の抽
出が完了したかを判定する。ここで、次のフレーム群が
ある場合には、ステップＳ５４に戻り、次のフレーム群
がない場合には、ステップＳ５７に進む。

【００７５】ステップＳ５７では、動画に対する類似度
Ｒを算出する。ここでは、ｋi(i＝１,２,・・・)を動画
を構成する全フレームに占める各フレーム群のフレーム
数の割合とし、Ｒi(i＝１,２,・・・)を各フレーム群に
おける類似度とすれば、類似度Ｒ＝ｋ１×Ｒ１＋ｋ２×
Ｒ２＋・・・の形の加重和で計算される。

【００７６】ステップＳ５８では、次の検索対象の動画
があるかを判定する。ここで、次の動画がある場合に
は、ステップＳ５５３に戻り、次の動画がない場合に
は、ステップＳ５９に進む。

【００７７】ステップＳ５９では、検索した複数の動画
のうち、キー画像に対する類似度が、ステップＳ５１で
設定した閾値Ｔｄ以上となる動画を検索結果としてモニ
タ４に出力する。

【００７８】図１２は、動画の予備シーン判定の動作を
示すフローチャートである。

【００７９】ステップＳ６１は、図４のステップＳ１１
と同様に、カウンタｉに１を代入する。

【００８０】ステップＳ６２では、図１３に示すよう
に、フレームＦ_iにおける緑色の画素に基づき作成され
たヒストグラムの最大値Ｍ_oldおよび分散Ｓ_oldと、フレ
ームＦ _i+1における緑色の画素に基づき作成されたヒス
トグラムの最大値Ｍ_newおよび分散Ｓ_newとを算出する。
なお、図１３に示すヒストグラムでは、横軸は輝度(画
素値)ｘを示しており、縦軸は画素数ｙを示している。
そして、上記の分散Ｓは、次の数１で計算されることと
なる。

【００８１】

【数１】

【００８２】これにより、第１実施形態と同様に、緑色
のみに着目して、シーンチェンジの判定を行うため、迅
速で精度の良い処理が行える。

【００８３】ステップＳ６３では、最大値Ｍ_oldとＭ_new
との差Ｄ１を算出するとともに、分散Ｓ_oldとＳ_newとの
差Ｄ２を算出する。

【００８４】ステップＳ６４では、差Ｄ１が閾値Ｔｈ１
以上で、かつ差Ｄ２が閾値Ｔｈ２以上となっているかを
判定する。ここで、差Ｄ１、Ｄ２が閾値Ｔｈ１、Ｔｈ２
以上となっている場合には、ステップＳ６５に進み、閾
値Ｔｈ１、Ｔｈ２未満の場合には、ステップＳ６６に進
む。

【００８５】ステップＳ６５〜Ｓ６７では、図４に示す
フローチャートのステップＳ１５〜Ｓ１７と同様の動作
を行う。

【００８６】以上の動画処理装置１の予備シーン判定動
作により、第１実施形態と同様に、フレームごとに緑色
の画素値、すなわち一部の色成分の情報のみに注目して
シーンチェンジを判定するため、シーンチェンジ検出の
高速化、すなわち迅速に動画処理が行える。

【００８７】また、第２実施形態の動画検索について
は、図１４に示す動画処理システム７にも適用できる。

【００８８】動画処理システム７は、上記の動画処理装
置１と同様の構成を有するサーバー７０を備えるととも
に、サーバー７０と通信線７９を介して通信可能なクラ
イアントとしての端末７１〜７３を備えている。これら
の端末７１〜７３も、動画処理装置１と同様の構成を有
している。

【００８９】この動画処理システム７により、ネットワ
ークを利用し遠隔からの動画検索が行えることとなる。

【００９０】図１５は、端末７２における動画検索の動
作を示すフローチャートである。

【００９１】ステップＳ７１およびＳ７２では、図１１
のフローチャートのステップＳ５１およびＳ５２と同様
の動作を行う。

【００９２】ステップＳ７３では、図１４のデータの流
れＦＤに示すように、ステップＳ７２で抽出した色特徴
抽出データをサーバー７０に送信し、サーバー７０に記
録されている複数の動画に対する検索を依頼する。

【００９３】ステップＳ７４では、図１４のデータの流
れＢＤに示すように、後述のステップＳ８８においてサ
ーバー７０から送信された動画の検索結果を受信する。

【００９４】ステップＳ７５では、図１１のフローチャ
ートのステップＳ５９と同様の動作を行う。

【００９５】図１６は、サーバー７０における動画検索
の動作を示すフローチャートである。

【００９６】ステップＳ８１では、上記のステップＳ７
３でクライアント側の端末７２から送信された色特徴抽
出データを受信する。

【００９７】ステップＳ８２〜Ｓ８７では、図１１のフ
ローチャートのステップＳ５３〜Ｓ５８と同様の動作を
行う。

【００９８】ステップＳ８８では、図１１のフローチャ
ートのステップＳ５１と同様の動作で、検索結果をクラ
イアント側の端末７２に送信する。

【００９９】以上の動画処理システム７の動作により、
上述した動画処理装置１と同様の効果を得られるととも
に、動画情報を記録するサーバーに対して遠隔の端末か
ら動画検索が行え、利便性が向上する。

【０１００】なお、端末側からキー画像をサーバーに送
信し、サーバー側で色特徴を抽出し動画検索を行うよう
にしても良い。

【０１０１】また、動画検索において、抽出された色特
徴を利用するのではなく、上述した緑被りなどのシーン
情報を利用しても良い。

【０１０２】＜変形例＞ ◎上記の各実施形態については、本シーン判定をシーン
チェンジＳＣ近傍以外のフレームで行うようにしても良
い。

【０１０３】図１７は、この本シーン判定の動作を説明
するための図である。

【０１０４】フレーム群ＦＧ１に対して、３フレームご
とにサンプリングし、かつシーンチェンジＳＣ近傍の、
例えば１秒間に相当するフレームＦ₁₀〜Ｆ₁₂を除外した
フレームＦ₁、Ｆ₄、Ｆ₇をサンプリングして、本シーン
判定を行う。

【０１０５】これにより、例えば屋外から屋内に移動し
た場合などに生じる緩慢なシーンチェンジにおいて、そ
の緩慢なシーン変化過程を十分に除外することが可能と
なる。すなわち、シーンが十分に変化してしないフレー
ムを本シーン判定に使用しないため、より精度良く共通
シーン特性判定が行えることとなる。

【０１０６】◎上記の各実施形態については、予備シ−
ン判定を一定の時間間隔で行っても良い。

【０１０７】図１８は、この予備シーン判定の動作を説
明するための図である。

【０１０８】予備シーン判定については、一定の時間間
隔、例えば３フレームごとに１回サンプリングするよう
にしても良い。具体的には、図１８に示すようにフレー
ムＦ ₁、Ｆ₄、Ｆ₇、Ｆ₁₀(平行斜線部)に対してシーンチ
ェンジを検出する。ここでは、フレームＦ₇とＦ₁₀との
間でシーンの変化があった場合にはフレームＦ₉でシー
ンチェンジがあったとみなされることとなる。

【０１０９】これにより、動画を構成する全フレームに
対するシーンチェンジの検出と比べて、シーンチェンジ
と扱うのが適切でない、例えばフラッシュ光などの外乱
を受ける短いフレーム群をシーンチェンジと誤検出する
ことが抑制される。また、予備シーン判定の動作が高速
化に行える。

【０１１０】ここでは、実際のシーンチェンジのフレー
ムよりずれてシーンチェンジが検出される恐れがある
が、例えばフレームの再生スピードが１５ｆｐｓ(frame
per seconnd)では、３フレームずれてシーンチェンジ
が検出されても、実際には０.２秒に相当するだけであ
るため、特に問題とならないことが多く、このような場
合には特に有効となる。

【０１１１】◎上記の各実施形態については、本シーン
判定において誤判定と認定められるフレームを修正する
ようにしても良い。

【０１１２】図１９は、この本シーン判定の動作を説明
するための図である。

【０１１３】図１９(ａ)に示すように、予備シーン判定
によって４つのフレーム群に分割された動画について、
所定の閾値より短い時間、例えば０.１秒以内の動画再
生時間に相当するフレーム群２（図１９(ａ)の例ではこ
のフレーム群２は１のフレームのみからなるフレーム
群）を短時間フレーム群として検出し、その短時間フレ
ーム群２が前後のフレーム群１、３と異なる共通シーン
特性「ハイコントラスト」であり、かつ前後のフレーム
群１、３が同一シーン「ノーマル」であれば、このフレ
ーム群２は誤シーン判定されていると認められる。この
ため、この短時間フレーム群２のシーンの特性を前後の
フレーム群で判定された共通シーン特性で置換する。こ
の置換により、図１９(ｂ)に示す表のように２つのフレ
ーム群に分割され、適切な本シーン判定結果が得られる
こととなる。

【０１１４】これにより、フラッシュ光などの影響によ
る誤判定を防止することができる。

【０１１５】◎第１実施形態において、図６に示すよう
に５画素毎に緑色の画素値をサンプリングするのは必須
ではなく、全画素をサンプリングしても良く、また２画
素ごと、３画素ごとにサンプリングしても良い。

【０１１６】

【発明の効果】以上説明したように、請求項１ないし請
求項９の発明によれば、フレーム区間の両端のフレーム
に挟まれる少なくとも１のフレームに対するシーン特性
の判定結果に基づき、フレーム区間で共通特性を表現し
た共通シーン特性を決定する。その結果、共通シーンを
精度良く判定できる。

【０１１７】特に、請求項２の発明については、シーン
チェンジ近傍のフレームを除外したフレームに対してシ
ーンの特性判定を行うため、共通シーンをより精度良く
判定できる。

【０１１８】また、請求項３の発明については、複数の
フレームごとに１回シーンチェンジを検出しフレーム区
間を設定するため、シーンチェンジ検出を高速化でき
る。また、シーンチェンジ検出において、フラッシュ光
などの瞬間的な外乱の影響を抑制できる。

【０１１９】また、請求項４の発明については、所定の
閾値よりも短い時間間隔だけ連続し、かつその前後のフ
レーム区間とは異なる共通シーン特性を有する短時間フ
レーム区間を検出し、前後のフレーム区間の共通シーン
特性が実質的に同一である場合に、短時間フレーム区間
の共通シーン特性を前後のフレーム区間の共通シーン特
性で置換する。その結果、適切な共通シーンの判定結果
が得られる。

【０１２０】また、請求項５の発明については、決定手
段が３以上のフレームのうち最頻のシーンに基づきフレ
ーム区間に係る共通シーン特性を決定するため、共通シ
ーンを適切に決定できる。

【０１２１】また、請求項６の発明については、シーン
チェンジ近傍に係るフレームの補正係数を隣接するフレ
ーム区間の補正係数に応じて調整するため、動画全体を
スムーズに画像補正できる。

【０１２２】また、請求項７の発明については、所定の
画像情報が緑の色成分の情報であるため、シーンチェン
ジを迅速に検出できる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る動画処理装置１の
要部構成を示す斜視図である。

【図２】動画処理装置１の機能ブロックを示す図であ
る。

【図３】動画処理装置１の基本的な動作を示すフローチ
ャートである。

【図４】動画の予備シーン判定の動作を示すフローチャ
ートである。

【図５】予備シーン判定を説明するための図である。

【図６】画素配列Ｍｔを示す図である。

【図７】ＣＣＤにおけるＲＧＢベイヤー配列を示す図で
ある。

【図８】動画の本シーン判定の動作を示すフローチャー
トである。

【図９】本シーン判定を説明するための図である。

【図１０】動画補正の動作を示すフローチャートであ
る。

【図１１】本発明の第２実施形態に係る動画処理装置１
の基本的な動作を示すフローチャートである。

【図１２】動画の予備シーン判定の動作を示すフローチ
ャートである。

【図１３】フレームにおける緑色の画素に基づき作成さ
れたヒストグラムを示す図である。

【図１４】動画処理システム７の要部構成を示す図であ
る。

【図１５】端末７２における動画検索の動作を示すフロ
ーチャートである。

【図１６】サーバー７０における動画検索の動作を示す
フローチャートである。

【図１７】変形例に係る本シーン判定の動作を説明する
ための図である。

【図１８】変形例に係る予備シーン判定の動作を説明す
るための図である。

【図１９】変形例に係る本シーン判定の動作を説明する
ための図である。

【符号の説明】

１動画処理装置３操作部４モニタ７動画処理システム９記録媒体２３、２３Ａ制御部７０サーバー７１〜７３端末

Claims

【特許請求の範囲】

【請求項１】複数のフレームで構成される動画を処理
する動画処理装置であって、 (a)所定の画像情報に関するフレームごとの変化に応じ
て前記動画に係るシーンチェンジを検出し、前記シーン
チェンジを境界としたフレーム区間を設定する設定手段
と、 (b)前記フレーム区間について、両端のフレームに挟ま
れる少なくとも１のフレームに対するシーンの特性判定
を行うシーン判定手段と、 (c)前記シーン判定手段によるシーン判定結果に基づ
き、前記フレーム区間で共通特性を表現した共通シーン
特性を決定する決定手段と、を備えることを特徴とする
動画処理装置。
【請求項２】請求項１に記載の動画処理装置におい
て、前記シーン判定手段は、前記シーンチェンジ近傍のフレ
ームを除外したフレームに対してシーンの特性判定を行
うことを特徴とする動画処理装置。
【請求項３】請求項１または請求項２に記載の動画処
理装置において、前記設定手段は、複数のフレームごと
に１回シーンチェンジを検出し、前記フレーム区間を設
定することを特徴とする動画処理装置。
【請求項４】請求項１ないし請求項３のいずれかに記
載の動画処理装置において、 (d)所定の閾値よりも短い時間間隔だけ連続し、かつそ
の前後のフレーム区間とは異なる共通シーン特性を有す
る短時間フレーム区間を検出する検出手段と、 (e)前記前後のフレーム区間の共通シーン特性が実質的
に同一である場合に、前記短時間フレーム区間の共通シ
ーン特性を、前記前後のフレーム区間の共通シーン特性
で置換する置換手段と、をさらに備えることを特徴とす
る動画処理装置。
【請求項５】請求項１ないし請求項４のいずれかに記
載の動画処理装置において、前記シーン判定手段は、３以上のフレームに対するシー
ン判定を行い、前記決定手段は、前記３以上のフレームのうち最頻のシ
ーンに基づき、前記フレーム区間に係る共通シーン特性
を決定することを特徴とする動画処理装置。
【請求項６】請求項１ないし請求項５のいずれかに記
載の動画処理装置において、 (f)前記フレーム区間に係る共通シーン特性に応じて設
定された補正係数に基づき、前記フレーム区間の各フレ
ームに対して画像補正を行う補正手段、をさらに備え、前記補正手段では、前記シーンチェンジ近傍に係るフレ
ームの補正係数を、隣接するフレーム区間の補正係数に
応じて調整することを特徴とする動画処理装置。
【請求項７】請求項１ないし請求項６のいずれかに記
載の動画処理装置において、前記所定の画像情報は、緑の色成分の情報であることを
特徴とする動画処理装置。
【請求項８】複数のフレームで構成される動画を処理
する動画処理方法であって、 (a)所定の画像情報に関するフレームごとの変化に応じ
て前記動画に係るシーンチェンジを検出し、前記シーン
チェンジを境界としたフレーム区間を設定する設定工程
と、 (b)前記フレーム区間について、両端のフレームに挟ま
れる少なくとも１のフレームに対するシーンの特性判定
を行うシーン判定工程と、 (c)前記シーン判定工程におけるシーン判定結果に基づ
き、前記フレーム区間で共通特性を表現した共通シーン
特性を決定する決定工程と、を備えることを特徴とする
動画処理方法。
【請求項９】動画処理装置に内蔵されたコンピュータ
にインストールされることにより、当該動画処理装置を
請求項１ないし請求項７のいずれかに記載の動画処理装
置として機能させるためのプログラムを記録してあるこ
とを特徴とする、コンピュータ読取り可能な記録媒体。