JP2000036966A - 動画像のカット画面グル―プ検出装置 - Google Patents
動画像のカット画面グル―プ検出装置Info
- Publication number
- JP2000036966A JP2000036966A JP11131587A JP13158799A JP2000036966A JP 2000036966 A JP2000036966 A JP 2000036966A JP 11131587 A JP11131587 A JP 11131587A JP 13158799 A JP13158799 A JP 13158799A JP 2000036966 A JP2000036966 A JP 2000036966A
- Authority
- JP
- Japan
- Prior art keywords
- cut
- screen
- color difference
- frame
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 動画像の縮小画像を用いた輝度成分の時間的
な変化および色差成分の相関の時間的な変化により、シ
ーンの切り替わりを自動的に検出するカット点検出を高
速かつ高精度に行い、また、カット画面間の色差相関値
により、カット画面のグループ化を行う。 【構成】 縮小画像処理部１は、サンプルされたフレー
ムｎ＋１の縮小画面を出力する。フレーム間輝度差分部
３は、縮小画面ｎ＋１とｎの輝度信号のフレーム間差分
Ｄn+1 を求める。色差ヒストグラム相関部４は、縮小画
面ｎ＋１とｎとの間で色差信号のヒストグラム相関値ρ
n+1 を求める。判定部５は、前記Ｄn+1 、ρn+1 、さら
にメモリ６から得られるＤn 、Ｄn-1 、ρn 、ρn-1 を
用いてフレームｎを非カット画面とカット画面の２つの
種類に分類する。判定部９は、色差ヒストグラム相関部
７の結果に基づいて、グループカット画面を判定し、出
力部１０に表示する。
な変化および色差成分の相関の時間的な変化により、シ
ーンの切り替わりを自動的に検出するカット点検出を高
速かつ高精度に行い、また、カット画面間の色差相関値
により、カット画面のグループ化を行う。 【構成】 縮小画像処理部１は、サンプルされたフレー
ムｎ＋１の縮小画面を出力する。フレーム間輝度差分部
３は、縮小画面ｎ＋１とｎの輝度信号のフレーム間差分
Ｄn+1 を求める。色差ヒストグラム相関部４は、縮小画
面ｎ＋１とｎとの間で色差信号のヒストグラム相関値ρ
n+1 を求める。判定部５は、前記Ｄn+1 、ρn+1 、さら
にメモリ６から得られるＤn 、Ｄn-1 、ρn 、ρn-1 を
用いてフレームｎを非カット画面とカット画面の２つの
種類に分類する。判定部９は、色差ヒストグラム相関部
７の結果に基づいて、グループカット画面を判定し、出
力部１０に表示する。
Description
【０００１】
【産業上の利用分野】本発明は動画像のカット画面グル
ープ検出装置に関し、特に、符号化されていない元のま
まの動画像情報あるいは符号化された動画像情報からな
る動画像の切替わり点を高速かつ高精度で検出でき、か
つ該切替わり点が同じシーンの中の切替わりであるか否
かの検出をすることのできるカット画面グループ検出装
置に関する。
ープ検出装置に関し、特に、符号化されていない元のま
まの動画像情報あるいは符号化された動画像情報からな
る動画像の切替わり点を高速かつ高精度で検出でき、か
つ該切替わり点が同じシーンの中の切替わりであるか否
かの検出をすることのできるカット画面グループ検出装
置に関する。
【０００２】
【従来の技術】従来、動画像の自動カット点検出装置に
関する技術としては、ブロックごとのカラーヒストグラ
ムの類似度を用いてカット点検出を行う技術がある（例
えば、大辻他、「フィルタを用いた映像カット点検
出」、１９９３年電子情報通信学会秋期大会 D-264, 19
93）。
関する技術としては、ブロックごとのカラーヒストグラ
ムの類似度を用いてカット点検出を行う技術がある（例
えば、大辻他、「フィルタを用いた映像カット点検
出」、１９９３年電子情報通信学会秋期大会 D-264, 19
93）。
【０００３】この従来方法においては、各フレーム間で
画素の値があるしきい値（例えば１６）以上変化した面
積を求め、その面積値が時間的に突出している場合にカ
ット画面としている。また、高精度な検出を行うため
に、フレーム内のすべての画像データを用い、さらにテ
レビ方式のＮＴＳＣ方式では、１秒間のフレーム数であ
る３０フレーム全てについて、各フレームの類似度を測
定、比較してカット点検出を行っている。
画素の値があるしきい値（例えば１６）以上変化した面
積を求め、その面積値が時間的に突出している場合にカ
ット画面としている。また、高精度な検出を行うため
に、フレーム内のすべての画像データを用い、さらにテ
レビ方式のＮＴＳＣ方式では、１秒間のフレーム数であ
る３０フレーム全てについて、各フレームの類似度を測
定、比較してカット点検出を行っている。
【０００４】なお、圧縮符号化された動画像のカット点
検出においては、一度画像を完全に復号化して元の画像
に戻してから、上記の検出作業を行うことになる。
検出においては、一度画像を完全に復号化して元の画像
に戻してから、上記の検出作業を行うことになる。
【０００５】
【発明が解決しようとする課題】上記した従来技術で
は、前述のように、フレーム内のすべての画像データを
用い、さらに全てのフレームについて、各フレームの類
似度を測定、比較してカット点の検出を行っているた
め、処理速度が遅いという問題があった。この問題を解
決するために、フレーム数を例えば１秒間に２フレーム
程度に間引くことも提案されているが、このようにする
と、急な動きが生じても画素変化面積が突出した形とな
り、誤ってカット点の検出を行ってしまうという問題が
生じた。
は、前述のように、フレーム内のすべての画像データを
用い、さらに全てのフレームについて、各フレームの類
似度を測定、比較してカット点の検出を行っているた
め、処理速度が遅いという問題があった。この問題を解
決するために、フレーム数を例えば１秒間に２フレーム
程度に間引くことも提案されているが、このようにする
と、急な動きが生じても画素変化面積が突出した形とな
り、誤ってカット点の検出を行ってしまうという問題が
生じた。
【０００６】また、圧縮符号化された動画像のカット点
検出においては、画像を完全に復元してからカット点検
出処理を開始するため、動画像再生時間とカット点検出
時間とを合わせた時間が必要となり、大量の動画像デー
タベースなどの検出には、実用上大きな制約を受けると
いう問題があった。
検出においては、画像を完全に復元してからカット点検
出処理を開始するため、動画像再生時間とカット点検出
時間とを合わせた時間が必要となり、大量の動画像デー
タベースなどの検出には、実用上大きな制約を受けると
いう問題があった。
【０００７】さらに、多量のカット点が発生している場
合、ほぼ同一内容のカットにもかかわらずアングル等の
違いにより表示されたカット画面が含まれることによ
り、動画像を高速に検索することが困難になる。
合、ほぼ同一内容のカットにもかかわらずアングル等の
違いにより表示されたカット画面が含まれることによ
り、動画像を高速に検索することが困難になる。
【０００８】本発明の目的は、前記した従来技術の問題
点を除去し、同じシーン内のカット点であると思われる
カット画面をグループ化することにより、ユーザがカッ
ト画面の検索を能率的に行うことができるカット画面グ
ループ検出装置を提供することにある。
点を除去し、同じシーン内のカット点であると思われる
カット画面をグループ化することにより、ユーザがカッ
ト画面の検索を能率的に行うことができるカット画面グ
ループ検出装置を提供することにある。
【０００９】
【課題を解決するための手段】前記した目的を達成する
ために、請求項１の発明は、動画像のカット画面グルー
プ検出装置であって、入力された動画像の画面のフレー
ム間輝度差分の時間的な変化と、該色差ヒストグラム相
関値の時間的な変化より、カット画面を判定するカット
画面判定手段と、カット画面間の色差信号ヒストグラム
相関値を求める第２の色差ヒストグラム相関演算手段
と、該カット画面間の色差信号ヒストグラム相関値か
ら、カット画面のグループの判定を行うカット画面グル
ープ判定手段とを具備した点に特徴がある。
ために、請求項１の発明は、動画像のカット画面グルー
プ検出装置であって、入力された動画像の画面のフレー
ム間輝度差分の時間的な変化と、該色差ヒストグラム相
関値の時間的な変化より、カット画面を判定するカット
画面判定手段と、カット画面間の色差信号ヒストグラム
相関値を求める第２の色差ヒストグラム相関演算手段
と、該カット画面間の色差信号ヒストグラム相関値か
ら、カット画面のグループの判定を行うカット画面グル
ープ判定手段とを具備した点に特徴がある。
【００１０】
【作用】請求項１の発明によれば、カメラアングルのみ
が変わって、同様な内容を持つカット点についてはグル
ープ化して表示することにより、能率的な動画像検索が
可能になる。
が変わって、同様な内容を持つカット点についてはグル
ープ化して表示することにより、能率的な動画像検索が
可能になる。
【００１１】
【実施例】以下に、図面を参照して、本発明を詳細に説
明する。図１は、本発明の一実施例の構成を示すブロッ
ク図である。
明する。図１は、本発明の一実施例の構成を示すブロッ
ク図である。
【００１２】図示されていないサンプリング部におい
て、連続するフレームから、任意の間隔でサンプリング
されたフレームｎ＋１は、縮小画像処理部１に入力され
る。該縮小画像処理部１では、図３(a) に示されている
ように、フレームｎ＋１を例えば８画素×８ラインのブ
ロックに分割し、分割された各ブロックに対して、同図
(b) 、(c) に示されているように、輝度信号Ｙおよび色
差信号Ｕ、Ｖの平均値が求められる。これらの平均値に
より構成される画面は縮小画面として、第１のメモリ
２、フレーム間輝度差分部３および色差ヒストグラム作
成部１１に出力される。
て、連続するフレームから、任意の間隔でサンプリング
されたフレームｎ＋１は、縮小画像処理部１に入力され
る。該縮小画像処理部１では、図３(a) に示されている
ように、フレームｎ＋１を例えば８画素×８ラインのブ
ロックに分割し、分割された各ブロックに対して、同図
(b) 、(c) に示されているように、輝度信号Ｙおよび色
差信号Ｕ、Ｖの平均値が求められる。これらの平均値に
より構成される画面は縮小画面として、第１のメモリ
２、フレーム間輝度差分部３および色差ヒストグラム作
成部１１に出力される。
【００１３】第１のメモリ２には、前回縮小画像処理部
１によって処理された縮小画面ｎが格納されている。フ
レーム間輝度差分部３では、縮小画像処理部１で求めら
れた輝度の縮小画面ｎ＋１と、第１のメモリ２から読み
出された輝度の縮小画面ｎとにより、輝度信号のフレー
ム間差分Ｄn+1 が求められる。色差ヒストグラム作成部
１１では、縮小画面ｎ＋１の色差信号のヒストグラムが
求められ、該ヒストグラムは第１のメモリ２に記憶され
ると共に、色差ヒストグラム相関部４に送られる。
１によって処理された縮小画面ｎが格納されている。フ
レーム間輝度差分部３では、縮小画像処理部１で求めら
れた輝度の縮小画面ｎ＋１と、第１のメモリ２から読み
出された輝度の縮小画面ｎとにより、輝度信号のフレー
ム間差分Ｄn+1 が求められる。色差ヒストグラム作成部
１１では、縮小画面ｎ＋１の色差信号のヒストグラムが
求められ、該ヒストグラムは第１のメモリ２に記憶され
ると共に、色差ヒストグラム相関部４に送られる。
【００１４】色差ヒストグラム相関部４では、第１のメ
モリ２から読み出された縮小画面ｎの色差信号のヒスト
グラムと、色差ヒストグラム作成部１１から入力された
縮小画面ｎ＋１の色差信号のヒストグラムとから、縮小
画面ｎとｎ＋１の色差ヒストグラム相関値ρn+1 が求め
られる。第１の判定部５では、フレーム間輝度差分部３
で得られたフレーム間輝度差分Ｄn+1 、色差ヒストグラ
ム相関部４で得られた色差ヒストグラム相関値ρn+1 、
第２のメモリ６から得られるフレーム間輝度差分Ｄn 、
Ｄn-1 、および色差ヒストグラム相関値ρn 、ρn-1 を
用いて、フレームｎを非カット画面とカット画面の２つ
の種類に分類する。
モリ２から読み出された縮小画面ｎの色差信号のヒスト
グラムと、色差ヒストグラム作成部１１から入力された
縮小画面ｎ＋１の色差信号のヒストグラムとから、縮小
画面ｎとｎ＋１の色差ヒストグラム相関値ρn+1 が求め
られる。第１の判定部５では、フレーム間輝度差分部３
で得られたフレーム間輝度差分Ｄn+1 、色差ヒストグラ
ム相関部４で得られた色差ヒストグラム相関値ρn+1 、
第２のメモリ６から得られるフレーム間輝度差分Ｄn 、
Ｄn-1 、および色差ヒストグラム相関値ρn 、ρn-1 を
用いて、フレームｎを非カット画面とカット画面の２つ
の種類に分類する。
【００１５】色差ヒストグラム相関部７では、第１の判
定部５でカット画面と判定された画面について、その画
面の色差ヒストグラム行列と第３のメモリ８に格納され
ている前カット画面の色差ヒストグラム行列とを用い
て、カット画面間色差ヒストグラム相関値ρc を求め
る。第２の判定部９では、該カット画面間色差ヒストグ
ラム相関値ρc の値により、グループカット画面と独立
カット画面に分類し、出力部１０では、グループカット
画面、独立カット画面、あるいはそれを示すデータなど
を出力する。なお、前記第１の判定部５で非カット画面
と判定された時、あるいは第２の判定部９でカット画面
と判定されてグループカット画面や独立カット画面等が
出力部１０から出力された後は、次の入力画面の処理に
移る。１２は、前記した各処理部の処理を制御する制御
部である。図１では、説明を簡単にするために、該制御
部１２の動作の一部である第１〜第３メモリへのデータ
格納制御に必要なラインのみが表記されている。
定部５でカット画面と判定された画面について、その画
面の色差ヒストグラム行列と第３のメモリ８に格納され
ている前カット画面の色差ヒストグラム行列とを用い
て、カット画面間色差ヒストグラム相関値ρc を求め
る。第２の判定部９では、該カット画面間色差ヒストグ
ラム相関値ρc の値により、グループカット画面と独立
カット画面に分類し、出力部１０では、グループカット
画面、独立カット画面、あるいはそれを示すデータなど
を出力する。なお、前記第１の判定部５で非カット画面
と判定された時、あるいは第２の判定部９でカット画面
と判定されてグループカット画面や独立カット画面等が
出力部１０から出力された後は、次の入力画面の処理に
移る。１２は、前記した各処理部の処理を制御する制御
部である。図１では、説明を簡単にするために、該制御
部１２の動作の一部である第１〜第３メモリへのデータ
格納制御に必要なラインのみが表記されている。
【００１６】図２は、制御部１２の第１〜第３メモリへ
のデータ格納制御の動作を主に示すフローチャートであ
る。ステップＳ１では、制御部１２は、フレームｎがカ
ット画面であるか否かの判断をする。この判断は、出力
装置１０からフレームｎがカット画面であるという情報
を得、また第１の判定部５からフレームｎが非カット画
面であるという情報を得ることにより行う。ステップＳ
１の判断が肯定の時にはステップＳ２に進んで、制御部
１２は、第３のメモリ８をクリアし、第１のメモリ２か
らフレームｎの色差ヒストグラムデータを転送する。ス
テップＳ１の判断が否定の時、またはステップＳ２の処
理が終了すると、ステップＳ３に進む。
のデータ格納制御の動作を主に示すフローチャートであ
る。ステップＳ１では、制御部１２は、フレームｎがカ
ット画面であるか否かの判断をする。この判断は、出力
装置１０からフレームｎがカット画面であるという情報
を得、また第１の判定部５からフレームｎが非カット画
面であるという情報を得ることにより行う。ステップＳ
１の判断が肯定の時にはステップＳ２に進んで、制御部
１２は、第３のメモリ８をクリアし、第１のメモリ２か
らフレームｎの色差ヒストグラムデータを転送する。ス
テップＳ１の判断が否定の時、またはステップＳ２の処
理が終了すると、ステップＳ３に進む。
【００１７】ステップＳ３では、第１のメモリ２のフレ
ームｎ−１の輝度縮小画像をクリアし、縮小画像処理部
１からフレームｎ＋１の輝度縮小画像を転送する。次
に、ステップＳ４では、第１のメモリ２のフレームｎ−
１の色差ヒストグラムデータＨn-1,j,k をクリアし、色
差ヒストグラム作成部１１からフレームｎ＋１の色差ヒ
ストグラムデータＨn+1,j,k を転送する。したがって、
この時点で、第１のメモリ２には、フレームｎおよびｎ
＋１の輝度縮小画像と色差ヒストグラムデータが格納さ
れていることになる。
ームｎ−１の輝度縮小画像をクリアし、縮小画像処理部
１からフレームｎ＋１の輝度縮小画像を転送する。次
に、ステップＳ４では、第１のメモリ２のフレームｎ−
１の色差ヒストグラムデータＨn-1,j,k をクリアし、色
差ヒストグラム作成部１１からフレームｎ＋１の色差ヒ
ストグラムデータＨn+1,j,k を転送する。したがって、
この時点で、第１のメモリ２には、フレームｎおよびｎ
＋１の輝度縮小画像と色差ヒストグラムデータが格納さ
れていることになる。
【００１８】次に、ステップＳ５では、第２のメモリ６
中のフレームｎ−１での色差ヒストグラム相関値ρn-1
、フレーム間輝度差分値Ｄn-1 をクリアし、色差ヒス
トグラム相関部からフレームｎ＋１での色差ヒストグラ
ム相関値ρn+1 を転送し、またフレーム間輝度差分部３
からフレームｎ＋１でのフレーム間輝度差分値Ｄn+1 を
転送する。したがって、この時点で、第２のメモリ６に
は、フレームｎ、ｎ＋１での色差ヒストグラム相関値と
フレーム間輝度差分値とが格納されていることになる。
中のフレームｎ−１での色差ヒストグラム相関値ρn-1
、フレーム間輝度差分値Ｄn-1 をクリアし、色差ヒス
トグラム相関部からフレームｎ＋１での色差ヒストグラ
ム相関値ρn+1 を転送し、またフレーム間輝度差分部３
からフレームｎ＋１でのフレーム間輝度差分値Ｄn+1 を
転送する。したがって、この時点で、第２のメモリ６に
は、フレームｎ、ｎ＋１での色差ヒストグラム相関値と
フレーム間輝度差分値とが格納されていることになる。
【００１９】ステップＳ６では、カット画面検出の処理
が終了したか否かの判断がなされ、この判断が否定の場
合には、ステップＳ７に進んで、縮小画像処理部１に新
しいサンプルフレームｎ＋２を入力する。そして、ステ
ップＳ８において、フレームｎ＋１のカット画面検出、
およびカット画面グループ検出の処理が実行される。こ
の処理は、前記第１〜３のメモリに格納されたデータ
と、前記サンプルフレームｎ＋２から得られた輝度縮小
画像と色差ヒストグラムデータを用いて行われる。この
処理の詳細は、後述する。ステップＳ９では、ｎが１イ
ンクリメントされる。
が終了したか否かの判断がなされ、この判断が否定の場
合には、ステップＳ７に進んで、縮小画像処理部１に新
しいサンプルフレームｎ＋２を入力する。そして、ステ
ップＳ８において、フレームｎ＋１のカット画面検出、
およびカット画面グループ検出の処理が実行される。こ
の処理は、前記第１〜３のメモリに格納されたデータ
と、前記サンプルフレームｎ＋２から得られた輝度縮小
画像と色差ヒストグラムデータを用いて行われる。この
処理の詳細は、後述する。ステップＳ９では、ｎが１イ
ンクリメントされる。
【００２０】次に、本実施例の動作、特に前記ステップ
Ｓ８の動作を詳細に説明する。まず、縮小画像処理１の
動作を図３を参照して説明する。縮小画像処理部１は、
例えば入力フレーム画面を、同図(a) に示されているよ
うに、８画素×８ラインのブロックに分割し、同図(b)
、(c) に示されているように、画面内の各ブロックに
対して、輝度Ｙおよび色差Ｕ、Ｖの平均値を求める。こ
の平均値の求め方の一例としては、各ブロック内の輝度
および色差データの総和を求め、これをデータ数で割る
方法がある。また、入力情報が、ブロックデータを８×
８の２次元ＤＣＴ変換した符号化された動画像情報であ
った場合には、前記平均値として、２次元ＤＣＴ変換の
（０，０）成分を８で割った値などを用いることが可能
である。
Ｓ８の動作を詳細に説明する。まず、縮小画像処理１の
動作を図３を参照して説明する。縮小画像処理部１は、
例えば入力フレーム画面を、同図(a) に示されているよ
うに、８画素×８ラインのブロックに分割し、同図(b)
、(c) に示されているように、画面内の各ブロックに
対して、輝度Ｙおよび色差Ｕ、Ｖの平均値を求める。こ
の平均値の求め方の一例としては、各ブロック内の輝度
および色差データの総和を求め、これをデータ数で割る
方法がある。また、入力情報が、ブロックデータを８×
８の２次元ＤＣＴ変換した符号化された動画像情報であ
った場合には、前記平均値として、２次元ＤＣＴ変換の
（０，０）成分を８で割った値などを用いることが可能
である。
【００２１】フレーム間輝度差分部３では、縮小画像処
理部１で得られたフレームｎ＋１と第１のメモリ２から
得られるフレームｎの輝度の縮小画像を用いて、フレー
ム間輝度差分Ｄn+1 が求められる。Ｄn+1 は以下の式を
用いて求めることが可能である。
理部１で得られたフレームｎ＋１と第１のメモリ２から
得られるフレームｎの輝度の縮小画像を用いて、フレー
ム間輝度差分Ｄn+1 が求められる。Ｄn+1 は以下の式を
用いて求めることが可能である。
【００２２】 Ｄn+1 ＝Σ｜ＤＹi,n+1 −ＤＹi,n ｜, i = 1,...,T …（１） ただし、ＤＹは輝度のブロック平均値を示す。また、Ｔ
は総ブロック数、ｉはブロック番号、ｎ＋１、ｎはフレ
ーム番号を示す。
は総ブロック数、ｉはブロック番号、ｎ＋１、ｎはフレ
ーム番号を示す。
【００２３】色差ヒストグラム作成部１１では、色差信
号Ｕ, Ｖの縮小画面においてＵ, Ｖ＝１２８を中心に±
θ範囲を２m 分割し、ヒストグラムＨn,j,k をとる。こ
こで、ｎはフレーム番号、ｊ＝１... ２m-1 、ｋ＝
１... ２m-1 はそれぞれＵ, Ｖの領域番号である。図４
に示されているように、例えば８分割の場合、ｍ＝３と
なり、ｊ＝１、ｋ＝１の場合については、ヒストグラム
Ｈn,1,1 は、１２８−θ≦ＤＵ＜１２８−３θ／４かつ
１２８−θ≦ＤＶ＜１２８−３θ／４となるブロックの
個数を示す。ただし、ＤＵ、ＤＶは色差のブロック平均
値である。このようにして求められたＨn,j,k は２ｍ×
２ｍの色差ヒストグラム行列になる。ｍ＝３の場合のＨ
n,j,k を図５に示す。
号Ｕ, Ｖの縮小画面においてＵ, Ｖ＝１２８を中心に±
θ範囲を２m 分割し、ヒストグラムＨn,j,k をとる。こ
こで、ｎはフレーム番号、ｊ＝１... ２m-1 、ｋ＝
１... ２m-1 はそれぞれＵ, Ｖの領域番号である。図４
に示されているように、例えば８分割の場合、ｍ＝３と
なり、ｊ＝１、ｋ＝１の場合については、ヒストグラム
Ｈn,1,1 は、１２８−θ≦ＤＵ＜１２８−３θ／４かつ
１２８−θ≦ＤＶ＜１２８−３θ／４となるブロックの
個数を示す。ただし、ＤＵ、ＤＶは色差のブロック平均
値である。このようにして求められたＨn,j,k は２ｍ×
２ｍの色差ヒストグラム行列になる。ｍ＝３の場合のＨ
n,j,k を図５に示す。
【００２４】色差ヒストグラム相関部４では、色差ヒス
トグラム作成部１１から得られるフレームｎ＋１ヒスト
グラム行列と、第１のメモリ２から得られるフレームｎ
ヒストグラム行列とから、フレームｎ＋１の色差ヒスト
グラム行列の相関ρn+1 を求める。該色差ヒストグラム
行列の相関ρn+1 は、次の（１）式を用いて計算するこ
とができる。
トグラム作成部１１から得られるフレームｎ＋１ヒスト
グラム行列と、第１のメモリ２から得られるフレームｎ
ヒストグラム行列とから、フレームｎ＋１の色差ヒスト
グラム行列の相関ρn+1 を求める。該色差ヒストグラム
行列の相関ρn+1 は、次の（１）式を用いて計算するこ
とができる。
【００２５】 ρn+1 ＝ ＣＣn+1 ／（ＡＣn+1 x ＡＣn ）1/2 …（１） ただし、
【００２６】
【数１】 第１の判定部５では、フレーム間輝度差分部３から得ら
れるフレーム間輝度差分値Ｄn+1 、第２のメモリ６から
得られるそれぞれフレームｎ、フレームｎ−１のフレー
ム間輝度差分値Ｄn 、Ｄn-1 、およびヒストグラム相関
値ρn 、ρn-1、ならびに、色差ヒストグラム相関部４
から得られる色差ヒストグラム相関値ρn+1 から、フレ
ームｎ−１、ｎ、ｎ＋１の時間的な変化を調べ、フレー
ムｎがカット画面であるか非カット画面であるかの識別
をする。なお、この時、第２のメモリ６に、フレーム
ｎ、フレームｎ−１のフレーム間輝度差分値Ｄn 、Ｄn-
1 、およびヒストグラム相関値ρn 、ρn-1 が記憶され
ていることは、図２の説明から明らかである。
れるフレーム間輝度差分値Ｄn+1 、第２のメモリ６から
得られるそれぞれフレームｎ、フレームｎ−１のフレー
ム間輝度差分値Ｄn 、Ｄn-1 、およびヒストグラム相関
値ρn 、ρn-1、ならびに、色差ヒストグラム相関部４
から得られる色差ヒストグラム相関値ρn+1 から、フレ
ームｎ−１、ｎ、ｎ＋１の時間的な変化を調べ、フレー
ムｎがカット画面であるか非カット画面であるかの識別
をする。なお、この時、第２のメモリ６に、フレーム
ｎ、フレームｎ−１のフレーム間輝度差分値Ｄn 、Ｄn-
1 、およびヒストグラム相関値ρn 、ρn-1 が記憶され
ていることは、図２の説明から明らかである。
【００２７】カット画面の判定はまずカット点検出に関
連のない雑音除去のために、 Ｄn ＞Ｔ０…（５） となる画面に対して、以下の３つの場合に分けて判定を
行う。判定の順序は、まず（１）の判定を行い、この判
定で非カット点と判定されたものについては、さらに
（２）、（３）の判定を行う。（２）、（３）の判定の
順序は、いずれが先でもよい。
連のない雑音除去のために、 Ｄn ＞Ｔ０…（５） となる画面に対して、以下の３つの場合に分けて判定を
行う。判定の順序は、まず（１）の判定を行い、この判
定で非カット点と判定されたものについては、さらに
（２）、（３）の判定を行う。（２）、（３）の判定の
順序は、いずれが先でもよい。
【００２８】（１）フレーム間輝度差分値と色差ヒスト
グラム相関値の時間変化によるカット点検出 急なズーミングなどでは、フレーム間輝度差分値は大き
なピークとなり、カット点と誤検出する。このような誤
検出を避けるために、フレーム間輝度差分値が時間的に
上に凸なピークを持ち、かつ色差ヒストグラム相関値が
時間的に下に凸なピークを持つ場合、図６（ａ）、
（ｂ）のように、フレーム間輝度差分値と色差ヒストグ
ラム相関値が、下記の式（６）と（７）を満足する場
合、カット点と判定する。
グラム相関値の時間変化によるカット点検出 急なズーミングなどでは、フレーム間輝度差分値は大き
なピークとなり、カット点と誤検出する。このような誤
検出を避けるために、フレーム間輝度差分値が時間的に
上に凸なピークを持ち、かつ色差ヒストグラム相関値が
時間的に下に凸なピークを持つ場合、図６（ａ）、
（ｂ）のように、フレーム間輝度差分値と色差ヒストグ
ラム相関値が、下記の式（６）と（７）を満足する場
合、カット点と判定する。
【００２９】 βＤn ＞Ｄn-1 かつβＤn ＞Ｄn+1 …（６） かつ ρn ＋γ＜ρn-1 かつρn ＋γ＜ρn+1 …（７） （２）フレーム間輝度差分の時間変化によるカット点検
出 カメラのアングルが異なる場合等でのシーン切り替わり
点では、背景はあまり変わらないが、フレーム間輝度差
分Ｄn は時間的に大きなピークを持つ。このため、フレ
ーム間輝度差分が下記の式（８）または（９）を満足す
る場合、カット点と判定する。
出 カメラのアングルが異なる場合等でのシーン切り替わり
点では、背景はあまり変わらないが、フレーム間輝度差
分Ｄn は時間的に大きなピークを持つ。このため、フレ
ーム間輝度差分が下記の式（８）または（９）を満足す
る場合、カット点と判定する。
【００３０】 Ｄn − Ｔ１ ＞Ｄn-1 、かつＤn − Ｔ１ ＞Ｄn+1 …（８） または Ｄn ＞αＤn-1 、かつＤn ＞αＤn+1 …（９） ここに、０＜α＜１ （３）色差ヒストグラム相関値によるカット点検出 短い周期でシーンが変化する場合、サンプルされた画面
が連続的にカット点となり、フレーム間輝度差分値も連
続的に高い値となり、大きなピークとはならない。しか
しながら、色差ヒストグラム相関値はカット点で非常に
小さな値となる。このため、色差ヒストグラム相関値が
下記の式（１０）を満足する場合、カット点と判定す
る。 ρn ＜ Ｔ２…（１０） なお、上記（１）〜（３）の判定時に、第２のメモリ６
には、フレームｎ、ｎ−１でのフレーム間輝度差分値Ｄ
n 、Ｄn-1 、色差ヒストグラム相関値ρn 、ρn-1 が格
納されていることは、前記図２の説明により明らかであ
る。
が連続的にカット点となり、フレーム間輝度差分値も連
続的に高い値となり、大きなピークとはならない。しか
しながら、色差ヒストグラム相関値はカット点で非常に
小さな値となる。このため、色差ヒストグラム相関値が
下記の式（１０）を満足する場合、カット点と判定す
る。 ρn ＜ Ｔ２…（１０） なお、上記（１）〜（３）の判定時に、第２のメモリ６
には、フレームｎ、ｎ−１でのフレーム間輝度差分値Ｄ
n 、Ｄn-1 、色差ヒストグラム相関値ρn 、ρn-1 が格
納されていることは、前記図２の説明により明らかであ
る。
【００３１】色差ヒストグラム相関部７では、第３のメ
モリ８に格納されている、前カット画面での色差ヒスト
グラム行列Ｈc,j,k と、第１のメモリ２に格納されてい
るフレームｎの色差ヒストグラム行列Ｈn,j,k から、カ
ット画面間色差ヒストグラム行列の相関値ρc を以下の
式を用いて計算する。
モリ８に格納されている、前カット画面での色差ヒスト
グラム行列Ｈc,j,k と、第１のメモリ２に格納されてい
るフレームｎの色差ヒストグラム行列Ｈn,j,k から、カ
ット画面間色差ヒストグラム行列の相関値ρc を以下の
式を用いて計算する。
【００３２】 ρc ＝ＣＣc ／（ＡＣn x ＡＣc ）1/2 …（１１） ただし、
【００３３】
【数２】 なお、この時、第３のメモリ８には、フレームｎ−１の
前カット画面での色差ヒストグラム行列Ｈc,j,k が格納
されていることは、前記図２の説明から明らかである。
前カット画面での色差ヒストグラム行列Ｈc,j,k が格納
されていることは、前記図２の説明から明らかである。
【００３４】第２の判定部９では、色差ヒストグラム相
関部７で得られた相関値ρc により、カット画面間のグ
ループ判定を行う。背景がほぼ同様な場合、色差信号の
カット画面間での相関値は高いため、式（１５）が満足
される時、同一グループのカット点と判定する。 ρc ＞Ｔ３…（１５） 出力部１０では、カット画面と判定された画面のみを図
７（ａ）のようにディスプレー上に表示することができ
る。また、同一グループと判定されたカット画面につい
ては、同図（ｂ）のように、同一グループ内で最初に検
出されたカット画面の下に子画面の形式で表示すること
により、カット画面のグループを判別することができ
る。また、この表示形式によれば、１画面内に、多数の
カット画面を表示することができるので、ユーザはカッ
ト画面の検索が容易になると共に、その検索速度を向上
することができる。なお、図中の（１）〜（ｎ）は、カ
ット画面の番号を示している。
関部７で得られた相関値ρc により、カット画面間のグ
ループ判定を行う。背景がほぼ同様な場合、色差信号の
カット画面間での相関値は高いため、式（１５）が満足
される時、同一グループのカット点と判定する。 ρc ＞Ｔ３…（１５） 出力部１０では、カット画面と判定された画面のみを図
７（ａ）のようにディスプレー上に表示することができ
る。また、同一グループと判定されたカット画面につい
ては、同図（ｂ）のように、同一グループ内で最初に検
出されたカット画面の下に子画面の形式で表示すること
により、カット画面のグループを判別することができ
る。また、この表示形式によれば、１画面内に、多数の
カット画面を表示することができるので、ユーザはカッ
ト画面の検索が容易になると共に、その検索速度を向上
することができる。なお、図中の（１）〜（ｎ）は、カ
ット画面の番号を示している。
【００３５】本発明の実施にあたっては、種々の変形形
態が可能である。例えば、縮小画面を求める際の平均値
計算については、８画素×８ラインのブロックに限ら
ず、１６画素×１６ラインや４画素×４ラインなど種々
のサイズが適応可能である。
態が可能である。例えば、縮小画面を求める際の平均値
計算については、８画素×８ラインのブロックに限ら
ず、１６画素×１６ラインや４画素×４ラインなど種々
のサイズが適応可能である。
【００３６】さらに、高速性が要求される場合には、上
記条件式（６）〜（１０）のうちのいくつかを選択して
用いて高速化を図ることが可能である。ただし、この場
合、カット画面の未検出や誤検出が多くなることが予想
される。
記条件式（６）〜（１０）のうちのいくつかを選択して
用いて高速化を図ることが可能である。ただし、この場
合、カット画面の未検出や誤検出が多くなることが予想
される。
【００３７】また、カット画面と判定された画面をカッ
ト検出ファイルとして蓄積することにより、後でファイ
ルからカット画面のみを復元、出力することも可能であ
る。
ト検出ファイルとして蓄積することにより、後でファイ
ルからカット画面のみを復元、出力することも可能であ
る。
【００３８】また、同一グル―プを示すフラグを付加す
ることにより、同一グル―プ内のカット画面かどうかを
識別して表示することも可能である。
ることにより、同一グル―プ内のカット画面かどうかを
識別して表示することも可能である。
【００３９】また、種々のパラメータＴ０〜Ｔ３, α、
β、γ、θ、ｍ、を変更することにより、未検出や過剰
検出の割合を制御することが可能である。
β、γ、θ、ｍ、を変更することにより、未検出や過剰
検出の割合を制御することが可能である。
【００４０】なお、各パラメータの一例として、以下の
値を用いることができる。Ｔ０＝１０Ｔ、Ｔ１＝２２
Ｔ、Ｔ２＝０. ６、Ｔ３＝０. ８５、α＝０. ２、β＝
０. ７５、γ＝０、θ＝３２、ｍ＝３。ただし、Ｔは画
面中の輝度信号の総ブロック数である。
値を用いることができる。Ｔ０＝１０Ｔ、Ｔ１＝２２
Ｔ、Ｔ２＝０. ６、Ｔ３＝０. ８５、α＝０. ２、β＝
０. ７５、γ＝０、θ＝３２、ｍ＝３。ただし、Ｔは画
面中の輝度信号の総ブロック数である。
【００４１】
【発明の効果】請求項１〜３の発明によれば、カメラア
ングルのみが変わって、同様な内容を持つカット点につ
いては、同じシーンのカット点であると判断できる効
果、これらのカット画面をグループ化して表示すること
ができる効果、および該表示により、能率的な動画像検
索が可能になるという効果がある。
ングルのみが変わって、同様な内容を持つカット点につ
いては、同じシーンのカット点であると判断できる効
果、これらのカット画面をグループ化して表示すること
ができる効果、および該表示により、能率的な動画像検
索が可能になるという効果がある。
【図１】 本発明の一実施例の動画像のカット画面グル
ープ検出装置の構成を示すブロック図である。
ープ検出装置の構成を示すブロック図である。
【図２】 図１の制御装置の動作の一部を示すフローチ
ャートである。
ャートである。
【図３】 図１の縮小画像処理部の動作の説明図であ
る。
る。
【図４】 色差ヒストグラム行列Ｈn,j,k の説明図であ
る。
る。
【図５】 色差ヒストグラム行列Ｈn,j,k の説明図であ
る。
る。
【図６】 図１の第１の判定部の動作の一部を示す説明
図である。
図である。
【図７】 図１の出力部の画面に表示される表示例を示
す図である。
す図である。
１…縮小画像処理部、２…第１のメモリ、３…フレーム
間輝度差分部、４…色差ヒストグラム相関部、５…第１
の判定部、６…第２のメモリ、７…色差ヒストグラム相
関部、８…第３のメモリ、９…第２の判定部、１０…出
力部、１１…色差ヒストグラム作成部、１２…制御部。
間輝度差分部、４…色差ヒストグラム相関部、５…第１
の判定部、６…第２のメモリ、７…色差ヒストグラム相
関部、８…第３のメモリ、９…第２の判定部、１０…出
力部、１１…色差ヒストグラム作成部、１２…制御部。
Claims (3)
- 【請求項１】 動画像のカット画面グループ検出装置に
おいて、 入力された動画像の画面のフレーム間輝度差分の時間的
な変化と、該色差ヒストグラム相関値の時間的な変化よ
り、カット画面を判定するカット画面判定手段と、 カット画面間の色差信号ヒストグラム相関値を求める第
２の色差ヒストグラム相関演算手段と、 該カット画面間の色差信号ヒストグラム相関値から、カ
ット画面のグループの判定を行うカット画面グループ判
定手段とを具備したことを特徴とする動画像のカット画
面グループ検出装置。 - 【請求項２】 請求項１の動画像のカット画面グループ
検出装置において、 前記カット画面グループ判定手段は、前記第２の色差ヒ
ストグラム相関演算手段手段によって求められたカット
画面間の色差信号ヒストグラム相関値が予め定められた
値より大きい時に、同一グループのカット画面と判定す
ることを特徴とする動画像のカット画面グループ検出装
置。 - 【請求項３】 請求項１の動画像のカット画面グループ
検出装置において、 同一グループと判定されたカット画面は、同一グループ
内で最初に検出されたカット画面と連結して、またはそ
の近辺に子画面の形式で表示するようにしたことを特徴
とする動画像のカット画面グループ検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13158799A JP3126961B2 (ja) | 1999-05-12 | 1999-05-12 | 動画像のカット画面グループ検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13158799A JP3126961B2 (ja) | 1999-05-12 | 1999-05-12 | 動画像のカット画面グループ検出装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4656194A Division JP2971724B2 (ja) | 1993-08-10 | 1994-02-22 | 動画像のカット点検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000036966A true JP2000036966A (ja) | 2000-02-02 |
| JP3126961B2 JP3126961B2 (ja) | 2001-01-22 |
Family
ID=15061552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13158799A Expired - Fee Related JP3126961B2 (ja) | 1999-05-12 | 1999-05-12 | 動画像のカット画面グループ検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3126961B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082794A (ko) * | 2002-04-18 | 2003-10-23 | 엘지전자 주식회사 | 비디오 부호화기의 장면전환 검출 방법 및 장치 |
| WO2004098177A1 (en) * | 2003-04-30 | 2004-11-11 | Matsushita Electric Industrial Co. Ltd. | Equipment and method for detecting commrcial automately |
| CN116728291A (zh) * | 2023-08-16 | 2023-09-12 | 湖南大学 | 基于边缘计算的机器人打磨系统状态监测方法和装置 |
-
1999
- 1999-05-12 JP JP13158799A patent/JP3126961B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082794A (ko) * | 2002-04-18 | 2003-10-23 | 엘지전자 주식회사 | 비디오 부호화기의 장면전환 검출 방법 및 장치 |
| WO2004098177A1 (en) * | 2003-04-30 | 2004-11-11 | Matsushita Electric Industrial Co. Ltd. | Equipment and method for detecting commrcial automately |
| CN116728291A (zh) * | 2023-08-16 | 2023-09-12 | 湖南大学 | 基于边缘计算的机器人打磨系统状态监测方法和装置 |
| CN116728291B (zh) * | 2023-08-16 | 2023-10-31 | 湖南大学 | 基于边缘计算的机器人打磨系统状态监测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3126961B2 (ja) | 2001-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| KR100591470B1 (ko) | 비디오 시퀀스의 변환 검출 | |
| US20010021268A1 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
| US20050232588A1 (en) | Video processing device | |
| KR20090006861A (ko) | 영상의 특수 효과 검출 장치, 특수 효과 검출 방법, 특수 효과 검출 프로그램을 저장한 기록 매체 및 영상 재생 장치 | |
| JP2000299816A (ja) | ビデオセグメンテーションシステム | |
| JP2002271795A (ja) | 画像符号化方法と装置および画像復号方法と装置 | |
| US20040105015A1 (en) | Image processing device and image processing program | |
| JP2971724B2 (ja) | 動画像のカット点検出装置 | |
| JPH06152970A (ja) | 画像圧縮方法及び画像処理装置 | |
| US5900948A (en) | Image processing apparatus and method | |
| JP3126961B2 (ja) | 動画像のカット画面グループ検出装置 | |
| JP2978039B2 (ja) | 動画像のカット画面検出方法 | |
| CN110210283B (zh) | 一种基于换装应用的图像处理方法和系统 | |
| JP3327520B2 (ja) | Ｎｇ警告機能付き撮影方法、ｎｇ警告機能付き撮影装置および撮影プログラムを記録した記録媒体 | |
| JP3534592B2 (ja) | 代表画像生成装置 | |
| JP2004312584A (ja) | 画像処理方法および画像表示システム | |
| JPH10155139A (ja) | 画像処理装置および画像処理方法 | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| JP3609236B2 (ja) | 映像テロップ検出方法および装置 | |
| JP3067043B2 (ja) | 動画のカット自動分割方法 | |
| KR20100118811A (ko) | 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어 | |
| JPH0750815A (ja) | 動き補正画像処理方式 | |
| KR100487374B1 (ko) | 디지털 비디오의 썸네일 영상 생성 장치 | |
| JP2677224B2 (ja) | 画像取り込み装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |