JP2012156981A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2012156981A JP2012156981A JP2011241099A JP2011241099A JP2012156981A JP 2012156981 A JP2012156981 A JP 2012156981A JP 2011241099 A JP2011241099 A JP 2011241099A JP 2011241099 A JP2011241099 A JP 2011241099A JP 2012156981 A JP2012156981 A JP 2012156981A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- frame
- motion vector
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明の画像処理装置は、入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、フレームのブロック毎に、そのフレームを含む第1期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、フレーム毎に、大きさが第1の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、算出された積算静止量が第1の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、を有する。
【選択図】図1
Description
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記フレームのブロック毎に、そのフレームを含む第1期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
前記フレーム毎に、大きさが第1の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、
算出された前記積算静止量が第1の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする。
入力された動画データから所望のシーンの動画データを抽出する画像処理方法であって
、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出するステップと、
前記フレームのブロック毎に、そのフレームを含む第1期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出するステップと、
前記フレーム毎に、大きさが第1の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出するステップと、
算出された前記積算静止量が第1の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出するステップと、
を有することを特徴とする。
入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
大きさが第1の所定値以下の積算動きベクトルの数が第1の閾値以上の前記所定期間分のフレーム群を所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする。
以下、図1〜8を用いて、本発明の実施例1に係る画像処理装置及び該画像処理装置により実行される画像処理方法について説明する。
図1は、実施例1に係る画像処理装置の機能構成の一例を示すブロック図である。
画像処理装置100は、色空間変換部101、遅延部102、記録条件解析部103、APL検出部104、動きベクトル検出部105、積算動きベクトル算出部106、動き量算出部107、観賞用動画判定部108、観賞用動画記録判定部109などを有する。これらの構成要素はバスで接続されている。画像処理装置100は、記録部110、記録条件入力部111、及び、表示部112と無線または有線で通信可能に構成されている。
動画データは、MPEG等の圧縮された動画データ、もしくは、RAW動画データである。RAW動画データは、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサから得られた動画データである。
本実施例では、画像処理装置には、記録媒体に記録された動画データ(記録部110または他の装置によって記録された動画データ)が入力される。そして、ユーザによって入力された記録条件に従って、入力された動画データから所望のシーンの動画データとして視聴者に高い臨場感を感じさせることのできる観賞用動画シーンの動画データを抽出する。
まず、記録条件入力部111から画像処理装置100に記録条件が入力される。記録条件入力部111はリモートコントローラ等である。具体的には、ユーザが記録条件入力部111を操作することにより、記録部110(記録媒体)に記録されている動画データから、観賞用動画シーンの動画データの抽出対象とする動画データ(対象動画データ)が選択される。また、抽出する観賞用動画シーンの動画データの時間長(観賞用動画シーン時間長)、数(観賞用動画シーン数)、記録方法などが選択される。それにより、対象動画データ、観賞用動画シーン時間長、観賞用動画シーン数、記録方法などの情報が、記録条件として入力される。
記録条件解析部103は、入力された記録条件を解析し、記録部110から動画データを読み出す制御をしたり、解析した記録条件を観賞用動画判定部108へ送信したりする。
色空間変換部101は、入力された動画データがRGBデータである場合には、カラーマトリクス演算により、入力された動画データを輝度信号(Y)と色差信号(Cb/Cr)に変換する。入力された動画データがYCbCrデータである場合には、入力された動画データをそのまま後段へ出力する。輝度信号(Y)はAPL(Average Picture Level:平均輝度レベル)や動きベクトルを検出するのに使用される。
用いて、現在のフレームのブロック毎に動きベクトルを検出する。検出された動きベクトルは不図示のSRAMやフレームメモリに保持される。動きベクトルは、フレームの画像を複数のブロックに分割し、ブロック毎にフレーム間の相関を求めて検出する方法(即ち、ブロックマッチング法)などの一般的な手法を用いて検出される。そして、動きベクトル検出部105は、フレーム毎に、動きベクトルのヒストグラム(フレーム単位動きベクトルヒストグラム)を作成する(図3)。
なお、ブロックの大きさはどのような大きさであってもよい。1画素分の大きさであってもよい。即ち、画素毎に動きベクトルが検出されてもよい。例えば、Full Search(全
検索)またはExhaustive Search(徹底検索)と呼ばれる手法で、愚直に、一定の検索範囲を画素単位で左上から右下まで一つずつ調べて、SAD(差分絶対和)が最小となる位置を動きベクトルとして採用する手法を用いても良い。また、最初に粗く検索して、段々とより詳細なレベルで動きベクトルを探していくステップサーチと呼ばれる手法や、螺旋順に段々と範囲を広げながら動きベクトルを検索していくスパイラルサーチと呼ばれる手法を用いてもよい。
なお、ブロックマッチング法によりブロック毎の動きベクトルを検出し、ブロック内の各画素にそのブロックの動きベクトルを割り当ててもよい。また、ブロックマッチング法によりブロック毎の動きベクトルを検出し、ブロック内の代表画素(例えば、ブロックの中心の画素)にそのブロックの動きベクトル割り当ててもよい。その場合には、各画素の動きベクトルを参照する際に、ブロックの代表画素に割り当てられた動きベクトルを、そのブロック内の各画素の動きベクトルとして参照すればよい。
そして、積算動きベクトル算出部106は、フレーム毎に、積算動きベクトルのヒストグラム(積算動きベクトルヒストグラム)を作成する。第1期間分の動きベクトルを足し合わせることで、木の葉のざわめき、水面のゆれといったランダム性や周期性がある動きを排除することができる。具体的には、図2に示すように、動きにランダム性や周期性のある部分における第1期間分の動きベクトルの積算値はほぼ0となる。なお、第1期間は、ランダム性や周期性のある動きを排除することができる期間であればよく、メーカーやユーザによって適宜設定される。
レーム単位動き量から入力された動画データのシーンが観賞用動画シーンか否かを判定する。
なお、ここでは、以下の記録条件が入力(設定)されたものとする。記録時間は、対象動画データの時間長を意味する。
(記録条件)
対象動画データ:動画データX(記録時間30秒)
観賞用動画シーン数:1シーン以上
観賞用動画シーン時間長:10秒
記録方法:元の動画データに観賞用動画フラグを付加
図5(A)の例では、シーンA1とシーンA3の動画データが観賞用動画シーンの動画データとして抽出される。第1の閾値は、積算静止量が観賞用動画シーンの静止量として適切か否かを判断することのできる値であればよく、メーカーやユーザによって適宜設定される。
なお、本実施例では抽出される観賞用動画シーンの時間長を固定(第2期間の長さ)としたが、観賞用動画シーンの時間長は変動してもよい。例えば、上記の方法で積算静止量が第1の閾値以上のフレームを第1の割合以上含むフレーム群からなるシーンを検出した後、積算静止量が第1の閾値以上のフレームを第1の割合だけ含むように、検出したシーンの時間長を長くしてもよい。
3の動画データ)のうち、フレーム単位動き量が第3の閾値以下のフレームを所定の割合(第2の割合)以上含むフレーム群からなる動画データに絞り込む。本実施例では、観賞用動画シーンの動画データが、フレーム単位動き量が第3の閾値以下のフレーム群からなる動画データに絞り込まれるものとする。それにより、動きが大きい部分を多く含む動画データが、観賞用動画シーンの動画データから除外される。
周期的だが大きい動きは、積算動きベクトルには現れない。そのため、そのような動きを多く含む動画データ、例えば、時計の振り子がアップされているシーンの動画データは、積算動きベクトルを用いた判断だけでは、観賞用動画シーンの動画データとされてしまう虞がある。そのような動画データは高い臨場感を感じさせることができないため、観賞用動画シーンの動画データから除外することが望ましい。本処理により、そのような動画データを観賞用動画シーンの動画データから除外することができる。
図6の例では、シーンA1,A3の動画データは、いずれもフレーム単位動き量が第3の閾値以下のフレーム群からなる動画データであるため、観賞用動画シーンの動画データとして妥当であると判断され、除外されない。第3の閾値は、フレーム単位動き量が観賞用動画シーンのフレーム単位動き量として適切か否かを判断することのできる値であればよく、メーカーやユーザによって適宜設定される。
ストロボが小刻みに発光されているシーンの動画データのように、フレーム間で輝度値が大きく変化する動画データは、ステップS401の処理だけでは、観賞用動画シーンの
動画データとされてしまう虞がある。そのような動画データは高い臨場感を感じさせることができないため、観賞用動画シーンの動画データから除外することが望ましい。本処理により、そのような動画データを観賞用動画シーンの動画データから除外することができる。
図8の例では、シーンA3の動画データは、符号C’で示す時刻に、APLの変動量が第5の閾値より大きいフレームを含んでいる。そのため、シーンA3の動画データは、観賞用動画シーンの動画データとして妥当でないと判断され、除外され、シーンA1の動画データが観賞用動画シーンの動画データとされる。ただし、このステップS402は必須ではなく、ステップS402の処理を省略してもよい。
ステップS404では、観賞用動画判定部108が、抽出された観賞用動画シーン(ここではシーンA1)の動画データに対して、観賞用動画フラグを1と設定する。そして、観賞用動画記録判定部109へ、抽出された観賞用動画シーンの動画データとその観賞用動画フラグを出力し、本フローの処理を終了する。
ステップS405では、観賞用動画判定部108が、ユーザに観賞用動画シーンの動画データが抽出されなかったことを通知する処理を行う。
ステップS407では、観賞用動画判定部108は、第1,3,5の閾値を再設定する。そして、ステップS401からの処理が再度行われる。
なお、ステップS407では、ユーザの指示に応じて、観賞用動画シーン数や観賞用動画シーン時間長を再設定してもよい。また、第1〜3の割合を再設定してもよい。例えば、観賞用動画シーン時間長が10秒、第1〜3の割合がすべて80%と設定された場合には、10秒の動画データであって、観賞用動画シーンのフレームとして妥当であるフレームを8秒分以上含む動画データが観賞用動画シーンの動画データとされる。なお、観賞用動画シーンのフレームとして妥当であるフレームは、本実施例では、積算静止量が第1の閾値以上、フレーム単位動き量が第3の閾値以下、輝度特徴量のフレーム間の変動量が第5の閾値以下のフレームである。
なお、他の記録方法としては、観賞用動画フラグが1とされた動画データのみを元の動画データとは別の動画データとして記録する方法や、元の動画データから、観賞用動画シーンとして抽出された動画データ以外の動画データを削除して記録する方法などがある。また、フレーム単位動き量、積算静止量、APLの変動量などの特徴量を元の動画データに関連付けて保存し、後でそれらのデータを用いて観賞用動画シーンの動画データ抽出を行う構成であってもよい。
また、周期的だが大きい動きを多く含む動画データは、高い臨場感を感じさせることができない。本実施例では、観賞用動画シーンの動画データが、抽出した動画データのうち、フレーム単位動き量が第3の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込まれる。それにより、周期的だが大きい動きを多く含む動画データを観賞用動画シーンの動画データから除外することができ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
また、フレーム間で輝度値が大きく変化する動画データは、高い臨場感を感じさせることができない。本実施例では、観賞用動画シーンの動画データが、抽出した動画データのうち、輝度特徴量のフレーム間の変動量が第5の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込まれる。それにより、フレーム間で輝度値が大きく変化する動画データを観賞用動画シーンの動画データから除外することができ、入力された動画データから視聴者に高い臨場感を感じさせることのできるシーンの動画データのみを更に精度よく抽出することができる。
なお、フレーム毎に各ブロックの積算動きベクトルを算出し、第1期間分のフレーム群毎に積算静止量を算出してもよい。
なお、積算静止量を算出せずに、大きさが所定値以下の積算動きベクトルの数が第1の閾値以上のフレーム(または上記第1期間分のフレーム群)を所定の割合以上含むフレーム群からなる動画データを、観賞用動画シーンの動画データとして抽出してもよい。
なお、本実施例では、記録条件がユーザ操作によって選択され、入力される構成としたが、記録条件は予め画像処理装置内に記録されている固定値であってもよい。また、元の
動画データ(対象動画データ)毎に予め定められていてもよい(対象動画データに付加されていてもよい)。
なお、本実施例では、動きベクトル(積算動きベクトル)のヒストグラムとして、動きベクトルのx方向成分とy方向成分のそれぞれのヒストグラムが作成されるものとしたが、これに限らない。2次元ヒストグラムであってもよい。また、本実施例では、動きベクトルを複数の成分に分け、各成分の値をそれぞれ、閾値と比較するもとしたが、これに限らない。動きベクトルを複数の成分に分けず、動きベクトルそのものの大きさを閾値と比較してもよい。また、ヒストグラムは作成されなくてもよい。例えば、積算動きベクトルヒストグラム作成せずに、各積算動きベクトルの値から、積算静止量が算出されてもよい。
なお、第1〜3の割合は同じ割合であってもよいし、異なっていてもよい。
以下、図1,2,6,9〜12を用いて本発明の実施例2に係る画像処理装置及び該画像処理装置により実行される画像処理方法について説明する。
図9は、実施例2に係る画像処理装置の機能構成の一例を示すブロック図である。
画像処理装置200は、実施例1(図1)の構成の他に、デバイス情報取得部201を更に有する。また、画像処理装置200と無線乃至有線で通信可能な表示部112(抽出した観賞用動画シーンの動画データに基づく動画を表示する表示装置)には、デバイス情報格納部202が設けられている。その他の構成は、図1と同じであるため、図1と同じ符号を付す。以下、実施例1と異なる点について説明する。
デバイス情報格納部202は、表示部112のデバイス情報を記憶するEDID(Extended Display Identification Data)ROM等の記録媒体である。なお、デバイス情報格納部202は、デバイス情報が格納されていればよく、EDIDROMに限らない。本実施例では、デバイス情報格納部202には、デバイス情報として、表示部112(表示装置;表示パネル)の駆動方式、表示フレームレート(フレームレート変換方法を含む)、表示方式等を表す情報が格納されているものとする。表示フレームレートは、表示部112の、表示する動画のフレームレートである。
表示部112の駆動方式がホールド型駆動方式の場合、強い風でゆれている木の葉などを表す動画を表示しようとするとボケてしまう可能性がある。このようなボケは臨場感を削ぐ結果に繋がってしまい、そのようなボケを生じさせる動画データは観賞用動画シーンの動画データとして適切であるとはいえない。そこで本実施例では、観賞用動画判定部108が、入力(取得)されたデバイス情報から、表示部112の駆動方式がインパルス型駆動方式なのかホールド型駆動方式なのかを判断する。そして、判断結果に応じて第1の閾値を変更する。
設定することにより、ある程度動きのある動画データも観賞用動画シーンの動画データとして抽出することができる。図10の例では、表示部112の駆動方式がインパルス型駆動方式の場合には、シーンA1,A3の動画データが観賞用動画シーンの動画データとして抽出される。
一方、ホールド型駆動方式の表示装置は、インパル型駆動方式の表示装置に比べて、表示する動画に動きがあるとボケやすい特徴がある。本実施例では、表示部112の駆動方式がホールド型駆動方式のときに第1の閾値として高い値を設定することにより、ボケが生じる虞の無い動画データのみを観賞用動画シーンの動画データとして抽出することができる。図10の例では、表示部112の駆動方式がホールド型駆動方式の場合には、シーンA1の動画データのみが観賞用動画シーンの動画データとして抽出される。
また、液晶ディスプレイでは、表示方式として、入力された動画データに基づく動画のフレーム間に黒画像を挿入して表示する黒挿入表示方式を採用することにより、ボケを軽減することができる。そのため、入力されたデバイス情報から、表示部112の表示方式が黒挿入表示方式か否かを判断してもよい。そして、表示部112の表示方式が黒挿入表示方式のときのほうが、黒挿入表示方式でないときよりも第1の閾値として低い値を設定してもよい。そのような構成であっても、上記効果に準じた作用効果を得ることができる。
また、上述した情報を組み合わせて第1の閾値を変更することにより、観賞用動画シーンの動画データとして、より適切な動画データを抽出することが可能となる。
実施例1では、積算静止量を用いた抽出処理において、全く動きがない(限りなく静止画に近い)動画のデータが観賞用動画シーンの動画データとして抽出される場合がある。臨場感は静止しているより少しでも動きのある動画の方が強く感じられる。そこで、本実施例では、第2の閾値を、積算静止量が観賞用動画シーンの静止量として妥当か否かの上限として用いることにより、全く動きがない(限りなく静止画に近い)動画のデータが観賞用動画シーンの動画データとして抽出されることを防ぐ。
本実施例では、第2の閾値は、ユーザ操作により、記録条件入力部111から画像処理装置内に入力される。第2の閾値は、例えば、図4のステップS401の前や、ステップS406のタイミングで入力(設定)されればよい。なお、第2の閾値は、画像処理装置内に予め記憶されていてもよいし、対象動画データに付加されていてもよい。
図4のステップS401で、積算静止量を用いた抽出処理を行う際に、第2の閾値が観賞用動画シーンとして妥当な積算静止量の上限として用いられる。即ち、ステップS401で、観賞用動画判定部108は、積算静止量が第1の閾値以上第2の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データを観賞用動画シーンの動画データとして抽出する。図11の例では、実施例1の構成ではシーンA1,A3の動画データが観賞用動画シーンの動画データとして抽出されるが、実施例2の構成ではシーンA3の動画データのみが観賞用動画シーンの動画データとして抽出される。
その他の処理は実施例1と同じであるため説明を省略する。
録方法で記録部110が有する記録媒体に保存する。本実施例では、抽出された動画データを、表示部112のデバイス情報、抽出する際に使用した記録条件、閾値などの情報の少なくとも一部の情報を関連付けて保存する。例えば、抽出された動画データに、表示部112の駆動方式、表示フレームレート、表示方式といった情報を関連付けて保存する。
また、本実施例によれば、積算静止量が観賞用動画シーンの静止量として妥当か否かの上限として第2の閾値が用いられる。それにより、全く動きがない(限りなく静止画に近い)動画のデータが観賞用動画シーンの動画データとして抽出されることを防ぐことができる。また、本実施例では、第2の閾値はユーザによって入力される、即ちユーザによって変更可能であるため、ユーザの好みに応じて観賞用動画シーンの動画データとするか否かの判断基準を決定することができる。例えば、全く動きがない(限りなく静止画に近い)動画のデータが観賞用動画シーンの動画データとして抽出するか否かを選択することができる。
また、本実施例によれば、抽出された動画データは、デバイス情報、記録条件、閾値などの情報の少なくとも一部の情報が関連付けられて保存される。それにより、別の画像処理装置で観賞用動画シーンの動画データの抽出を行う際に、記録されている情報を参考にして抽出することで、抽出時間(処理時間)を短縮することが可能となる。また、抽出する際の条件(デバイス情報、記録条件、閾値など)が同一である場合には、抽出処理を行うことなく観賞用動画シーンの動画データのみを表示装置で表示することが可能となる。
また、積算静止量を用いた観賞用動画シーンの動画データの抽出処理(絞り込み処理)を行う際に、フレーム単位動き量が観賞用動画シーンのフレーム単位動き量として妥当か否かの下限として第4の閾値を用いてもよい。即ち、観賞用動画シーンの動画データを、抽出した動画データのうち、フレーム単位動き量が第4の閾値以上第3の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込んでもよい。それにより、積算静止量が観賞用動画シーンの積算静止量として妥当か否かの上限として第2の閾値を用いた際に得られる作用効果に準じた作用効果を得ることができる。
104 APL検出部
105 動きベクトル検出部
106 積算動きベクトル算出部
107 動き量算出部
108 観賞用動画判定部
109 観賞用動画記録判定部
Claims (14)
- 入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記フレームのブロック毎に、そのフレームを含む第1期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
前記フレーム毎に、大きさが第1の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出する積算静止量算出手段と、
算出された前記積算静止量が第1の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする画像処理装置。 - 前記抽出手段は、前記積算静止量算出手段により算出された前記積算静止量に基づいて、前記第1期間よりも長い第2期間分のフレーム群からなる動画データを、前記所望のシーンの動画データとして抽出する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記抽出手段は、前記積算静止量が第1の閾値以上、かつ第2の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記フレーム毎に、大きさが第2の所定値以上の動きベクトルの数に基づく値をフレーム単位動き量として算出するフレーム単位動き量算出手段を更に有し、
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記フレーム単位動き量が第3の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記フレーム単位動き量が第4の閾値以上、かつ第3の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項4に記載の画像処理装置。 - フレーム毎に、輝度特徴量、色特徴量、または、形状特徴量を抽出する特徴量抽出手段を更に有し、
前記抽出手段は、前記所望のシーンの動画データを、前記抽出した動画データのうち、前記特徴量抽出手段で抽出した特徴量のフレーム間の変動量が第5の閾値以下のフレームを所定の割合以上含むフレーム群からなる動画データに絞り込む
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。 - 前記抽出手段は、積算動きベクトルが或る向き及び前記第1の所定値より大きい或る大きさのベクトルに集中しているフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして更に抽出する
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。 - 前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の駆動方式を
表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の駆動方式がインパルス型駆動方式なのかホールド型駆動方式なのかを判断し、
前記表示装置の駆動方式がインパルス型駆動方式のときのほうが、ホールド型駆動方式のときよりも前記第1の閾値として低い値を設定する
ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。 - 前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の、表示される動画のフレームレートである表示フレームレートを表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の表示フレームレートを判断し、
前記表示装置の表示フレームレートが高いほど前記第1の閾値として低い値を設定する
ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。 - 前記抽出した所望のシーンの動画データに基づく動画を表示する表示装置の表示方式を表す情報を取得する取得手段を更に有し、
前記抽出手段は、
前記取得手段で取得された情報から、前記表示装置の表示方式が、入力された動画データに基づく動画のフレーム間に黒画像を挿入して表示する黒挿入表示方式か否かを判断し、
前記表示装置の表示方式が黒挿入表示方式のときのほうが、前記黒挿入表示方式でないときよりも前記第1の閾値として低い値を設定する
ことを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。 - 前記動きベクトル検出手段は、入力された動画データの各フレームを複数のブロックに分割し、ブロックマッチング法によりブロック毎に動きベクトルを検出する
ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。 - 前記ブロックの大きさは、1画素分の大きさである
ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理装置。 - 入力された動画データから所望のシーンの動画データを抽出する画像処理方法であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出するステップと、
前記フレームのブロック毎に、そのフレームを含む第1期間分のフレーム群の動きベクトルの時間方向の積算値である積算動きベクトルを算出するステップと、
前記フレーム毎に、大きさが第1の所定値以下の積算動きベクトルの数に基づく値を積算静止量として算出するステップと、
算出された前記積算静止量が第1の閾値以上のフレームを所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出するステップと、
を有することを特徴とする画像処理方法。 - 入力された動画データから所望のシーンの動画データを抽出する画像処理装置であって、
入力された動画データの各フレームから、フレームを分割して得られるブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
所定期間分のフレーム群毎且つブロック毎に、そのフレーム群の動きベクトルの時間方
向の積算値である積算動きベクトルを算出する積算動きベクトル算出手段と、
大きさが第1の所定値以下の積算動きベクトルの数が第1の閾値以上の前記所定期間分のフレーム群を所定の割合以上含むフレーム群からなる動画データを前記所望のシーンの動画データとして抽出する抽出手段と、
を有することを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011241099A JP5812808B2 (ja) | 2011-01-05 | 2011-11-02 | 画像処理装置及び画像処理方法 |
US13/333,194 US20120169937A1 (en) | 2011-01-05 | 2011-12-21 | Image processing apparatus and image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011000672 | 2011-01-05 | ||
JP2011000672 | 2011-01-05 | ||
JP2011241099A JP5812808B2 (ja) | 2011-01-05 | 2011-11-02 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012156981A true JP2012156981A (ja) | 2012-08-16 |
JP5812808B2 JP5812808B2 (ja) | 2015-11-17 |
Family
ID=46380471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011241099A Expired - Fee Related JP5812808B2 (ja) | 2011-01-05 | 2011-11-02 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120169937A1 (ja) |
JP (1) | JP5812808B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016012834A (ja) * | 2014-06-30 | 2016-01-21 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
JP2016144171A (ja) * | 2015-02-05 | 2016-08-08 | 三菱電機株式会社 | 映像再生装置及び方法、並びにプログラム及び記録媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8937666B1 (en) * | 2012-10-09 | 2015-01-20 | Google Inc. | User interface for providing feedback for handheld image capture |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244628A (ja) * | 2002-02-20 | 2003-08-29 | Kazumi Komiya | 特定シーン抽出装置 |
JP2005037273A (ja) * | 2003-07-16 | 2005-02-10 | Nippon Hoso Kyokai <Nhk> | 映像揺れ検出装置、その方法及びそのプログラム、並びに、カメラ映像選択装置 |
JP2005286524A (ja) * | 2004-03-29 | 2005-10-13 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 |
JP2009100314A (ja) * | 2007-10-17 | 2009-05-07 | Sony Corp | 電子機器、コンテンツ分類方法及びそのプログラム |
JP2010109592A (ja) * | 2008-10-29 | 2010-05-13 | Canon Inc | 情報処理装置およびその制御方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07105949B2 (ja) * | 1989-03-20 | 1995-11-13 | 松下電器産業株式会社 | 画像の動きベクトル検出装置および揺れ補正装置 |
KR0151410B1 (ko) * | 1992-07-03 | 1998-10-15 | 강진구 | 영상신호의 운동벡터 검출방법 |
JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
JP2914170B2 (ja) * | 1994-04-18 | 1999-06-28 | 松下電器産業株式会社 | 映像変化点検出方法 |
JPH08163554A (ja) * | 1994-12-02 | 1996-06-21 | Electron & Telecommun Res Inst | ビデオビット率制御方法 |
JP3800640B2 (ja) * | 1995-07-04 | 2006-07-26 | ソニー株式会社 | 画像情報の動き検出方法及びその装置、画像情報の符号化方法及びその装置、画像情報伝送システム、画像情報記録システム並びに記録媒体 |
JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
JP3994445B2 (ja) * | 1995-12-05 | 2007-10-17 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
DE19601005A1 (de) * | 1996-01-15 | 1997-07-17 | Bosch Gmbh Robert | Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern |
KR100224099B1 (ko) * | 1997-05-30 | 1999-10-15 | 윤종용 | 오디오/비디오 신호의 동기장치 및 방법 |
EP0935396A3 (en) * | 1998-02-09 | 2004-08-11 | Matsushita Electric Industrial Co., Ltd. | Video coding method and apparatus |
JP3560217B2 (ja) * | 1998-04-30 | 2004-09-02 | ソニー株式会社 | データ符号化装置、データ符号化方法及びデータ伝送方法 |
WO2001015459A1 (en) * | 1999-08-24 | 2001-03-01 | Fujitsu Limited | Time-varying image processor, its method, and recorded medium |
JP2001245303A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
KR100453714B1 (ko) * | 2001-12-31 | 2004-10-20 | (주)펜타마이크로 | Mpeg 영상 압축 기술을 이용한 디지털 영상 저장장치에서의 움직임 검출 장치 및 그 방법 |
US7292634B2 (en) * | 2002-09-24 | 2007-11-06 | Matsushita Electric Industrial Co., Ltd. | Image coding method and apparatus |
KR100619007B1 (ko) * | 2003-06-24 | 2006-08-31 | 삼성전자주식회사 | 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 |
US20060002474A1 (en) * | 2004-06-26 | 2006-01-05 | Oscar Chi-Lim Au | Efficient multi-block motion estimation for video compression |
TWI324013B (en) * | 2006-02-22 | 2010-04-21 | Huper Lab Co Ltd | Video noise reduction method using adaptive spatial and motion-compensation temporal filters |
KR100856223B1 (ko) * | 2006-10-19 | 2008-09-03 | 삼성전자주식회사 | H.264 인코더의 적응적 인코딩 모드 결정 장치 및결정 방법 |
KR20080042997A (ko) * | 2006-11-13 | 2008-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 방법 |
JP2008203992A (ja) * | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
CN101558637B (zh) * | 2007-03-20 | 2011-10-19 | 松下电器产业株式会社 | 摄像装置以及摄像方法 |
US8204124B2 (en) * | 2007-08-27 | 2012-06-19 | Sony Corporation | Image processing apparatus, method thereof, and program |
JP4438099B2 (ja) * | 2007-11-22 | 2010-03-24 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
US8953685B2 (en) * | 2007-12-10 | 2015-02-10 | Qualcomm Incorporated | Resource-adaptive video interpolation or extrapolation with motion level analysis |
JP5025557B2 (ja) * | 2008-05-02 | 2012-09-12 | キヤノン株式会社 | 画像撮影装置及びその制御方法、プログラム |
JP4643727B2 (ja) * | 2009-05-29 | 2011-03-02 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP5489557B2 (ja) * | 2009-07-01 | 2014-05-14 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
-
2011
- 2011-11-02 JP JP2011241099A patent/JP5812808B2/ja not_active Expired - Fee Related
- 2011-12-21 US US13/333,194 patent/US20120169937A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244628A (ja) * | 2002-02-20 | 2003-08-29 | Kazumi Komiya | 特定シーン抽出装置 |
JP2005037273A (ja) * | 2003-07-16 | 2005-02-10 | Nippon Hoso Kyokai <Nhk> | 映像揺れ検出装置、その方法及びそのプログラム、並びに、カメラ映像選択装置 |
JP2005286524A (ja) * | 2004-03-29 | 2005-10-13 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム、および、それらを記録する記録媒体 |
JP2009100314A (ja) * | 2007-10-17 | 2009-05-07 | Sony Corp | 電子機器、コンテンツ分類方法及びそのプログラム |
JP2010109592A (ja) * | 2008-10-29 | 2010-05-13 | Canon Inc | 情報処理装置およびその制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016012834A (ja) * | 2014-06-30 | 2016-01-21 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
JP2016144171A (ja) * | 2015-02-05 | 2016-08-08 | 三菱電機株式会社 | 映像再生装置及び方法、並びにプログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5812808B2 (ja) | 2015-11-17 |
US20120169937A1 (en) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4157579B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4139430B1 (ja) | 画像処理装置及び方法、画像表示装置及び方法 | |
US9262684B2 (en) | Methods of image fusion for image stabilization | |
US20110243451A1 (en) | Image processing apparatus and method, and program | |
JP4516536B2 (ja) | 動画生成装置、動画生成方法、及びプログラム | |
CN108322650B (zh) | 视频拍摄方法和装置、电子设备、计算机可读存储介质 | |
EP2413586A1 (en) | Method and device for adaptive noise measurement of a video signal | |
JP2019537913A (ja) | ストリーミングされたメタデータを用いたビデオフレームレート変換 | |
JP5163429B2 (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
US9819873B2 (en) | Image-processing apparatus and image-processing method | |
CN115334335B (zh) | 视频插帧方法及装置 | |
JP4900266B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5812808B2 (ja) | 画像処理装置及び画像処理方法 | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
JP2011055278A (ja) | 動き情報取得装置及び画像処理装置 | |
JP2010114596A (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
CN103312995A (zh) | 图像处理设备、电子装置、图像处理方法和程序 | |
JP5015089B2 (ja) | フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体 | |
JP4355347B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2009181067A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2009182865A (ja) | 画像表示装置及び方法、画像処理装置及び画像処理方法 | |
JP4052348B2 (ja) | 画像処理装置、及び画像処理方法 | |
US11328494B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2015079329A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2008193730A (ja) | 画像表示装置及び方法、画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150915 |
|
LAPS | Cancellation because of no payment of annual fees |