JP2005006191A - 静止画合成装置、及び動画像からの静止画合成方法 - Google Patents
静止画合成装置、及び動画像からの静止画合成方法 Download PDFInfo
- Publication number
- JP2005006191A JP2005006191A JP2003169664A JP2003169664A JP2005006191A JP 2005006191 A JP2005006191 A JP 2005006191A JP 2003169664 A JP2003169664 A JP 2003169664A JP 2003169664 A JP2003169664 A JP 2003169664A JP 2005006191 A JP2005006191 A JP 2005006191A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- still image
- still
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】動画像を構成する各フレームを順に復号するとともに、対象となるフレームを復号する間には、マクロブロック毎に可変長復号された動きベクトルが閾値よりも大きいか否かを判定する。それが大きければ、そのブロックの復元された画像を、当該フレームにおいて動きのあった被写体部分を構成する部分画像として判定し、合成処理部7bのスチルメモリ71に記憶されているベース画像に合成する。これを繰り返すことにより、被写体の動きが視覚的に把握可能な静止画像がスチルメモリ71に生成される。
【選択図】 図2
Description
【発明の属する技術分野】
本発明は、動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置、及び動画像からの静止画合成方法に関する。
【0002】
【従来の技術】
従来、デジタルカメラにおいては、1回の撮影操作で被写体を複数回連続して撮影する連写撮影モードを備えたものがある。係る撮影モードは、動きのある被写体の画像を時系列的に記録することができるため、例えばゴルフスウィングや野球の投球動作等のフォーム分析を行う場合に用いられている。
【0003】
さらに、前述した連写撮影モードで記録した複数画像から、各画像について動きのあった被写体部分を切り出し、切り出した複数の被写体部分の画像を1枚の画像に合成することによって、被写体の動きを視覚的に把握できるようにする技術が本出願人において提案されるに至っている(下記特許文献1参照。)。
【0004】
【特許文献1】
特開平11−331693号公報
【0005】
【発明が解決しようとする課題】
ところで、上記のように被写体部分の画像を1枚の画像に合成することにより、被写体の動きを視覚的に把握可能とすることは、連写撮影モードで記録された複数の静止画像に限らず、時系列で記録された複数のフレーム画像からなる動画像に用いても有効である。
【0006】
しかしながら、前述した技術を動画像に適用する場合には、静止画像として合成すべき被写体部分の切り出し作業に先立ち、予め動画を構成する全てのフレーム画像について、それを他のフレーム画像と比較し、動きのあった被写体部分の部分画像を特定する作業が不可欠であるため、処理効率が悪い。その結果、被写体の動きを視覚的に把握可能な静止画像を合成するには多大な時間を要するという問題があった。
【0007】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画像から、被写体の動きが視覚的に把握可能な静止画像を効率よく生成することができる静止画合成装置、及び動画像からの静止画合成方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
前記課題を解決するために請求項1の発明にあっては、フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置において、前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、この選択手段により選択された部分画像を静止画像に合成する合成手段とを備えたものとした。
【0009】
かかる構成においては、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができる。
【0010】
また、請求項2の発明にあっては、前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像を部分画像として選択するものとした。
【0011】
かかる構成においては、静止画像への合成に適した部分画像だけを抽出することができる。
【0012】
また、請求項3の発明にあっては、前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像と、当該画像に隣接する部分の画像とを部分画像として選択するものとした。
【0013】
かかる構成においては、各フレーム画像における、本来抽出して合成すべき部分画像が欠落する率を減少させることができる。
【0014】
また、請求項4の発明にあっては、前記選択手段は、前記隣接する部分画像のうち、所定の選択条件を満足するものを選択するものとした。
【0015】
かかる構成においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができる。
【0016】
また、請求項5の発明にあっては、前記所定の選択条件は、前記動きベクトルと共に復号に使用する予測誤差の大きさであるものとした。
【0017】
かかる構成においても、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができる。
【0018】
また、請求項6の発明にあっては、フレーム画像における部分画像の輪郭を抽出する輪郭抽出手段を備えるとともに、前記所定の選択条件は、動きベクトルが所定の閾値よりも大きい部分の画像から前記輪郭抽出手段により抽出された輪郭と、前記隣接する部分画像から前記輪郭抽出手段により抽出された輪郭との間における連続性の度合であるものとした。
【0019】
かかる構成においては、各フレーム画像から、合成すべき部分画像をより一層精度よく抽出することができる。
【0020】
また、請求項7の発明にあっては、同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段を備え、前記合成手段は、前記演算手段により演算されたフレーム動きベクトルに基づき、当該フレーム画像から前記選択手段によって選択された部分画像における静止画像への合成位置を補正するものとした。
【0021】
かかる構成においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができる。
【0022】
また、請求項8の発明にあっては、フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の静止画像を抽出し静止画像に合成する静止画合成方法であって、前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択し、選択した部分画像を静止画像に合成する方法とした。
【0023】
かかる方法によれば、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができる。また、それをフレーム画像を復号する過程で行うことができる。
【0024】
また、請求項9の発明にあっては、フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置が有するコンピュータを、前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、この選択手段により選択された部分画像を静止画像に合成する合成手段として機能させるためのプログラムとした。
【0025】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
【0026】
(第1の実施の形態)
図1は、本発明の各実施の形態に共通する静止画合成装置1を示すブロック図である。静止画合成装置1は、MPEG(Motion Picture Experts Group)規格に準拠する動画データ、すなわちフレーム間予測符号化技術を用いて符号化された動画像から、被写体の動きが視覚的に把握可能な静止画を生成する機能を有するものであり、画像データ取込み部2と、ワークメモリ3、操作部4、画像処理部5、モニタ8、プリンタ9とを備えている。
【0027】
ここで、MPEG方式により記録されている動画像の概略について説明する。すなわち、MPEG方式においては、図11に示したように動画を構成する一連のフレーム画像F1〜Fnに、Iピクチャ(Intra Picture、フレーム内符号化画像)と、Pピクチャ(Predicitive Picture、順方向予測符号化画像)及びBピクチャ(Bidirectionally Picture、双方向予測符号化画像)とが混在している。Iピクチャはフレーム内符号化により記録されている完全な画像であるが、P、Bピクチャはフレーム間予測符号化により記録されている画像であって、図12に示したように所定数に分割されたマクロブロック毎に、動きベクトル(MV)と予測誤差によって表現されており、それらと共に、先に復号されている他のフレーム画像(Pピクチャでは過去のフレーム画像、Bピクチャについては過去又は未来のフレーム画像)を復元用予測画像を用いて復元されるようになっている。動きベクトルは、過去(又は未来)のフレームとの間における被写体が動いた方向と距離とを示すデータであり、予測誤差は、過去(又は未来)のフレームとの間における画素値の差分情報をDCT(Discrete Cosine Transform)係数により量子化したデータである。つまり、PピクチャとBピクチャとは、いずれかのIピクチャを起点とする一連の再生処理を経なければ生成し得ない画像である。
【0028】
一方、前述した画像データ取込み部2は、上述した構成の動画データを取り込む部分であり、例えばデジタルカメラやデジタルビデオカメラに設けられた動画エンコーダ、或いは動画データが蓄積されたハードディスク等の記録媒体や、動画データが蓄積されたビデオCDが装着されるディスクドライブ等である。ワークメモリ3は、動画像の各フレームデータを記憶したり、それに基づき後述する方法により作成される静止画データを記憶するDRAM等である。操作部4はユーザーインターフェイスとして各種の操作キーから構成されており、動画像のどの部分から静止画を合成するかを指示するための操作キーが含まれる。
【0029】
画像処理部5は、動画データをデコードするデコード部6と、デコードしたデータに基づき静止画を合成する画像合成部7から構成される。図2は、前記画像処理部5の詳細を示すブロック図であり、前記デコード部6は、第1及び第2の可変長復号部6a,6bと、逆量子化部6c、逆DCT部6d、動き補償部6e、フレームメモリ6fを備えている。また、前記画像合成部7は、採用判定部7aと合成処理部7bとを備えており、採用判定部7aが本発明の選択手段として機能する。合成処理部7bは、静止画データの生成過程で使用されるスチルバッファ71を備えるとともに本発明の合成手段として機能する。
【0030】
モニタ8は、画像処理部5においてデーコードされた動画像や合成された静止画像を表示し、プリンタ9は合成された静止画を印刷する。
【0031】
次に、以上の構成からなる静止画合成装置1の動作を説明する。図3は、例えば記録されている任意の動画像から静止画像を合成するときの動作を示すフローチャートである。
【0032】
静止画合成装置1は、画像データ取込み部2から指定された動画データを読み出し(ステップS1)、動画像を構成する複数のフレーム画像F1〜Fn(図11)から、ユーザーに、所望するスタートフレーム、ベースフレーム、エンドフレームを指定させる(ステップS2)。スタートフレームは静止画像を合成するとき最初に処理対象となるフレーム、エンドフレームは最後に処理対象となるフレームであり、ベースフレームは、スタートフレームとエンドフレームとの間のフレームに含まれる部分画像を合成するとき元(背景)となるフレーム画像である。なお、ベースフレームとして指定させるフレーム画像の種類はI、P、Bピクチャのいずれであってもよく、また、動画像とは別に記録されている任意の静止画像や空白(単色で塗りつぶされた画像)を指定可能としてもよい。
【0033】
また、上記各フレームの指定は、例えば動画像を先頭から再生してモニタ8に表示させながら所望するフレーム画像を選択させることにより行う。その際、前記画像処理部5においては、前記デコード部6が以下の動作で各フレーム画像を復元する。なお、以下の説明では、便宜上、動画像を構成する複数のフレーム画像F1〜Fnが、IピクチャとPピクチャのみであることを前提とする。
【0034】
先ず、先頭のフレーム画像F1つまりIピクチャを復元するときには、ブロック毎に、第1の可変長復号部6aによるDTC係数の復号化、逆量子化部6cによる逆量子化処理、逆DCT部6dによる逆DCT演算を順に行って対象ブロックの画像(以下、部分画像という。)を復元する。そして、それを前述したワークメモリ3へ出力する一方、フレームメモリ6fにも蓄積する。これを全てのブロックに対して行うことにより、ワークメモリ3及びフレームメモリ6fにフレーム画像F1を生成する。
【0035】
さらに、2枚目以降のフレーム画像つまりPピクチャの復元に際しては、DTC係数と動きベクトルMV(図12参照)とを分離した後、各々を第1及び第2の可変長復号部6a,6bによって復号し、復号したDTC係数に対して逆量子化処理、逆DCT演算を順に行い予測誤差の画像データを取得する。また、動き補償部6eによって、フレームメモリ6fに蓄積されている画像を復元用予測画像とし、そこから、復号した動きベクトルMVによって表されるブロック部分の画像データを取り出し、それを前記予測誤差の画像データに加えることにより部分画像を復元する。そして、それを前述したワークメモリ3へ出力する一方、フレームメモリ6fにも蓄積する。これを全てのブロックに対して行うことにより、ワークメモリ3にフレーム画像が生成され、かつ同一の画像がフレームメモリ6fの新たな復元用予測画像として更新される。
【0036】
一方、前述したスタートフレーム、ベースフレーム、エンドフレームが指定されたら、指定されたベースフレームの静止画データを合成処理部7bのスチルバッファ71に記憶する(ステップS3)。なお、前述したように動画像を先頭から再生してモニタ8に表示させてベースフレームを指定させる場合には、その時点で記憶させてもよい。
【0037】
引き続き、動画像における対象フレーム(当初はスタートフレーム)を選択し(ステップS4)、さらにそのフレームにおける復元対象となる対象ブロックを選択し(ステップS5)、その部分画像を、前述した通常の動画再生時と同様の手順で復元する。またその間には、前記採用判定部7aにおいて動きベクトルMVを抽出し(ステップS6)、それが予め決められている閾値よりも大きいか否かを判断する(ステップS7)。ここで動きベクトルMVが閾値よりも大きければ(ステップS7でYES)、合成処理部7bにおいてスチルバッファ71に記憶されているベースフレームの画像(静止画像)に、復元した部分画像を合成する(ステップS8)。
【0038】
また、動きベクトルMVが閾値以下であれば(ステップS7でNO)、上記合成処理をスキップして、次の対象ブロックについてもステップS6〜S8の処理を行う。やがて、全てのブロックに対する処理が終了したら(ステップS9でYES)、引き続き、対象フレームに次のフレームを選択した後(ステップS4)、ステップS5〜S9の処理を繰り返す。つまり、前記スチルバッファ71に記憶している画像に、各フレーム画像から抽出された部分画像であって、前のフレーム画像と比べて一定以上の動きがあった被写体部分の画像である部分画像だけを復号順に合成する。
【0039】
そして、エンドフレームまでの全てのフレームに対する処理が終了したら(ステップS10でYES)、その時点で、スチルバッファ71に記憶されている合成画像のデータ、つまり被写体の動きを視覚的に把握することができる静止画像のデータをワークメモリ3へ出力して合成処理を終了する。なお、ワークメモリ3へ出力された静止画像は、その後、モニタ8によって表示されるとともに、ユーザーの指示に応じてプリンタ9により印刷される。
【0040】
以上のように、本実施の形態においては、動画像から、被写体の動きが視覚的に把握可能な静止画像を生成するとき、スタートフレームからエンドフレームまでの処理対象とする複数のフレーム画像から、必要な部分画像だけを動きベクトルに基づき選択的に抽出して静止画像に合成するため、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がない。よって、静止画像の生成を効率的に行うことができる。
【0041】
また、本実施の形態では、部分画像(ブロック毎の画像)の抽出処理、及び静止画像への合成処理を、処理対象とする複数のフレーム画像の復元(復号)処理を行う間にそれと並行して行うため、前述したように動画像の再生に使用するデコード部6を静止画像合成時に流用することができる。したがって、静止画合成装置1の構成が簡単であり、それを容易かつ低コストで実施することができる。
【0042】
(第2の実施の形態)
次に、本発明の第2の実施の形態を説明する。第1の実施の形態では、各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像を抽出して静止画像に合成するものとしたが、本実施の形態は、動画像を構成する各フレーム画像が、例えば図4に示したように横9×縦6のブロック(マクロブロック)に分割されて符号化されているとき、動きベクトルが閾値よりも大きいブロック(同図に黒塗りで示したブロック)の画像(部分画像)と共に、それと隣接するブロック(斜線及び網掛けで示したブロック)の画像(他の部分画像)も静止画像として合成するものである。
【0043】
図5は、本実施の形態の静止画合成装置における画像処理部5の詳細を示した図2に対応するブロック図である。本実施の形態では、前述した採用判定部7aに採用判定バッファ72が設けられている。この採用判定バッファ72は、復号処理中の対象フレームの全ブロックについて、それが静止画像として合成すべきブロックか否かの判定結果を記憶するためのバッファ(一時記憶用のメモリ等)であって、この採用判定バッファ72にはブロック毎に判定結果が記憶されるよう構成されている。
【0044】
そして、本実施の形態においては、第1の実施の形態と同様に、スタートフレームからエンドフレームまでの対象フレームを復号する間に、採用判定バッファ72が、対象ブロック毎に動きベクトルが閾値よりも大きいか否かを判別し、閾値よりも大きいときには、そのブロックの画像を合成すべきものであることを示す採用フラグを採用判定バッファ72に記憶する。同時に、そのブロックに隣接する他のブロックについても採用フラグを記憶する。
【0045】
図6は、係る採用フラグの記憶処理動作の内容を示す説明図であって、同図において、「ブロック番号」は採用判定バッファ72内でブロック毎に付与されている、同一フレーム内での復号順(左から右、上から下へ向かう順)と一致する番号を、「動きベクトル」はブロック毎の動きベクトルを、「採用判定」は前記採用フラグの有無、及びそれが記憶された原因を示している。また「採用判定」の「×」は採用フラグが記録されていないことを示し、「◎」はそのブロックにおける動きベクトルが閾値よりも大きいことに起因して採用フラグが記録されたことを示し、かつ「○」はそのブロックが、それと隣接する他のブロックの動きベクトルが閾値よりも大きいことに起因して採用フラグが記録されたことを示している。
【0046】
また、図示した例は、動きベクトルの閾値が例えば(5,5)である場合を示したものであって、この場合においては、ブロック番号21,22,24のブロックの動きベクトルが(2,1)、ブロック番号23のブロック(ここでは、図4に黒塗りで示したブロックである)の動きベクトルが(10,−12)であるため、上記の判別、及び判定の記憶処理が繰り返し行われる間、ブロック番号22のブロックが復号対象となった時点まで、ブロック番号21,22の採用判定は「×」となるが、ブロック番号23のブロックが復号対象となった時点で、その採用判定が「◎」となると同時に、それと隣接するブロック番号22,24のブロックの採用判定が「○」となることとなる。なお、図6には示さないが、ブロック番号13〜15,31〜33のブロックの採用判定も「○」となる。
【0047】
そして、全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用判定バッファ72において採用フラグが記憶されている(図6で採用判定が「◎」又は「○」である)ブロックの情報が採用判定部7aから前記合成処理部7bへ送られる。さらに、それに応答して合成処理部7bが、それらのブロックに対応する複数の部分画像をフレームメモリ6fから読み出すとともに、それらを内部のスチルバッファ71に記憶されている静止画像に順に合成する。
【0048】
それ以後、対象フレームを順に切り換えながら、各フレーム画像について前述と同様の処理を実施する。そして、エンドフレームまでの全てのフレームに対する処理が終了したら、第1の実施の形態と同様、その時点で、スチルバッファ71に記憶されている合成画像のデータ、つまり被写体の動きを視覚的に把握することができる静止画像のデータをワークメモリ3へ出力して合成処理を終了する。
【0049】
ここで本実施の形態においては、スタートフレームからエンドフレームまでの各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像(部分画像)と共に、その周囲のブロックの画像(他の部分画像)も抽出し、それらの部分画像を静止画像として合成するため、第1の実施の形態と比べ以下のような効果を得ることができる。
【0050】
すなわち動画像の各フレーム間における動き補償の有無は動画が符号化された時点で適宜決められているものであるため、動きのある被写体部分の全て、つまり被写体部分が含まれる全てのブロックについて動き補償が行われているとは限らない。そのため、動きベクトルが閾値よりも大きいブロックだけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、合成されない部分画像が存在することとなる。一方、あるブロックの画像が、動きがあった被写体部分を構成しているときには、それと隣接するブロックの画像が上記被写体部分を構成している場合が多い。したがって、本実施の形態によれば、本来抽出して合成すべき部分画像が欠落する率を減少させることができるため、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることができる。
【0051】
また、第1の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部6を静止画像合成時においてもそのまま使用することができるため、静止画合成装置1の構成が簡単であり、それを容易に実現することができる。
【0052】
(第3の実施の形態)
次に、本発明の第3の実施の形態を説明する。第2の実施の形態では、動きベクトルが閾値よりも大きいブロックに隣接するブロックの画像を全て静止画像に合成するものとしたが、本実施の形態は、隣接するブロックのうち予測誤差の大きいものだけを静止画像に合成するものである。
【0053】
図7は、本実施の形態の静止画合成装置における画像処理部5の詳細を示した図5に対応するブロック図である。本実施の形態では第2の実施の形態と異なり、逆DCT部6dにおいて復元された予測誤差(画素値のデータ)を採用判定部7aに入力するとともに、採用判定バッファ72には、前述した判定結果に加え予測誤差のデータがブロック毎に記憶されるよう構成されている。
【0054】
そして、本実施の形態においても、スタートフレームからエンドフレームまでの対象フレームを復号する間、採用判定部7aは、対象ブロック毎に動きベクトルが閾値よりも大きいか否かを判別し、閾値よりも大きいときには、そのブロックの画像を合成すべきものであることを示す採用フラグを採用判定バッファ72に記憶する。さらに、対象ブロックの予測誤差も採用判定バッファ72に記憶する。やがて全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用フラグが記憶されているブロックと隣接するブロックのうち、記憶されている予測誤差が予め決められている閾値よりも大きいブロックについて新たに採用フラグを記憶する。なお、予測誤差の大きさは、例えば当該ブロック内の全ての画素値の合計値や平均値である。
【0055】
図8は、上記の採用フラグの記憶処理動作の内容を示した、図6に対応する説明図であって、図示したように本実施の形態では、動きベクトルが閾値よりも大きかったブロック番号23と隣接するブロック番号22,24のブロックのうち、予測誤差が小さいブロック番号22のブロックについては採用判定が「×」となり、予測誤差が大きいブロック番号24のブロックについてはブロックの採用判定は「○」となる。
【0056】
そして、全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用判定バッファ72において採用フラグが記憶されている(図8で採用判定が「◎」又は「○」である)ブロックの情報が採用判定部7aから前記合成処理部7bへ送られる。さらに、それに応答して合成処理部7bが、それらのブロックに対応する複数の部分画像をフレームメモリ6fから読み出すとともに、それらを内部のスチルバッファ71に記憶されている静止画像に順に合成する。なお、これ以後の動作については第2の実施の形態と同様である。
【0057】
以上のように本実施の形態においては、スタートフレームからエンドフレームまでの各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像と共に、それと隣接するブロックの画像のうちで予測誤差が閾値よりも大きなものを抽出し、それらの部分画像を静止画像として合成するため、以下のような効果を得ることができる。
【0058】
すなわち、前述したように動きベクトルが閾値よりも大きいブロックだけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、抽出されず合成されないブロックの画像(部分画像)が存在することとなる。一方、あるブロックの画像が、動きがあった被写体部分を構成しているときには、それと隣接するブロックの画像が上記被写体部分を構成している場合が多く、しかも予測誤差が大きいブロックについてはその確率が極めて高い。したがって、第2の実施の形態に比べると、合成すべき部分画像の抽出精度が高く、ベースフレームとして指定された静止画像に、動きのある被写体部分を正確に合成することができる。
【0059】
また、第1及び第2の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部6を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。
【0060】
(第4の実施の形態)
次に、本発明の第4の実施の形態を説明する。第3の実施の形態では、前記採用判定部7aが、予測誤差が所定の閾値よりも大きいことを条件(選択条件)として、動きベクトルが閾値よりも大きいブロックに隣接したブロックの合成の可否を判定するものとしたが、本実施の形態は、上記条件に、そのブロックの画像が、動きベクトルが閾値よりも大きいブロックの画像との間で輪郭に連続性があることを加えたものである。
【0061】
図9は、本実施の形態の静止画合成装置における画像処理部5の詳細を示す、第3の実施の形態で図7に示したものに対応するブロック図である。本実施の形態では第3の実施の形態と異なり、前記フレームメモリ6fに記憶されている復元用予測画像のデータが入力するとともに、入力した画像から輪郭を抽出する本発明の輪郭抽出手段である輪郭抽出部7cを有しており、そこで抽出された輪郭のデータが採用判定部7aへ出力される構成となっている。
【0062】
そして、本実施の形態においても、スタートフレームからエンドフレームまでの対象フレームを復号する間、採用判定部7aは、対象ブロック毎に動きベクトルが閾値よりも大きいブロックについて、その画像が合成すべきものであることを示す採用フラグを採用判定バッファ72に記憶する。また、全てのブロックについて上記の判別、及び判定フラグの記憶が終了したら、その時点で、採用フラグが記憶されているブロックと隣接するブロックのうち、記憶されている予測誤差が予め決められている閾値よりも大きいブロックについて新たに採用フラグを記憶する。
【0063】
さらに、本実施の形態では、採用判定部7aが、採用フラグが記憶されているブロックと、それに隣接する各々のブロック(但し、採用フラグが記憶されているものは除く)について、互いの画像における輪郭をフレーム画像における位置関係に即して所定の方法により比較し、両者間における輪郭の連続性を数値化する。そして、隣接する各々のブロックに前記連続性が所定レベルに達しているものがあれば、そのブロックについて、採用判定バッファ72に新たに採用フラグを記憶する。
【0064】
以後は、第3の実施の形態と同様に、採用判定バッファ72において採用フラグが記憶されているブロックの情報が採用判定部7aから合成処理部7bへ送られ、それに基づき合成処理部7bによって複数の部分画像がフレームメモリ6fから読み出されるとともに、それが内部のスチルバッファ71に記憶されている静止画像に順に合成されることとなる。
【0065】
以上のように本実施の形態においては、動きベクトルが閾値よりも大きいブロックに隣接したブロックの合成の可否を判定する際の条件として、そのブロックの画像が、動きベクトルが閾値よりも大きいブロックの画像との間で輪郭に一定以上の連続性があることを追加したことから、第3の実施の形態に比べ、各フレーム画像から合成すべき部分画像をより一層精度よく抽出することができる。その結果、ベースフレームとして指定された静止画像に、動きのある被写体部分だけを確実に合成することができる。
【0066】
また、第1〜第3の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部6を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。
【0067】
(第5の実施の形態)
次に、本発明の第5の実施の形態を説明する。本実施の形態は、スタートフレームからエンドフレームまでの対象フレームを復号する間に、第3の実施の形態と同様の方法により抽出した部分画像を静止画像に合成するとき、その位置を補正するものである。
【0068】
図10は、本実施の形態の静止画合成装置における画像処理部5の詳細を示す、第3の実施の形態で図7に示したものに対応するブロック図である。本実施の形態では第3の実施の形態と異なり、前記画像合成部7(図1)が、採用判定部7aと合成処理部7bに加え、フレーム動きベクトル推定部7dと、本発明の演算手段として機能するフレーム動きベクトル累積部7eとを備えており、フレーム動きベクトル推定部7dには、第2の可変長復号部6bで復号された対象ブロックの動きベクトルが入力する構成となっている。
【0069】
そして、本実施の形態においては、対象フレームを復号する間、画像合成部7が以下のように動作する。すなわち採用判定部7aは第3の実施の形態で説明した手順で、同一フレームの全ブロックについて、その画像を静止画像として合成すべきか否かの判定を行うとともに、その判定結果を採用判定バッファ72に記憶する。一方、それと並行してフレーム動きベクトル推定部7dは、入力した各ブロックの動きベクトルについて、その内容別に出現回数をカウントする統計的処理を行い、最終的な処理結果をフレーム動きベクトル累積部7eへ出力する。フレーム動きベクトル累積部7eは、入力した動きベクトルの内容別の出現回数(ブロック数)に基づき、各ブロックにおける全体的な動きの傾向を示すフレーム動きベクトルを演算し、それを合成処理部7bへ出力する。
【0070】
前記フレーム動きベクトルの演算は、最も出現回数が多い動きベクトルについて、出現回数が決められた数以上で、かつその動きベクトルが決められた閾値(合成するブロックの判定に用いられるものとは異なる閾値である。)よりも小さいといった決定条件を満たせば、その動きベクトルを前記フレーム動きベクトルとして決定し、上記決定条件を満たさなければ、フレーム動きベクトルの内容を動き無しを示すもの(0,0)とする演算である。
【0071】
ここで、フレーム動きベクトルの演算に際して、対象フレームが撮影時にカメラ揺れがあったものである場合、本来は動きのない背景等の被写体部分のブロックについては、その動きベクトルの内容が同一となる可能性が高い。例えば各ブロックの動きベクトルの内容が図8に示したようなものであって、ブロック番号21,22,24のブロックのように微少な動きを示す動きベクトル(2,1)が大勢を占めている場合が、それに相当する。そして、上記動きベクトル(2,1)が前述した決定条件を満たすものであった場合には、それがフレーム動きベクトルとして合成処理部7bへ出力される。
【0072】
また、合成処理部7bは、採用判定部7aから各ブロックの採用判定結果が送られると、それに従い複数の部分画像をフレームメモリ6fから読み出すとともに、それらを内部のスチルバッファ71に記憶されている静止画像に順に合成する。そのとき、本実施の形態においては、合成処理部7bが、読み出した部分画像を、本来のブロック位置から前記フレーム動きベクトルより示される距離だけ所定の方向へシフトさせて静止画像に合成する。これにより、静止画像に合成される部分画像におけるカメラ揺れに起因する位置ズレが補償される。なお、これ以外の動作については第3の実施の形態と同様である。
【0073】
以上のように本実施の形態においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができる。したがって、最終的に得られる静止画像から撮影時のカメラ揺れの影響を排除することができ、静止画像の品質が向上する。
【0074】
また、第1〜第4の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部6を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。
【0075】
なお、本実施の形態では、静止画像における部分画像の合成位置を、部分画像の合成時点でフレーム動きベクトルに基づき補正するようにしたが、以下のようにしてもよい。すなわち前記採用判定部7aに、全ての対象ブロックの動きベクトルを記憶するバッファを設けるとともに、前記フレーム動きベクトル累積部7eから採用判定部7aにフレーム動きベクトルを出力させる構成とするとともに、前記採用判定部7aに、前記バッファに記憶した全ての動きベクトルをフレーム動きベクトルに基づき予め補正した後、各ブロックに対する前述した判定処理を行わせるようにしてもよい。その場合であっても、結果的には静止画像における部分画像の合成位置をフレーム動きベクトルに基づき補正することができる。
【0076】
また、本実施の形態においては、第3の実施の形態を基本としたものについて説明したが、それ以外の前述した他の実施の形態にフレーム動きベクトル推定部7dとフレーム動きベクトル累積部7eとを付加することにより、静止画像から撮影時のカメラ揺れの影響を排除するようにしてもよい。
【0077】
なお、以上の説明においては、主として、被写体の動きを視覚的に把握することができる静止画像を生成し、それを表示したり印刷したりする静止画合成装置について説明したが、本発明は、例えば動画撮影機能を有するデジタルカメラや、デジタルビデオカメラに適用することができる。また、前述した画像処理部5が行うデータ処理は、専用のハードウェア資源を用いなくとも実現することができる。したがって、例えば汎用のパーソナルコンピュータと、それに前記画像処理部5と同様のデータ処理を行わせるための所定のソフトウェアとによっても本発明を実施することができる。
【0078】
【発明の効果】
以上説明したように、請求項1の発明においては、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができるようにした。よって、静止画像の生成を効率的に行うことが可能となる。
【0079】
また、請求項2の発明においては、静止画像への合成に適した部分画像だけを抽出することができるようにした。よって、被写体の動きを視覚的に把握するのにより適した静止画像を得ることが可能となる。
【0080】
また、請求項3の発明においては、各フレーム画像における、本来抽出して合成すべき部分画像が欠落する率を減少させることができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることが可能となる。
【0081】
また、請求項4の発明においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分を正確に合成することができる。
【0082】
また、請求項5の発明においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分を正確に合成することが可能となる。
【0083】
また、請求項6の発明においては、各フレーム画像から、合成すべき部分画像をより一層精度よく抽出することができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分だけを確実に合成することが可能となる。
【0084】
また、請求項7の発明においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができるようにした。よって、最終的に得られる静止画像から撮影時のカメラ揺れの影響を排除することができ、生成する静止画像の品質を向上させることが可能となる。
【0085】
また、請求項8の発明においては、その方法を用いることにより、動画像を構成するフレーム画像から、他のフレーム画像との比較作業を行うことなく、動きのあった被写体部分の部分画像を直接抽出し、それを静止画像に合成することができ、またそれをフレーム画像を復号する過程で行うことができるようにした。よって、静止画像の生成を効率的に行うことが可能となるとともに、それを容易かつ低コストで実施することができる。
【0086】
また、請求項9の発明においては、そのプログラムを用いることにより、特定のハードウェア資源を用いることなく、汎用的なハードウェア資源によって請求項1〜請求項8の発明を実現することが可能となる。
【図面の簡単な説明】
【図1】本発明の各実施の形態に共通する静止画合成装置のブロック図である。
【図2】第1の実施の形態における画像処理部を示すブロック図である。
【図3】同実施の形態において静止画像を合成するときの動作を示すフローチャートである。
【図4】フレーム画像におけるマクロブロックを示す図である。
【図5】第2の実施の形態における画像処理部を示すブロック図である。
【図6】同実施の形態の採用判定部による採用フラグの記憶処理動作の内容を示す説明図である。
【図7】第3の実施の形態における画像処理部を示すブロック図である。
【図8】同実施の形態の採用判定部による採用フラグの記憶処理動作の内容を示す説明図である。
【図9】第4の実施の形態における画像処理部を示すブロック図である。
【図10】第5の実施の形態における画像処理部を示すブロック図である。
【図11】動画データの構成を示す模式図である。
【図12】フレーム画像を構成するデータの内容を示す説明図である。
【符号の説明】
1 静止画合成装置
2 画像データ取込み部
5 画像処理部
6 デコード部
6a 第1の可変長復号部
6a 第2の可変長復号部
6c 逆量子化部
6d 逆DCT部
6e 動き補償部
6f フレームメモリ
7 画像合成部
7a 採用判定部
7b 合成処理部
7c 輪郭抽出部
7d フレーム動きベクトル推定部
7e フレーム動きベクトル累積部
8 モニタ
9 プリンタ
Claims (9)
- フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置において、
前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、
この選択手段により選択された部分画像を静止画像に合成する合成手段と
を備えたことを特徴とする静止画合成装置。 - 前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像を部分画像として選択することを特徴とする請求項1記載の静止画合成装置。
- 前記選択手段は、フレーム画像において動きベクトルが所定の閾値よりも大きい部分の画像と、当該画像に隣接する部分の画像とを部分画像として選択することを特徴とする請求項1記載の静止画合成装置。
- 前記選択手段は、前記隣接する部分画像のうち、所定の選択条件を満足するものを選択することを特徴とする請求項3記載の静止画合成装置。
- 前記所定の選択条件は、前記動きベクトルと共に復号に使用する予測誤差の大きさであることを特徴とする請求項4記載の静止画合成装置。
- フレーム画像における部分画像の輪郭を抽出する輪郭抽出手段を備えるとともに、前記所定の選択条件は、動きベクトルが所定の閾値よりも大きい部分の画像から前記輪郭抽出手段により抽出された輪郭と、前記隣接する部分画像から前記輪郭抽出手段により抽出された輪郭との間における連続性の度合であることを特徴とする請求項4又は5記載の静止画合成装置。
- 同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段を備え、
前記合成手段は、前記演算手段により演算されたフレーム動きベクトルに基づき、当該フレーム画像から前記選択手段によって選択された部分画像における静止画像への合成位置を補正することを特徴とする請求項1乃至6いずれか記載の静止画合成装置。 - フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の静止画像を抽出し静止画像に合成する静止画合成方法であって、
前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択し、選択した部分画像を静止画像に合成することを特徴とする静止画合成方法。 - フレーム間予測符号化技術を用いて符号化された動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置が有するコンピュータを、
前記フレーム画像の復号に使用する動きベクトルに基づき、前記フレーム画像における部分画像を選択する選択手段と、
この選択手段により選択された部分画像を静止画像に合成する合成手段と
して機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003169664A JP4155118B2 (ja) | 2003-06-13 | 2003-06-13 | 静止画合成装置、及び動画像からの静止画合成方法 |
US10/863,859 US7733379B2 (en) | 2003-06-13 | 2004-06-07 | Composite still-image creating device capable of creating a still image from moving images |
US12/756,370 US7893968B2 (en) | 2003-06-13 | 2010-04-08 | Composite still-image creating device capable of creating a still image from moving images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003169664A JP4155118B2 (ja) | 2003-06-13 | 2003-06-13 | 静止画合成装置、及び動画像からの静止画合成方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007125162A Division JP4453716B2 (ja) | 2007-05-10 | 2007-05-10 | 静止画合成装置、及び動画像からの静止画合成方法 |
JP2007125161A Division JP4420061B2 (ja) | 2007-05-10 | 2007-05-10 | 静止画合成装置、及び動画像からの静止画合成方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005006191A true JP2005006191A (ja) | 2005-01-06 |
JP2005006191A5 JP2005006191A5 (ja) | 2005-09-15 |
JP4155118B2 JP4155118B2 (ja) | 2008-09-24 |
Family
ID=33509095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003169664A Expired - Lifetime JP4155118B2 (ja) | 2003-06-13 | 2003-06-13 | 静止画合成装置、及び動画像からの静止画合成方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7733379B2 (ja) |
JP (1) | JP4155118B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034995A (ja) * | 2005-06-21 | 2007-02-08 | Nitto Kogaku Kk | 画像処理装置 |
CN102316270A (zh) * | 2010-07-05 | 2012-01-11 | 卡西欧计算机株式会社 | 具有合成图像的功能的图像处理装置及方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7742079B2 (en) * | 2005-02-07 | 2010-06-22 | Sony Corporation | Digital camera with automatic functions |
TWI271998B (en) * | 2005-09-21 | 2007-01-21 | Inventec Appliances Corp | Image processing method and apparatus thereof |
US8098256B2 (en) * | 2005-09-29 | 2012-01-17 | Apple Inc. | Video acquisition with integrated GPU processing |
US7546026B2 (en) * | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
US7697836B2 (en) | 2006-10-25 | 2010-04-13 | Zoran Corporation | Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired |
KR101456652B1 (ko) * | 2007-02-01 | 2014-11-04 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템 |
US8482620B2 (en) | 2008-03-11 | 2013-07-09 | Csr Technology Inc. | Image enhancement based on multiple frames and motion estimation |
KR101548269B1 (ko) * | 2008-12-02 | 2015-08-31 | 삼성전자주식회사 | 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법 |
JP5683851B2 (ja) * | 2009-08-20 | 2015-03-11 | 株式会社ザクティ | 撮像装置及び画像処理装置 |
US20110235716A1 (en) * | 2009-10-19 | 2011-09-29 | Takeshi Tanaka | Decoding apparatus, decoding method, program and integrated circuit |
JP5375744B2 (ja) * | 2010-05-31 | 2013-12-25 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
US8957982B2 (en) * | 2011-10-04 | 2015-02-17 | Olympus Imaging Corp. | Imaging device and imaging method |
TWI601075B (zh) * | 2012-07-03 | 2017-10-01 | 晨星半導體股份有限公司 | 移動補償影像處理裝置與影像處理方法 |
WO2014155877A1 (ja) * | 2013-03-26 | 2014-10-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6649212B2 (ja) * | 2016-09-06 | 2020-02-19 | 株式会社東芝 | 符号化装置、復号装置、および画像処理システム |
US11057641B1 (en) * | 2020-04-29 | 2021-07-06 | Samsung Electronics Co., Ltd. | Systems and methods of motion estimation using monocular event-based sensor |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3272466B2 (ja) | 1993-04-02 | 2002-04-08 | 三菱電機株式会社 | 動画像解析装置 |
US5610657A (en) * | 1993-09-14 | 1997-03-11 | Envistech Inc. | Video compression using an iterative error data coding method |
JP3793258B2 (ja) | 1995-10-03 | 2006-07-05 | 日本放送協会 | 動画像処理装置および方法 |
JPH09154061A (ja) | 1995-11-29 | 1997-06-10 | Matsushita Electric Ind Co Ltd | 特殊効果装置及び画像伝送システム |
US5970504A (en) * | 1996-01-31 | 1999-10-19 | Mitsubishi Denki Kabushiki Kaisha | Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated |
JPH09252467A (ja) | 1996-03-18 | 1997-09-22 | Toshiba Corp | 移動体検出装置 |
JP4110560B2 (ja) | 1998-05-20 | 2008-07-02 | カシオ計算機株式会社 | 画像処理方法及びその装置 |
US6496607B1 (en) * | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
JP3262534B2 (ja) | 1998-12-11 | 2002-03-04 | 株式会社東芝 | 動画像監視システムおよびその応用システム |
US6665342B1 (en) * | 1999-07-02 | 2003-12-16 | International Business Machines Corporation | System and method for producing a still image representation of a motion video |
JP4157234B2 (ja) * | 1999-09-02 | 2008-10-01 | 株式会社東芝 | 動画像内の移動物体検出装置 |
US6680973B2 (en) * | 2001-03-29 | 2004-01-20 | Koninklijke Philips Electronics N.V. | Scalable MPEG-2 video decoder with selective motion compensation |
AU2002351417A1 (en) * | 2001-12-21 | 2003-07-30 | Polycom, Inc. | Motion wake identification and control mechanism |
JP4068485B2 (ja) * | 2002-09-30 | 2008-03-26 | 株式会社東芝 | 画像合成方法、画像合成装置、画像合成プログラム |
-
2003
- 2003-06-13 JP JP2003169664A patent/JP4155118B2/ja not_active Expired - Lifetime
-
2004
- 2004-06-07 US US10/863,859 patent/US7733379B2/en active Active
-
2010
- 2010-04-08 US US12/756,370 patent/US7893968B2/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034995A (ja) * | 2005-06-21 | 2007-02-08 | Nitto Kogaku Kk | 画像処理装置 |
JP4598623B2 (ja) * | 2005-06-21 | 2010-12-15 | 日東光学株式会社 | 画像処理装置 |
CN102316270A (zh) * | 2010-07-05 | 2012-01-11 | 卡西欧计算机株式会社 | 具有合成图像的功能的图像处理装置及方法 |
US8488899B2 (en) | 2010-07-05 | 2013-07-16 | Casio Computer Co., Ltd. | Image processing apparatus, method and recording medium |
Also Published As
Publication number | Publication date |
---|---|
US7733379B2 (en) | 2010-06-08 |
US20100201830A1 (en) | 2010-08-12 |
JP4155118B2 (ja) | 2008-09-24 |
US20040252765A1 (en) | 2004-12-16 |
US7893968B2 (en) | 2011-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7893968B2 (en) | Composite still-image creating device capable of creating a still image from moving images | |
JP3244629B2 (ja) | シーン変化点検出方法 | |
JP4261630B2 (ja) | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 | |
JP3901287B2 (ja) | 映像信号変換装置、映像信号変換方法及び映像提供システム | |
JP5437807B2 (ja) | 動画像符号化装置および動画像復号装置 | |
US7583302B2 (en) | Image processing device having blur correction function | |
US20040202249A1 (en) | Real-time MPEG video encoding method of maintaining synchronization between video and audio | |
US8165217B2 (en) | Image decoding apparatus and method for decoding prediction encoded image data | |
US7848416B2 (en) | Video signal encoding apparatus and video data encoding method | |
US6853378B2 (en) | Moving image editing apparatus and moving image editing method using intraframe encoding | |
TW200305146A (en) | Editing of encoded A/V sequences | |
JP2016005103A (ja) | 撮像装置およびその制御方法 | |
JP4420061B2 (ja) | 静止画合成装置、及び動画像からの静止画合成方法 | |
JP3859989B2 (ja) | 画像マッチング方法およびその方法を利用可能な画像処理方法と装置 | |
JP4453716B2 (ja) | 静止画合成装置、及び動画像からの静止画合成方法 | |
JP2004357313A (ja) | 画像情報処理装置及び画像情報処理方法 | |
JP5585290B2 (ja) | 動画像符号化装置 | |
JP4154799B2 (ja) | 圧縮動画像編集装置および記憶媒体 | |
US20100232768A1 (en) | Recording device, reproducing device, and method | |
JP2006270405A (ja) | 映像処理装置,映像処理方法,およびコンピュータプログラム | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
WO2007023440A2 (en) | Video processing apparatus | |
JP2009278473A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP4736233B2 (ja) | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム | |
JP2004208076A (ja) | 映像検出信号生成装置、映像検出信号記録装置ならびに映像信号再生装置、および映像検出信号生成方法、映像検出信号記録方法ならびに映像信号再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050324 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4155118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
EXPY | Cancellation because of completion of term |