JP2007156823A - 動画生成装置、動画生成方法、及びプログラム - Google Patents

動画生成装置、動画生成方法、及びプログラム Download PDF

Info

Publication number
JP2007156823A
JP2007156823A JP2005351007A JP2005351007A JP2007156823A JP 2007156823 A JP2007156823 A JP 2007156823A JP 2005351007 A JP2005351007 A JP 2005351007A JP 2005351007 A JP2005351007 A JP 2005351007A JP 2007156823 A JP2007156823 A JP 2007156823A
Authority
JP
Japan
Prior art keywords
image
moving image
picture
still image
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005351007A
Other languages
English (en)
Other versions
JP4668051B2 (ja
Inventor
Akira Hino
明 日野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005351007A priority Critical patent/JP4668051B2/ja
Publication of JP2007156823A publication Critical patent/JP2007156823A/ja
Application granted granted Critical
Publication of JP4668051B2 publication Critical patent/JP4668051B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】静止画の移り変わりを表現する動画を効率的に生成すること。
【解決手段】静止画から複数の動画構成画像を生成して静止画の移り変わりを表現する動画を生成する動画生成装置は、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示す遷移データから、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成部を備え、動画生成部は、第1静止画及び第2静止画にDCT変換を施して第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部と、第1静止画の複数の部分領域のDCT係数と第2静止画の複数の部分領域のDCT係数とから、複数の動画構成画像を生成する動画構成画像生成部とを有する。
【選択図】図2

Description

本発明は、動画生成装置、動画生成方法、及びプログラムに関する。特に本発明は、静止画から動画を生成する動画生成装置及び動画生成方法、並びに、動画生成装置用のプログラムに関する。
顧客から提供された複数の静止画像データから動画データを生成して記録するシステムにおいて、静止画像データに静止画の切り替わりを示す差分データを付加することによって、静止画が切り替わってゆく動画データを生成するシステムが知られている(例えば、特許文献1参照。)。この技術によって、ユーザはDVDプレーヤーのような家庭用動画再生機器でも、パソコン等のコンピュータ端末でも、簡単に写真画像を閲覧することができる。
特開2003−259303号公報
しかし、特許文献1には、画像の切り替わりを示す動画を効率的に生成する具体的な技術について開示されていない。例えば、特許文献1には、静止画上のオブジェクトの移動、拡大・縮小、回転、色調の変化、静止画のフェードイン・フェードアウト、静止画に対するモザイク表示等、静止画の移り変わりを示す動画データを効率的に生成する具体的な技術については開示されていない。
そこで本発明は、上記の課題を解決することができる動画生成装置、動画生成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
本発明の第1の形態によると、複数の静止画が移り変わる動画を生成する動画生成装置であって、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、トランジションデータ取得部が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成部とを備え、動画生成部は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部と、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部とを有する。
動画構成画像生成部は、第1静止画の部分領域のDCT係数と、第2静止画の部分領域のDCT係数とを、複数の異なる重み付けをして周波数成分毎に加算することにより、複数の動画構成画像を生成してよい。
動画構成画像生成部は、第1静止画の部分領域のDCT係数の重みが徐々に小さくなり、第2静止画の部分領域のDCT係数の重みが徐々に大きくなる、複数の動画構成画像を生成してよい。
動画生成部は、トランジションデータ取得部が取得したトランジションデータに含まれる、第1静止画から第2静止画への変化時間に基づいて、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像の数を算出する動画構成画像数算出部をさらに有し、動画構成画像生成部は、動画構成画像数算出部が算出した数の動画構成画像のそれぞれにおける第1静止画の部分領域のDCT係数の重み及び第2静止画の部分領域のDCT係数の重みを算出してよい。
動画生成部は、トランジションデータ取得部が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる、MPEG符号化された動画を生成し、DCT変換部は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数のマクロブロックの大きさの部分領域のDCT係数を算出し、動画構成画像生成部は、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像のマクロブロックのDCT係数を生成してよい。
動画生成部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一の動画構成画像における所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、他の動画構成画像に存在するか否かを特定する同一部分領域特定部と、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である他の動画構成画像に含まれる部分領域との間の位置の差を示す動きベクトルを算出する動きベクトル算出部とをさらに有し、動画構成画像生成部は、所定の表示領域のマクロブロックのDCT係数を、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから生成し、同一部分領域が同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部が算出した動きベクトルで表現することによって動画構成画像を生成してよい。
動画構成画像生成部は、DCT変換部が算出した第1静止画のDCT係数及び第2静止画のDCT係数に基づいて、動画構成画像であるIピクチャを生成するIピクチャ生成部と、トランジションデータ取得部が取得したトランジションデータ及びIピクチャ生成部が生成したIピクチャに基づいて、動画構成画像であるPピクチャを生成するPピクチャ生成部とをさらに含み、同一部分領域特定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一のPピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のPピクチャより前のタイミングで再生されるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに存在するか否かを特定し、動きベクトル算出部は、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、Pピクチャ生成部は、複数のPピクチャにおいて、所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのPピクチャより前のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部が算出した動きベクトルで表現することによって、複数のPピクチャを生成してよい。
動画構成画像生成部は、トランジションデータ取得部が取得したトランジションデータ、Iピクチャ生成部が生成したIピクチャ、及びPピクチャ生成部が生成したPピクチャに基づいて、動画構成画像であるBピクチャを生成するBピクチャ生成部をさらに含み、同一部分領域特定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一のBピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のBピクチャより前又は後のタイミングで再生されるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに存在するか否かを特定し、動きベクトル算出部は、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部が生成したIピクチャ又はPピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、Bピクチャ生成部は、複数のBピクチャにおける所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのBピクチャより前又は後のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックの画像を、動きベクトル算出部が算出した動きベクトルで表現することによって、複数のBピクチャを生成してよい。
本発明の第2の形態によると、複数の静止画が移り変わる動画を生成する動画生成方法であって、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、トランジションデータ取得段階において取得されたトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成段階とを備え、動画生成段階は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換段階と、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成段階とを有する。
本発明の第3の形態によると、複数の静止画が移り変わる動画を生成する動画生成装置用のプログラムであって、動画生成装置を、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部、トランジションデータ取得部が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する動画生成部として機能させ、動画生成部を、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部として機能させる。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
本発明によれば、静止画の移り変わりを表現する動画を効率的に生成する動画生成装置を提供することができる。
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る動画生成装置100の利用環境の一例を示す。動画生成装置100は、ユーザ190が撮像装置110を用いて撮像した静止画120、121、122、123、・・・を受け取って、スライドショー等のMPEG符号化された動画データ130を生成する。このとき、動画生成装置100は、静止画の動き等の、静止画の遷移が定義されたトランジションデータに従って静止画を加工することによって、静止画と静止画との間で再生されるべき一駒の画像である動画構成画像を複数生成する。図1の例では、動画生成装置100は、静止画121から動画構成画像であるIピクチャを生成して、その後、表示領域144に静止画122が次第に現れてくる動画を構成する複数の動画構成画像(131、132)であるPピクチャ又はBピクチャを生成する。
このとき、動画生成装置100は、静止画122が現れる表示領域144の位置及び大きさが定義されたテンプレートデータと、静止画122の輝度の増加速度が定義されたトランジションデータを取得する。そして、動画生成装置100は、静止画122上の表示領域144に静止画122が配置されたIピクチャ133を生成する。そして、動画生成装置100は、静止画122の輝度の増加速度に応じた、各動画構成画像131、132上の表示領域144における静止画121と静止画122のそれぞれの重み付け係数を算出する。そして、動画生成装置100は、表示領域144に含まれる静止画121の画像内容についてのマクロブロックのDCT係数と、表示領域144に表示される静止画122の画像内容についてのマクロブロックのDCT係数とを、周波数成分毎に重み付けして足し合わせることによって、各動画構成画像131、132の表示領域144におけるマクロブロックのDCT係数を算出する。このため、動画生成装置100は、静止画122が表示領域144に次第に現れてくる動画の動画構成画像131、132のDCT係数を、各動画構成画像131、132の画素データを生成することなく直接的にDCT係数を算出することができる。
また、動画生成装置100は、各動画構成画像131、132の表示領域以外に含まれるマクロブロックの画像内容が、Iピクチャにおける同じ位置のマクロブロックの画像内容と同一であることを、テンプレートデータから判断する。したがって、動画生成装置100は、各動画構成画像の表示領域144以外に含まれるマクロブロックを、Iピクチャに対する0の動きベクトルと、0の差分画像データとによって表現する。このようにして、動画生成装置100は、画像内容が変化しないマクロブロックをブロックマッチングによらずにテンプレートデータから直接的に判断して、当該マクロブロックを動きベクトルと差分画像データとによって表現するので、動画を高速に生成することができる。
なお、動画生成装置100は、動画を作成するデザイナ、ユーザ190等からの指示をトランジションデータとして取得してよい。また、動画生成装置100は、動画生成装置100がアクセスすることのできる記録媒体、通信回線を介して、トランジションデータ又はテンプレートデータを受け取ってもよい。なお、動画生成装置100は、DVD150等の光記録媒体に記録した動画をユーザ190に提供してよいし、インターネット等の通信回線を通じて、生成した動画をユーザ190に提供してもよい。また、動画生成装置100は、インターネット等の通信回線を通じて撮像装置110から静止画を受け取ってよいし、撮像装置110によって半導体メモリ等の記録媒体に記録された静止画を受け取ってよい。なお、動画生成装置100は、撮像画像であってもよいし、撮像画像以外の、画像加工ソフト等を利用して作成されたイメージデータであってよい。なお、動画生成装置100は、デジタルフォトショップ170に設けられた動画生成用の端末であってよいし、個人宅に設けられたパーソナルコンピュータ等の端末であってよい。
以上説明したように、本実施例の動画生成装置100によれば、静止画と同じ画像内容を持つマクロブロックのデータをトランジションデータ及びテンプレートデータから直接的に判断することができる。したがって、動画生成装置100は、本図の例における表示領域144等、画像が変化する画像領域の画像データを生成すればよい。このとき、本実施形態における動画生成装置100は、画像が変化する画像領域についてはDCT係数の足し合わせから生成する。したがって、動画生成装置100は、動画構成画像の全画像領域の画素データを生成してからMPEG符号化を施す場合に比べて、高速にMPEG符号化された動画を生成することができる。
図2は、動画生成装置100のブロック構成の一実施例を示す。本実施例の動画生成装置100は、複数の静止画が移り変わる動画を生成する。動画生成装置100は、指示入力部200、画像出力部205、画像格納部210、トランジションデータ取得部212、及び動画生成部214を備える。動画生成部214は、動画構成画像数算出部230、同一部分領域特定部240、動きベクトル算出部250、動画構成画像生成部280、DCT変換部290、DCT係数量子化部292、及び符号化部294を有する。動画構成画像生成部280は、Iピクチャ生成部282、Pピクチャ生成部284、及びBピクチャ生成部286を含む。
画像格納部210は複数の静止画を格納する。トランジションデータ取得部212は、動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得する。動画生成部214は、トランジションデータ取得部212が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる動画を生成する。
具体的には、DCT変換部290は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数の部分領域のDCT係数を算出する。動画構成画像生成部280は、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する。
具体的には、動画構成画像生成部280は、第1静止画の部分領域のDCT係数と、第2静止画の部分領域のDCT係数とを、複数の異なる重み付けをして周波数成分毎に加算することにより、複数の動画構成画像を生成する。例えば、動画構成画像生成部280は、第1静止画の部分領域のDCT係数の重みが徐々に小さくなり、第2静止画の部分領域のDCT係数の重みが徐々に大きくなる、複数の動画構成画像を生成してよい。これにより動画生成装置100は、第2静止画が徐々に現れてくる動画を構成する動画構成画像のDCT係数を、第1静止画と第2静止画のDCT係数の加算から直接的に算出することができる。
動画構成画像数算出部230は、トランジションデータ取得部212が取得したトランジションデータに含まれる、第1静止画から第2静止画への変化時間に基づいて、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像の数を算出する。例えば、動画構成画像数算出部230は、第1静止画から第2静止画への変化時間と、単位時間あたりに再生すべき動画構成画像の枚数とから当該動画構成画像の数を算出する。そして、動画構成画像生成部280は、動画構成画像数算出部230が算出した数の動画構成画像のそれぞれにおける第1静止画の部分領域のDCT係数の重み及び第2静止画の部分領域のDCT係数の重みを算出する。
なお、動画生成装置100がMPEG符号化された動画を生成する場合においては、動画生成部214は、トランジションデータ取得部212が取得したトランジションデータに基づいて、第1静止画及び第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が第1静止画から第2静止画へ移り変わる、MPEG符号化された動画を生成する。そして、DCT変換部290は、第1静止画及び第2静止画にDCT変換を施して、第1静止画及び第2静止画に含まれる複数のマクロブロックの大きさの部分領域のDCT係数を算出する。そして、動画構成画像生成部280は、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから、第1静止画から第2静止画へ移り変わる動画に含まれる複数の動画構成画像のマクロブロックのDCT係数を生成する。
同一部分領域特定部240は、トランジションデータ取得部212が取得したトランジションデータに基づいて、一の動画構成画像における所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、他の動画構成画像に存在するか否かを特定する。そして、動きベクトル算出部250は、トランジションデータ取得部212が取得したトランジションデータに基づいて、同一部分領域特定部240が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である他の動画構成画像に含まれる部分領域との間の位置の差を示す動きベクトルを算出する。
そして、動画構成画像生成部280は、所定の表示領域のマクロブロックのDCT係数を、第1静止画の複数の部分領域のそれぞれのDCT係数と第2静止画の複数の部分領域のそれぞれのDCT係数とから生成し、同一部分領域が同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部250が算出した動きベクトルで表現することによって動画構成画像を生成する。このように、動画生成装置100は、表示領域以外の変化のない領域をトランジションデータから特定する。したがって、動画生成装置100は、ブロックマッチング等の処理をすることなく、変化のない領域に含まれると判断されたマクロブロックの画像内容について、MPEG符号化における動きベクトルを0、差分画像信号を0として表現することができる。
Iピクチャ生成部282は、DCT変換部290が算出した第1静止画のDCT係数及び第2静止画のDCT係数に基づいて、動画構成画像であるIピクチャを生成する。例えば、Iピクチャ生成部282は、算出したマクロブロック毎DCT係数を、テンプレートデータで示される画像枠に当てはめることによって、IピクチャのマクロブロックのDCT係数を算出する。
また、Pピクチャ生成部284は、トランジションデータ取得部212が取得したトランジションデータ及びIピクチャ生成部282が生成したIピクチャに基づいて、動画構成画像であるPピクチャを生成する。また、Bピクチャ生成部286は、トランジションデータ取得部212が取得したトランジションデータ、Iピクチャ生成部282が生成したIピクチャ、及びPピクチャ生成部284が生成したPピクチャに基づいて、動画構成画像であるBピクチャを生成する。
Pピクチャの生成に関しては、同一部分領域特定部240は、トランジションデータ取得部212が取得したトランジションデータに基づいて、一のPピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のPピクチャより前のタイミングで再生されるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに存在するか否かを特定する。
そして、動きベクトル算出部250は、トランジションデータ取得部212が取得したトランジションデータに基づいて、同一部分領域特定部240が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。Pピクチャ生成部284は、複数のPピクチャにおいて、所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのPピクチャより前のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを、動きベクトル算出部250が算出した動きベクトルで表現することによって、複数のPピクチャを生成する。
また、Bピクチャの生成に関しては、同一部分領域特定部240は、トランジションデータ取得部212が取得したトランジションデータに基づいて、一のBピクチャにおける所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のBピクチャより前又は後のタイミングで再生されるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに存在するか否かを特定する。
そして、動きベクトル算出部250は、トランジションデータ取得部212が取得したトランジションデータに基づいて、同一部分領域特定部240が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容であるIピクチャ生成部282が生成したIピクチャ又はPピクチャ生成部284が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。そして、Bピクチャ生成部286は、複数のBピクチャにおける所定の表示領域に含まれるマクロブロックのDCT係数を、第1静止画のマクロブロックのDCT係数と第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、同一部分領域がそれぞれのBピクチャより前又は後のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックの画像を、動きベクトル算出部250が算出した動きベクトルで表現することによって、複数のBピクチャを生成する。
また、DCT係数量子化部292は、動画構成画像生成部280が生成したIピクチャ、Pピクチャ、及びBピクチャに含まれるDCT係数に量子化を施すことによって、データ量が圧縮されたIピクチャ、Pピクチャ、及びBピクチャを生成する。符号化部294は、DCT係数量子化部292が生成したIピクチャ、Pピクチャ、及びBピクチャを含む動画に対して符号化を施すことによって、データ量が圧縮された動画を生成する。具体的には、符号化部294は、Iピクチャ、Pピクチャ、及びBピクチャを含む動画に対してランレングス符号化及びハフマン符号化を施してよい。画像出力部205は、符号化部294が生成した動画を、動画生成装置100の外部に出力する。例えば、画像出力部205は、DVD150等の記録媒体に動画を出力する。
以上説明したように、本実施例における動画生成装置100によれば、変化する領域のマクロブロックのDCT係数を、Iピクチャに含まれるDCT係数の平均化によって算出する。また、動画生成装置100は、Pピクチャ及びBピクチャを生成する場合において、それぞれ前、或いは前又は後のタイミングで再生されるIピクチャ又はPピクチャから画像内容が変化しない領域のマクロブロックについては、トランジションデータから動きベクトルを直接的に算出することができる。このため動画生成装置100は、全画像領域の画素データを生成してからMPEG符号化を施す場合に比べて効率的にMPEG圧縮された動画を生成することができる。なお、本実施形態における静止画とは、アニメーションを構成する画像であってよく、アニメーションに含まれるオブジェクトの画像等の、アニメーションを構成する一枚の画像における部分画像であってよい。そして、動画生成装置100は、それらの複数の静止画からアニメーションを生成してよい。この場合でも、動画生成装置100はアニメーションを構成する画像の画素データを生成してからMPEG符号化を施す場合に比べてアニメーションを高速に生成することができるのは言うまでもない。
図3は、動画生成装置100によって生成される動画構成画像の一例を示す。本図の例では、動画生成部214は、静止画の切り替わりを示す動画を生成する。本図の例における静止画の移り変わり例では、静止画の表示領域である画像枠350内において、静止画300が表示されてから、次第に静止画300の画像が消えていき、一旦消滅してから(例えば、動画構成画像315)、静止画301が次第に現れてくる動画を生成する。
なお、画像枠350は、ユーザ190によるテンプレートの選択によって指定され、テンプレートデータとして動画生成装置100が取得する。また、当該画像枠350内に表示する静止画300及び静止画301は、ユーザ190によって選択されるとともに、静止画300から静止画301に切り替わってゆく旨が動画生成装置100に入力され、トランジションデータとしてトランジションデータ取得部212が取得する。他にも、動画生成装置100は、静止画300が静止画301に切り替わるまでの時間をユーザ190からのトランジションデータとして受け取る。なお、動画構成画像数算出部230は、静止画300が静止画301に切り替わるまでの時間と、連続する動画構成画像の表示間隔とから、動画構成画像310と動画構成画像320との間の動画構成画像の数nを算出する。
本図の例では、動画生成部214は、静止画300及び301から生成される動画構成画像310及び320をIピクチャとして生成する。言い換えると、動画生成部214は、動画構成画像310における静止画300及び301の重み付け係数をそれぞれ1及び0とし、静止画300に対して算出した各マクロブロックのDCT係数が、動画構成画像310の画像枠350内の各マクロブロックのDCT係数となる。逆に、動画構成画像320における静止画300及び301の重み付け係数はそれぞれ0及び1であり、静止画301に対して算出した各マクロブロックのDCT係数が、動画構成画像320の画像枠350内の各マクロブロックのDCT係数となる。
そして、動画構成画像生成部280は、動画構成画像310と動画構成画像315との間で表示される動画構成画像(例えば、動画構成画像311)においては、静止画301のDCT係数に対する重み付け係数を0のまま、静止画300のDCT係数に対する重み付け係数を動画構成画像315にかけて0にまで減少させる。そして、Pピクチャ生成部284又はBピクチャ生成部286は、静止画300の各マクロブロックのDCT係数に、各重み付け比率を乗じた値を、Pピクチャ又はBピクチャである動画構成画像用のDCT係数として算出する。これにより、動画生成部214は、静止画300が動画構成画像315にかけて次第に消えてゆく動画を生成することができる。
逆に、動画生成部214は、動画構成画像315から動画構成画像320にかけて静止画301が次第に現れてくる動画を表現すべく、動画構成画像315と動画構成画像320との間で表示される動画構成画像(例えば、動画構成画像317)において、静止画300のDCT係数に対する重み付け比率を0としたまま、静止画301のDCT係数に対する重み付け係数を動画構成画像320にかけて1にまで増加させる。そして、Pピクチャ生成部284又はBピクチャ生成部286は、静止画301の各マクロブロックのDCT係数に各重み付け係数を乗じた値を、Pピクチャ又はBピクチャである動画構成画像用のDCT係数として算出する。これにより動画生成部214は、静止画301が動画構成画像315から次第に表れてくる動画を生成することができる。
また、本図における画像の切り替わりを示す他の例では、動画生成部214は、静止画300から静止画301へと表示を切り替える動画であって、静止画300が次第に消えてゆくにつれて、静止画301が次第に現れてくる動画を生成する。本例においても、動画生成部214は、静止画300及び301から生成される動画構成画像310及び320をIピクチャとして生成する。そして、動画構成画像310と動画構成画像320との間に再生される動画構成画像について、より後のタイミングで表示される動画構成画像において静止画300のDCT係数の重み付け係数をより小さくするとともに、静止画301のDCT係数に対する重み付け係数をより大きくする。そして、Pピクチャ生成部284又はBピクチャ生成部286は、静止画301の各マクロブロックのDCT係数に、各重み付け係数乗じた値を、Pピクチャ又はBピクチャにおけるDCT係数とする。このようにして動画生成部214は、静止画300が次第に消えつつ静止画301が次第に表れてくる動画を生成することができる。
なお、動画生成部214は、動画構成画像数算出部230が算出した動画構成画像の数nがより大きいほど重み付け係数の変化量をより小さく設定してよい。例えば、動画構成画像生成部280は、静止画300に対する重み付け係数を、直前の動画構成画像における当該重み付け係数に対して1/(n+1)ずつ減少させる。また、動画構成画像生成部280は、静止画301に対する重み付け係数を、直前の動画構成画像における当該重み付け係数に対して1/(n+1)ずつ増加させる。これにより、動画生成装置100は、一定の切り替わり速度で静止画300が静止画301に切り替わる動画を生成することができる。
以上説明したように、動画生成装置100は静止画のDCT係数の重み付けによって各動画構成画像のDCT係数を直接的に算出するので、各動画構成画像の画素データを一旦生成してからMPEG符号化を行う場合に比べて動画の生成時間を削減することができる。なお、本図においては、説明を簡単にするために、1つの静止画からIピクチャを生成する場合について説明したが、複数の静止画を合成した画像をIピクチャとして生成してよいのは言うまでもない。このとき、例えばトランジションデータ取得部212は、複数の静止画を合成する領域を示すトランジションデータを取得してよい。
図4は、DCT係数の足し合わせによって静止画が移り変わる動画を生成する生成方法の一例を示す。本図の例では、動画生成部214は、図3において説明した静止画300が表示された状態から、一部の表示領域451に図3で説明した静止画301が表れてくる動画を生成する。本図の例においては、動画生成装置100は、静止画300及び静止画301について算出されたDCT係数を足し合わせることによって、表示領域451の位置に含まれる画像内容のDCT係数を算出する。
なお、本図の例では、動画において画像上を移動する含む太陽を示すオブジェクトを含んでいるが、移動するオブジェクトを含むマクロブロックの画像内容を生成する方法については図5に関連して説明する。
DCT変換部290は、動画構成画像410及び420(Iピクチャ)を生成する場合に、それぞれの動画構成画像の各マクロブロックに含まれる画素データについてDCT変換を施すことによって、DCT係数を算出する。DCT変換部290は、動画構成画像410における縦横それぞれ16画素のマクロブロック(例えば、マクロブロック460)について、縦横それぞれ8画素を有する4つのブロックの輝度信号について、ブロック毎にDCT係数を算出する。また、DCT変換部290は、各マクロブロックにおいて、Cr及びCbの色差信号のそれぞれについて、縦横それぞれ8画素分のブロックのDCT係数として算出する。また、動画構成画像420(Iピクチャ)の表示領域451内に含まれる、マクロブロック460と同じ位置のマクロブロック470についても、動画構成画像420(Iピクチャ)の生成過程において、4つのブロックの輝度信号、並びにCr及びCbの色差信号を示すそれぞれのブロックについてDCT係数がそれぞれ算出される。
そして、動画構成画像413の表示領域451内のマクロブロック465のDCT係数の算出方法を例に挙げて具体的に説明すると、マクロブロック460のDCT係数及びマクロブロック470のDCT係数を周波数成分毎に加重平均することによって、マクロブロック465の輝度信号並びに色差信号Cr及びCbについてのDCT係数を算出する。なお、輝度信号の各ブロックにおけるDCT係数の平均化は、同じ位置を示すブロックとの間の、輝度信号のDCT係数の平均化であることは言うまでもない。また、言うまでもなく、Cr信号及びCb信号についても、同じ位置を示すマクロブロックの間でDCT係数とを平均化する。本図の例では、マクロブロック460の輝度信号における1つのブロックのDC成分I401と、マクロブロック470の輝度信号における1つのブロックのDC成分I402と、それぞれに対する重み付け係数α及びβを用いて、マクロブロック465の輝度信号における1つのブロックのDC成分(α×I401+β×I402)が算出される例が図示されている。なお、重み付け係数α及びβは、図3に関連して説明した方法で算出された重み付け係数であってよい。
以上説明したように動画生成装置100は、表示領域470のマクロブロックの画像内容のDCT係数を、予め計算された静止画のDCT係数の平均化によって直接的に算出することができる。したがって、動画生成装置100は、各動画構成画像の画素データを一旦生成してからMPEG符号化を施す場合に比べて、MPEG符号化された動画をより高速に生成することができる。
図5は、画像におけるオブジェクトの移動を含む動画の生成例を示す。本図の例では、動画生成装置100は、静止画300を背景とした太陽を示すオブジェクトの移動を含む動画データを生成する。トランジションデータ取得部212は、連続して再生される動画構成画像間における、太陽を示すオブジェクトの座標の差(ベクトルΔTV501、502、503、504)をトランジションデータとして取得する。また、トランジションデータにはオブジェクトの初期位置も含まれており、動画生成部214は静止画300のトランジションデータで示されるオブジェクトの初期位置にオブジェクトの画像を重ねて、動画構成画像531を生成する。このとき、動画生成装置100は、動画構成画像531をIピクチャとして生成する。
ここで、P又はBピクチャの生成方法について、動画構成画像534(Pピクチャ)の生成方法を例に挙げて説明すると、同一部分領域特定部240は、トランジションデータで示される各ベクトルΔTVを、動画構成画像531(Iピクチャ)から順に加算していくことによって、当該動画構成画像との間のオブジェクトの位置の差を示すオブジェクト移動ベクトルV514を算出する。本図の例では、オブジェクト移動ベクトルTV514は、ΔTV501+ΔTV502+ΔTV503で表現することができる。他にも、トランジションデータ取得部212は、オブジェクトの速度の時間依存データを取得してもよく、Iピクチャからの時間的な積分によってオブジェクトが移動したオブジェクト移動ベクトルを算出してもよい。
また、動画構成画像334(Pピクチャ)におけるオブジェクトの位置、オブジェクトの輪郭情報、及びマクロブロックの位置とから、オブジェクトの輪郭を含むマクロブロック(例えば、領域580におけるマクロブロック571、572、573、及び574)が特定される。本図の例では、例えば領域580において、オブジェクトに全領域が含まれるマクロブロック561、562、及び563の画像内容は、それぞれオブジェクト移動ベクトルTV514の逆向きのベクトルで示される先のIピクチャにおける部分領域551、552、553と同じの画像内容となる。
そして、オブジェクトの輪郭を含むマクロブロック571、572、573、及び574の、オブジェクトより外側の周囲に存在するマクロブロック(例えば、マクロブロック581)は、全領域が背景に含まれる。このような、全領域が背景に含まれるマクロブロックの画像内容は、Iピクチャにおける当該マクロブロックの範囲内に移動するオブジェクトが含まれない限り、そのマクロブロックの範囲のIピクチャの画像内容(背景の画像)と同一となる。したがって、全領域が背景に含まれるマクロブロックの画像内容は、動きベクトルを0、差分画像信号を0として表現することができる。
また、動画生成部214は、オブジェクトの輪郭を含むマクロブロック(例えば、マクロブロック572)は、背景画像とオブジェクトの画像とを合成することによって生成してよい。例えば、動画生成部214は、マクロブロック572におけるオブジェクトを含む領域591のオブジェクトの画像(例えば、動画構成画像531における画像541の部分)と、動画構成画像531におけるマクロブロック572で示される範囲の画像内容のうちの、オブジェクトの領域591以外の領域542の画像とを合成することによって、マクロブロック572の画像を生成することができる。
また、動画生成部214は、マクロブロック572の画像内容を、差分画像及び動きベクトルを用いて表現してもよい。例えば、動画生成部214は、オブジェクトの領域591の面積を算出して、マクロブロックの面積に対する領域591の面積の比が予め定められた値(例えば、0.5)より大きい場合に、動画構成画像531(Iピクチャ)の部分領域554との差分画像信号を生成し、生成した差分画像信号と、当該マクロブロックとの間のオブジェクト移動ベクトルによって、マクロブロック572の画像内容を表現してよい。また、動画生成部214は、マクロブロックの面積に対する領域591の面積の比が予め定められた値(例えば、0.5)以下である場合には、マクロブロック572の位置における動画構成画像531(Iピクチャ)の部分領域555との差分画像信号を生成し、生成した差分画像信号と、0の動きベクトルとによって、マクロブロック572の画像内容を表現することができる。このように、動画生成装置100は、ブロックマッチングを行うことなく、トランジションデータに基づいて容易に類似する部分領域を特定することができる。
なお、境界線を含むマクロブロック572の画像内容を、上記のように画像の合成から生成する方法の他に、境界線の近傍のDCT係数の周波数成分毎の平均化によって生成することもできる。例えば、動画生成部214は、マクロブロック554及び555の各ブロックについて計算されたDCT係数を、周波数成分毎に加重平均することによって、マクロブロック572の輝度信号、並びに色差信号Cr及びCbのDCT係数を算出してよい。なお、マクロブロックにおけるDCT係数の平均化は、図4に関連して説明した平均化処理と同様の処理によって得ることができるので説明を省略する。
このように、動画生成装置100は、境界部を含むマクロブロックの画像内容のDCT係数を、予め計算されたDCT係数の平均化によって直接的に算出することができる。したがって、動画生成装置100は、画素データからDCT変換を施す場合に比べて、境界部を含むマクロブロックの画像内容のDCT係数をより高速に生成することができる。なお、このようなDCT係数の平均化によって得られる画像は、背景とオブジェクトとが重ね合わされた画像となるので、例えば背景画像をオブジェクトが移動する画像において、オブジェクトと背景の境界部分が正確に表現された画像とはならない。しかし、動画の閲覧者の目には、移動するオブジェクトの周囲においては背景の画像とオブジェクトの画像とが残像として残るので、動くオブジェクトはぼやけて見える。このため、オブジェクトの輪郭を含むマクロブロックの画像が、背景とオブジェクトとが重畳された画像となっても、閲覧者は違和感を感じることなく動画を閲覧することができる。
以上説明したように、動画生成装置100は、トランジションデータで示されるオブジェクトの移動情報の加算によって、同一の画像内容である画像を容易に特定することができる。このため、一旦動画構成画像の画素データを生成する場合に比べて、MPEG圧縮された動画をより高速に生成することができる。特に、動きベクトルを算出するためのブロックマッチング等に相当する処理を、オブジェクトの移動情報の加算によって実現することができるので、動きベクトルをより高速に算出することができる。なお、トランジションデータで示されるオブジェクトの移動は、基準となる動画構成画像(例えば、Iピクチャ又はPピクチャ)におけるオブジェクトの位置と他の動画構成画像(Bピクチャ、Pピクチャ)におけるオブジェクトの位置の差が、1/2画素を最小単位とする値となることが望ましい。この場合、オブジェクトに全画像領域が含まれるマクロブロックにおいては、動きベクトルはオブジェクト移動ベクトルと同一であり、かつ、0の差分画像信号で表現することができるので、動画をより高い圧縮率で圧縮することができるとともに、動画をより高速に生成することができる。
図6は、動画生成装置100のハードウェア構成の一例を示す。動画生成装置100は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、動画生成装置100が起動時に実行するブート・プログラムや、動画生成装置100のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。
CPU1505により実行されるプログラムは、動画生成装置100を、図1から図5にかけて説明した、指示入力部200、画像出力部205、画像格納部210、トランジションデータ取得部212、及び動画生成部214として機能させる。また、当該プログラムは、動画生成部214を、動画構成画像数算出部230、同一部分領域特定部240、動きベクトル算出部250、動画構成画像生成部280、DCT変換部290、DCT係数量子化部292、及び符号化部294として機能させる。また、当該プログラムは、動画構成画像生成部280を、Iピクチャ生成部282、Pピクチャ生成部284、及びBピクチャ生成部286として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを動画生成装置100に提供してもよい。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
動画生成装置100の利用環境の一例を示す図である。 動画生成装置100のブロック構成の一例を示す図である。 動画生成装置100によって生成される動画構成画像の一例を示す図である。 DCT係数の足し合わせによる動画生成方法の一例を示す図である。 画像におけるオブジェクトの移動を含む動画の生成例を示す図である。 動画生成装置100のハードウェア構成の一例を示す図である。
符号の説明
100 動画生成装置
110 撮像装置
130 動画データ
150 DVD
170 デジタルフォトショップ
190 ユーザ
200 指示入力部
205 画像出力部
210 画像格納部
212 トランジションデータ取得部
214 動画生成部
230 動画構成画像数算出部
240 同一部分領域特定部
250 動きベクトル算出部
280 動画構成画像生成部
282 Iピクチャ生成部
284 Pピクチャ生成部
286 Bピクチャ生成部
290 DCT変換部
292 DCT係数量子化部
294 符号化部

Claims (10)

  1. 複数の静止画が移り変わる動画を生成する動画生成装置であって、
    動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、
    前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる動画を生成する動画生成部と
    を備え、
    前記動画生成部は、
    前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部と、
    前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部と
    を有する動画生成装置。
  2. 前記動画構成画像生成部は、前記第1静止画の部分領域のDCT係数と、前記第2静止画の部分領域のDCT係数とを、複数の異なる重み付けをして周波数成分毎に加算することにより、複数の動画構成画像を生成する
    請求項1に記載の動画生成装置。
  3. 前記動画構成画像生成部は、前記第1静止画の部分領域のDCT係数の重みが徐々に小さくなり、前記第2静止画の部分領域のDCT係数の重みが徐々に大きくなる、複数の動画構成画像を生成する
    請求項2に記載の動画生成装置。
  4. 前記動画生成部は、
    前記トランジションデータ取得部が取得したトランジションデータに含まれる、前記第1静止画から前記第2静止画への変化時間に基づいて、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像の数を算出する動画構成画像数算出部
    をさらに有し、
    前記動画構成画像生成部は、前記動画構成画像数算出部が算出した数の動画構成画像のそれぞれにおける前記第1静止画の部分領域のDCT係数の重み及び前記第2静止画の部分領域のDCT係数の重みを算出する
    請求項3に記載の動画生成装置。
  5. 前記動画生成部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる、MPEG符号化された動画を生成し、
    前記DCT変換部は、前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数のマクロブロックの大きさの部分領域のDCT係数を算出し、
    前記動画構成画像生成部は、前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像のマクロブロックのDCT係数を生成する
    請求項1に記載の動画生成装置。
  6. 前記動画生成部は、
    前記トランジションデータ取得部が取得したトランジションデータに基づいて、一の動画構成画像における前記所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、他の動画構成画像に存在するか否かを特定する同一部分領域特定部と、
    前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である他の動画構成画像に含まれる部分領域との間の位置の差を示す動きベクトルを算出する動きベクトル算出部と
    をさらに有し、
    前記動画構成画像生成部は、前記所定の表示領域のマクロブロックのDCT係数を、前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから生成し、前記同一部分領域が同一の画像内容の部分領域が存在すると判断したマクロブロックを、前記動きベクトル算出部が算出した動きベクトルで表現することによって動画構成画像を生成する
    請求項5に記載の動画生成装置。
  7. 前記動画構成画像生成部は、
    前記DCT変換部が算出した前記第1静止画のDCT係数及び前記第2静止画のDCT係数に基づいて、動画構成画像であるIピクチャを生成するIピクチャ生成部と、
    前記トランジションデータ取得部が取得したトランジションデータ及び前記Iピクチャ生成部が生成したIピクチャに基づいて、動画構成画像であるPピクチャを生成するPピクチャ生成部と、
    をさらに含み、
    前記同一部分領域特定部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、一のPピクチャにおける前記所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のPピクチャより前のタイミングで再生される前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに存在するか否かを特定し、
    前記動きベクトル算出部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、
    前記Pピクチャ生成部は、複数のPピクチャにおいて、前記所定の表示領域に含まれるマクロブロックのDCT係数を、前記第1静止画のマクロブロックのDCT係数と前記第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、前記同一部分領域がそれぞれのPピクチャより前のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを、前記動きベクトル算出部が算出した動きベクトルで表現することによって、複数のPピクチャを生成する
    請求項6に記載の動画生成装置。
  8. 前記動画構成画像生成部は、
    前記トランジションデータ取得部が取得したトランジションデータ、前記Iピクチャ生成部が生成したIピクチャ、及び前記Pピクチャ生成部が生成したPピクチャに基づいて、動画構成画像であるBピクチャを生成するBピクチャ生成部
    をさらに含み、
    前記同一部分領域特定部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、一のBピクチャにおける前記所定の表示領域以外の領域に含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該一のBピクチャより前又は後のタイミングで再生される前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに存在するか否かを特定し、
    前記動きベクトル算出部は、前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である前記Iピクチャ生成部が生成したIピクチャ又は前記Pピクチャ生成部が生成したPピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、
    前記Bピクチャ生成部は、複数のBピクチャにおける前記所定の表示領域に含まれるマクロブロックのDCT係数を、前記第1静止画のマクロブロックのDCT係数と前記第2静止画のマクロブロックのDCT係数とを複数の異なる重み付けをして周波数成分毎に加算することによって算出し、前記同一部分領域がそれぞれのBピクチャより前又は後のタイミングで再生されるIピクチャ又はPピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックの画像を、前記動きベクトル算出部が算出した動きベクトルで表現することによって、複数のBピクチャを生成する
    をさらに含む
    請求項7に記載の動画生成装置。
  9. 複数の静止画が移り変わる動画を生成する動画生成方法であって、
    動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、
    前記トランジションデータ取得段階において取得されたトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる動画を生成する動画生成段階と
    を備え、
    前記動画生成段階は、
    前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換段階と、
    前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成段階と
    を有する動画生成方法。
  10. 複数の静止画が移り変わる動画を生成する動画生成装置用のプログラムであって、前記動画生成装置を、
    動画における所定の表示領域の画像を第1静止画から第2静止画へどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部、
    前記トランジションデータ取得部が取得したトランジションデータに基づいて、前記第1静止画及び前記第2静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含む、所定の表示領域の画像が前記第1静止画から前記第2静止画へ移り変わる動画を生成する動画生成部
    として機能させ、
    前記動画生成部を、
    前記第1静止画及び前記第2静止画にDCT変換を施して、前記第1静止画及び前記第2静止画に含まれる複数の部分領域のDCT係数を算出するDCT変換部、
    前記第1静止画の複数の部分領域のそれぞれのDCT係数と前記第2静止画の複数の部分領域のそれぞれのDCT係数とから、前記第1静止画から前記第2静止画へ移り変わる動画に含まれる複数の動画構成画像を生成する動画構成画像生成部
    として機能させるプログラム。
JP2005351007A 2005-12-05 2005-12-05 動画生成装置、動画生成方法、及びプログラム Expired - Fee Related JP4668051B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005351007A JP4668051B2 (ja) 2005-12-05 2005-12-05 動画生成装置、動画生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005351007A JP4668051B2 (ja) 2005-12-05 2005-12-05 動画生成装置、動画生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2007156823A true JP2007156823A (ja) 2007-06-21
JP4668051B2 JP4668051B2 (ja) 2011-04-13

Family

ID=38241112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005351007A Expired - Fee Related JP4668051B2 (ja) 2005-12-05 2005-12-05 動画生成装置、動画生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP4668051B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071734A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置、画像処理方法、プログラム、および画像処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259303A (ja) * 2002-02-27 2003-09-12 Konica Corp 動画データ生成システム、動画データ生成方法及び動画データ生成プログラム並びに情報記録媒体
JP2005303907A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置,方法およびプログラム
JP2006217221A (ja) * 2005-02-03 2006-08-17 Noritsu Koki Co Ltd 電子アルバム作成システム及び作成プログラム及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259303A (ja) * 2002-02-27 2003-09-12 Konica Corp 動画データ生成システム、動画データ生成方法及び動画データ生成プログラム並びに情報記録媒体
JP2005303907A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置,方法およびプログラム
JP2006217221A (ja) * 2005-02-03 2006-08-17 Noritsu Koki Co Ltd 電子アルバム作成システム及び作成プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071734A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置、画像処理方法、プログラム、および画像処理システム

Also Published As

Publication number Publication date
JP4668051B2 (ja) 2011-04-13

Similar Documents

Publication Publication Date Title
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
US8411735B2 (en) Data processing apparatus, data processing method, and program
US8934550B2 (en) Data processing apparatus, data processing method, and program for processing image data of a moving image
WO2011013283A1 (ja) 画像合成装置、符号化装置、プログラム、媒体
JP4668040B2 (ja) 動画生成装置、動画生成方法、及びプログラム
US8351756B2 (en) Reproduction device
JP2008035280A (ja) 画像復号方法および画像表示方法
JP4633595B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP5474417B2 (ja) 動画データ生成装置、動画データ生成システム、動画データ生成方法およびコンピュータープログラム
JP6769231B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JP5333593B2 (ja) 動画再生装置、動画再生プログラム、および動画再生方法
JP2006148615A (ja) 復号化装置および符号化方法をコンピュータに実行させるためのプログラム
JP2008035281A (ja) 画像符号化方法
JP2007158703A (ja) 動画生成装置、動画生成方法、及びプログラム
JP4668051B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP4633594B2 (ja) 動画生成装置、動画生成方法、及びプログラム
WO2014115522A1 (ja) フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置
JP2007158706A (ja) 動画生成装置、動画生成方法、及びプログラム
JP2007095010A (ja) 動画生成装置、動画生成方法、及びプログラム
JP4881045B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP2007102571A (ja) 動画生成装置、動画生成方法、及びプログラム
JP5238849B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP2011146847A (ja) 画像再生制御装置、画像再生制御方法および撮像装置
JP2007158704A (ja) 動画生成装置、動画生成方法、及びプログラム
JP2007158705A (ja) 動画生成装置、動画生成方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees