JP2008160816A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2008160816A
JP2008160816A JP2007305223A JP2007305223A JP2008160816A JP 2008160816 A JP2008160816 A JP 2008160816A JP 2007305223 A JP2007305223 A JP 2007305223A JP 2007305223 A JP2007305223 A JP 2007305223A JP 2008160816 A JP2008160816 A JP 2008160816A
Authority
JP
Japan
Prior art keywords
information
user
unit
editing
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007305223A
Other languages
English (en)
Inventor
Satoshi Kuma
智 隈
Koji Kajima
浩司 鹿島
Masayuki Ejima
公志 江島
Takuya Kitamura
卓也 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007305223A priority Critical patent/JP2008160816A/ja
Publication of JP2008160816A publication Critical patent/JP2008160816A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

【課題】ユーザがより容易かつ適切にスマートレンダリング編集を行うことができるようにする。
【解決手段】編集設定装置10は、各種条件下での、パラメータの適切な設定値や、パラメータを適切に設定するための情報をまとめたテーブル情報を生成し、そのテーブル情報に基づいて、ユーザの簡単な指定に従って編集処理の負荷や処理結果等を見積もり、ユーザに提示する。ユーザはその見積もり結果を参照しながら条件指定を行う。編集設定装置10は、その指定に基づいてパラメータの設定を行う。本発明は、画像処理装置に適用することができる。
【選択図】図3

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、スマートレンダリング編集において、ユーザにパラメータを選択させる際に、選択されたパラメータを用いた編集結果や編集処理に要する負荷等を予測して提供することにより、ユーザがより容易かつ適切にスマートレンダリング編集を行うことができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、MPEG(Moving Picture Experts Group)に代表される動画コンテンツをフレーム精度で切り出し編集する際に、エンコード時間を短くし且つ画質を劣化させない技術にスマートレンダリング編集がある(例えば、特許文献1参照)。
図1は、2つの動画像素材(素材A素材Bの一部)を切り出して繋ぎ合わせる編集を行う場合のスマートレンダリング編集の例を説明する図である。図1に示されるように、切り出された素材Aの一部と素材Bの一部は、繋ぎ合わせられる際に、フレーム精度とする為に必ず再エンコード区間が生じるが、スマートレンダリング編集の場合、切り出した全ての区間を再エンコードするのではなく、図1の斜線で示される部分のように、両端の一部分のみを再エンコードする。つまり、図1の例においては、両矢印1乃至両矢印4に示されるように4つの再エンコード区間が生じる。
特開2004-104361号公報
しかしながら、近年においては、MPEG2からMPEG4-AVC(MPEG4-Advanced Video Coding)へとコーデックの手法が高度化し(圧縮率が向上し)、それに伴い編集向けエンコード処理も複雑化し、より複雑な設定が必要となるようになった。これにより、エンコード処理が重くなり、再エンコード処理も時間的コストが高まった。従って、再エンコード区間を低減させるスマートレンダリングの技術の重要性が増したが、エンコード処理の複雑化により、エンコードに関するパラメータの種類も増大した。
例えば、MPEG2におけるエンコードに関する主なパラメータとしては例えば、画サイズ、ビットレート、およびバッファサイズ等が存在するが、MPEG4-AVCにおけるエンコードに関する主なパラメータとしては例えば、MPEG2のパラメータに加えて、シンタックスのビット長やExp-Golombのコード長などがある。
スマートレンダリング技術を適用するためには、ビットストリームのパラメータ(設定値)が揃っている必要があるが、パラメータの数が増えたため、出力設定のパラメータと素材のパラメータが異なってしまい、スマートレンダリング技術が適用不可能となり、処理の軽減(高速化)や、画質劣化の低減を実現できない可能性が増大する恐れがあった。
また、パラメータの不一致により、スマートレンダリングの採用を適切に行うことができずに処理が増大する恐れもあった。
例えば、図2の上段に示されるように、パラメータlog2_max_pic_order_cnt_lsb_minus4の値が2であるグループAに属する素材Aと、パラメータlog2_max_pic_order_cnt_lsb_minus4の値が0であるグループBに属する素材B1乃至素材B4を繋ぎ合わせる場合、グループAとグループBでは互いにパラメータlog2_max_pic_order_cnt_lsb_minus4の値が異なるので、これらの両グループに属する素材に対して同時にスマートレンダリング編集を行うことができない。
つまり、いずれか一方のグループに属する素材に対してのみスマートレンダリング編集が行われ、他方のグループに属する素材に対しては全フレームが再エンコードされるが、従来の編集装置では、繋ぎ合わせられた素材の内容に関わらず、先頭から順に行われるため、最初に素材Aがスマートレンダリング編集され、素材B1乃至素材B4は全てのフレームが再エンコードされることになる。従って、図2の下段に示されるように、消費リソースが素材Aの短い部分でしか低減されず、処理の負荷が不要に増大する恐れがあった。
また、各パラメータを適切に設定するためには各パラメータが画質にどのように影響を与えるのかを正しく理解しておく必要があるが、パラメータ数の増大により、より高度な知識が求められるようになり、高度な知識を有さない一般的なユーザには適切な編集処理を行うことが困難になる恐れがあった。
本発明は、このような状況に鑑みてなされたものであり、スマートレンダリング編集において、ユーザにパラメータを選択させる際に、選択されたパラメータを用いた編集結果や編集処理に要する負荷等を予測して提供することにより、ユーザがより容易かつ適切にスマートレンダリング編集を行うことができるようにするものである。
本発明の側面は、動画像のスマートレンダリング編集に関する設定を行う画像処理装置であって、編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成手段と、前記テーブル情報作成手段により作成された前記テーブル情報を蓄積するテーブル情報蓄積手段と、前記テーブル情報蓄積手段により蓄積されるテーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報を前記ユーザに提供する情報提供手段とを備える画像処理装置である。
前記テーブル情報作成手段は、前記タイムラインにおいて編集対象として指定される各動画像データについて、前記スマートレンダリング編集が可能であるか否かを判定するスマートレンダリング可否判定手段を備えることができる。
前記テーブル情報作成手段は、前記スマートレンダリング編集を行う各動画像データについて、条件毎に再エンコードを行うフレーム数を算出する再エンコードフレーム数算出手段を備えることができる。
前記テーブル情報作成手段は、前記タイムラインに含まれる、処理対象の動画像データに対して、他の動画像データの挿入や再エンコードを行う区間の変更を前記ユーザに推奨すべきであることを示す変更推奨フラグを立てるか否かを判定する変更推奨フラグ判定手段を備えることができる。
前記テーブル情報作成手段は、前記タイムラインにおいて編集対象として指定される各動画像データを、同時にスマートレンダリング編集可能なもの毎にグループ分けする同時スマートレンダリング可能グループ分類手段を備えることができる。
前記情報提供手段は、前記ユーザからの条件指定を受け付ける受付手段と、前記テーブル情報および前記受付手段により受け付けられた前記ユーザからの条件指定に基づいて前記予測情報を算出する算出手段と、前記算出手段により算出された前記予測情報を表示部に表示させる表示処理手段とを備えることができる。
前記表示処理手段は、前記予測情報を、前記ユーザが前記パラメータの設定値や条件を変更するためのGUI情報として表示させ、前記受付手段は、前記GUI情報に対する入力情報を受け付けることができる。
前記表示処理手段は、前記予測情報とともに、前記ユーザが再エンコードを行う区間の指定を入力するためのGUI情報を表示することができる。
前記算出手段は、前記予測情報とともに、前記ユーザに指定されていない条件における前記予測情報であり、かつ、前記ユーザに推薦すべき情報である推薦情報を算出し、前記表示処理手段は、前記予測情報とともに前記推薦情報を表示することができる。
前記情報提供手段は、前記受付手段により受け付けられる前記ユーザからの条件指定の履歴に基づいて、前記ユーザの嗜好および前記ユーザの条件指定の傾向を学習する学習手段をさらに備え、前記算出手段は、前記学習手段による学習結果に基づいて前記予測情報を算出することができる。
本発明の側面はまた、動画像のスマートレンダリング編集に関する設定を行う画像処理装置の画像処理方法またはプログラムであって、編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成ステップと、前記テーブル情報作成ステップの処理により作成された前記テーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報を前記ユーザに提供する情報提供ステップとを備える画像処理方法またはプログラムである。
本発明の側面においては、編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、パラメータを適切に設定するための情報をまとめたテーブル情報が作成され、そのテーブル情報を用いて、ユーザにより指定された条件におけるスマートレンダリング編集の処理時間や処理結果を予測する予測情報がユーザに提供される。
本発明によれば、画像を処理することができる。特に、ユーザがより容易かつ適切にスマートレンダリング編集を行うことができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の側面は、動画像のスマートレンダリング編集に関する設定を行う画像処理装置(例えば、図3の編集設定装置10)であって、編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成手段(例えば、図3のテーブル情報作成部12)と、前記テーブル情報作成手段により作成された前記テーブル情報を蓄積するテーブル情報蓄積手段(例えば、図3のテーブル情報格納部13)と、前記テーブル情報蓄積手段により蓄積されるテーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報(例えば、図3の詳細パラメータ31および予測時間32)を前記ユーザに提供する情報提供手段(例えば、図3の情報提供処理部14)とを備える画像処理装置である。
前記テーブル情報作成手段は、前記タイムラインにおいて編集対象として指定される各動画像データについて、前記スマートレンダリング編集が可能であるか否かを判定するスマートレンダリング可否判定手段(例えば、図4のSR可否判定部102)を備えることができる。
前記テーブル情報作成手段は、前記スマートレンダリング編集を行う各動画像データについて、条件毎に再エンコードを行うフレーム数を算出する再エンコードフレーム数算出手段(例えば、図4の再エンコードフレーム数算出部103)を備えることができる。
前記テーブル情報作成手段は、前記タイムラインに含まれる、処理対象の動画像データに対して、他の動画像データの挿入や再エンコードを行う区間の変更を前記ユーザに推奨すべきであることを示す変更推奨フラグを立てるか否かを判定する変更推奨フラグ判定手段(例えば、図4の変更推奨フラグ判定部104)を備えることができる。
前記テーブル情報作成手段は、前記タイムラインにおいて編集対象として指定される各動画像データを、同時にスマートレンダリング編集可能なもの毎にグループ分けする同時スマートレンダリング可能グループ分類手段(例えば、図4の同時SR可能グループ分類部105)を備えることができる。
前記情報提供手段は、前記ユーザからの条件指定を受け付ける受付手段(例えば、図5のユーザ指定受付処理部201)と、前記テーブル情報および前記受付手段により受け付けられた前記ユーザからの条件指定に基づいて前記予測情報を算出する算出手段(例えば、図5の予測情報算出部202)と、前記算出手段により算出された前記予測情報を表示部に表示させる表示処理手段(例えば、図5の表示処理部203)とを備えることができる。
前記表示処理手段は、前記予測情報を、前記ユーザが前記パラメータの設定値や条件を変更するためのGUI情報(例えば、図25乃至図27)として表示させ、前記受付手段は、前記GUI情報に対する入力情報を受け付けることができる。
前記表示処理手段は、前記予測情報とともに、前記ユーザが再エンコードを行う区間の指定を入力するためのGUI情報(例えば、図19乃至図24の候補矢印)を表示することができる。
前記算出手段は、前記予測情報とともに、前記ユーザに指定されていない条件における前記予測情報であり、かつ、前記ユーザに推薦すべき情報である推薦情報(例えば、図3の推薦情報33)を算出し、前記表示処理手段は、前記予測情報とともに前記推薦情報を表示することができる。
前記情報提供手段は、前記受付手段により受け付けられる前記ユーザからの条件指定の履歴に基づいて、前記ユーザの嗜好および前記ユーザの条件指定の傾向を学習する学習手段(例えば、図5の学習部204)をさらに備え、前記算出手段は、前記学習手段による学習結果に基づいて前記予測情報を算出することができる。
本発明の側面はまた、動画像のスマートレンダリング編集に関する設定を行う画像処理装置(例えば、図3の編集設定装置10)の画像処理方法またはプログラムであって、編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成ステップ(例えば、図6のテーブル情報作成処理)と、前記テーブル情報作成ステップの処理により作成された前記テーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報を前記ユーザに提供する情報提供ステップ(例えば、図18の情報提供処理)とを備える画像処理方法またはプログラムである。
以下、本発明の実施の形態について説明する。
図3は、本発明を適用した編集設定装置の構成例を示すブロック図である。図3に示される編集設定装置10は、スマートレンダリング編集に必要なパラメータ等の設定行う装置である。編集設定装置10は、各種条件下での、パラメータの適切な設定値や、パラメータを適切に設定するための情報をまとめたテーブル情報を生成し、そのテーブル情報に基づいて、ユーザの簡単な指定に従って編集処理の負荷や処理結果等を見積もり、ユーザに提示する。ユーザはその見積もり結果を参照しながら条件指定を行う。編集設定装置10は、その指定に基づいてパラメータの設定を行う。
このようにすることにより、ユーザは、パラメータの具体的な意味や編集処理への影響等を知らなくても、容易にユーザの意図に適した設定を行い、ユーザの嗜好に応じた編集処理を行うことができる(編集結果を得ることができる)。
図3に示されるように、編集設定装置10は、入力部11、テーブル情報作成部12、テーブル情報格納部13、情報提供処理部14、出力部15、およびユーザ指定履歴格納部16を有する。
入力部11は、例えばキーボードやマウス等のユーザインタフェースや所定の入力端子等により構成され、ユーザにより指定された、ユーザでも分かるような画質に影響のあるパラメータである主要パラメータ22や、編集内容を示す情報であるタイムライン23等の情報をテーブル情報作成部12に供給する。また、入力部11は、ユーザが初期に行う、編集の条件に対する指定であるユーザ指定21や、ユーザが見積もり結果を参照して入力したユーザ指定であるユーザ指定改41を情報提供処理部14に供給する。
主要パラメータ22は、例えば、素材(動画像データ)の画サイズ、トレースビットレート、およびデータの保存形態(例えばメディアの種類等)が含まれる。タイムライン23には、編集内容の他に、編集対象データ(素材)そのものやその素材に関するパラメータ等も含まれる。
テーブル情報作成部12は、入力部11より供給される、主要パラメータ22やタイムライン23等の情報に基づいて、各種条件下での、例えばスマートレンダリング編集の可否や処理量等の見積もりに必要な情報(パラメータの設定値やパラメータを設定するための情報)をタイムライン23毎にまとめたテーブル情報を生成し、テーブル情報格納部13に供給して格納(蓄積)させる。
情報提供処理部14は、テーブル情報格納部13に格納されているそのテーブル情報と、ユーザ指定21やユーザ指定改41に基づいて(ユーザの希望の設定で)、必要なレンダリング時間の見積もりが最小になるように、ユーザが容易に理解することができないような、例えば画質に影響の無いようなパラメータである詳細パラメータを決定し、詳細パラメータ31や予測時間32等の予測情報(すなわち、ユーザにより指定された条件におけるスマートレンダリング編集の処理時間や処理結果を予測する情報)を、出力部15を介してユーザに提供する。
また、情報提供処理部14は、ユーザに指定された以外の設定を適用した場合のレンダリング時間の見積もり(予測処理時間)、詳細パラメータ、および画的に変化しうる場所等を推薦情報33(すなわち、ユーザに指定されていない条件における予測情報であり、かつ、ユーザに推薦すべき情報)として、出力部15を介してユーザに提供する。さらに、情報提供処理部14は、ユーザ指定に基づいて決定された設定情報を設定結果として、出力部15を介して編集設定装置10の外部、例えば、スマートレンダリング編集を実際に行う装置等に供給する。
詳細パラメータ31は、エンコーダを動かすために必要な全てのパラメータであり、例えば、シーケンスパラメータセット(Sequence Parameter Set)の全パラメータ、cpb_removal/dpb_output_delayビット長、log2_max_frame_num_minus4、およびlog_mac_picorder_cnt_lsb_minus4等のシンタックス、GOP(Group Of Picture)構成、並びに、使用するアルゴリズム等が含まれる。
出力部15は、例えば、モニタ等のユーザインタフェースや所定の出力端子等により構成され、情報提供処理部14より供給される詳細パラメータ31、予測時間32、および推薦情報33等の各種情報をGUI(Graphical User Interface)画像として表示し、ユーザに提示したり、設定結果51を他の装置に供給したりする。
ユーザ指定履歴格納部16は、所定の記憶媒体を有し、情報提供処理部14に供給されるユーザ指定21やユーザ指定改41等の履歴情報を格納し、必要に応じて情報提供処理部14にそれらの情報を提供する。情報提供処理部14は、このユーザ指定履歴格納部16より供給されるユーザ指定の履歴情報に基づいて学習処理を行い、ユーザの嗜好(ユーザ指定の傾向)を特定し、それに応じた選択や推薦(予測情報の算出)を行う。
図4は、図3のテーブル情報作成部12の構成例を示すブロック図である。
図4において、テーブル情報作成部12は、カット抽出部101、スマートレンダリング回避判定部(SR可否判定部)102、再エンコードフレーム数算出部103、変更推奨フラグ判定部104、同時スマートレンダリング可能グループ分類部(同時SR可能グループ分類部)105、およびテーブル情報生成部106を有する。
カット抽出部101は、タイムライン23より素材を1カット分抽出する。タイムライン23には編集内容が示されており、例えば、素材同士を繋ぎ合わせる編集の場合、その繋ぎ合わせ方が示されている。ここでカットとは、その繋ぎ合わせられる素材1つ分のことを示す。つまり、カット抽出部101は、タイムライン23において繋ぎ合わせられた各素材を処理対象として1つずつ抽出する。
SR可否判定部102は、主要パラメータと、カット抽出部101において抽出されたカットの詳細パラメータとに基づいてそのカットがスマートレンダリング編集可能であるか否かを判定する。
再エンコードフレーム数算出部103は、SR可否判定部102によりスマートレンダリング編集が可能であると判定されたカットについて、再エンコードを行うフレーム数を条件毎に算出する。再エンコードフレーム数算出部103は、全再エンコードフレーム数算出部111、速度重視再エンコードフレーム数算出部112、画質重視再エンコードフレーム数算出部113、シーンチェンジ(Sc)優先画質重視再エンコードフレーム数算出部114、および、シーンチェンジ(Sc)優先速度重視再エンコードフレーム数算出部115を有する。
全再エンコードフレーム数算出部111は、処理対象のカットの全フレームを再エンコードする場合の、処理対象フレーム数X0を算出する。つまり、全再エンコードフレーム数算出部111は、処理対象のカットの全フレーム数を算出する。
速度重視再エンコードフレーム数算出部112は、処理対象のカットを、処理速度を重視してスマートレンダリング編集する場合の再エンコード処理対象フレーム数X1を算出する。つまり、速度重視再エンコードフレーム数算出部112は、再エンコードの処理時間が最短となるように、再エンコードされるフレーム数の最小値(再エンコード処理が必要な最低限のフレーム数)を算出する。
画質重視再エンコードフレーム数算出部113は、処理対象のカットを、処理結果の画質を重視してスマートレンダリング編集する場合の再エンコード処理対象フレーム数X2を算出する。つまり、画質重視再エンコードフレーム数算出部113は、例えばOccupancy制約等に基づいて使用可能なビット量が多くなるように、再エンコードされるフレーム数を算出する。
Sc優先画質重視再エンコードフレーム数算出部114は、画質重視再エンコードフレーム数算出部113により算出されるフレーム数を、カット内に含まれるシーンチェンジ(Sc)の位置に基づいて補正した再エンコード処理対象フレーム数X4を算出する。また、Sc優先速度重視再エンコードフレーム数算出部115は、速度重視再エンコードフレーム数算出部112により算出されるフレーム数を、カット内に含まれるシーンチェンジ(Sc)の位置に基づいて補正した再エンコード処理対象フレーム数X3を算出する。
変更推奨フラグ判定部104は、他のカットの挿入や再エンコード区間変更をユーザに推奨するための変更推奨フラグ(Scene Insert Recommend Flag)を立てるか否かを判定する。変更推奨フラグ判定部104は、例えば、カットの前側の繋ぎ目のエンコード処理においてバッファの条件が厳しい場合、この変更推奨フラグを立てることにより、変更先の推奨位置として、Sc優先画質重視再エンコードフレーム数算出部114やSc優先速度重視再エンコードフレーム数算出部115に算出されたフレーム数に対応する位置を指定すべきであることを示す。
同時SR可能グループ分類部105は、タイムライン23に含まれる各カットを、同時にスマートレンダリング編集可能なカット毎にグループ分けし、互いに異なるグループIDを割り当てる。このグループ分けは、例えば、Profile, Level、画サイズ、ビットレート(HRD)、CpbSize(HRD)、フレームレート、アスペクト比、並びに、log2_max_frame_num_minus4,log_mac_picorder_cnt_lsb_minus4,Initial_cpb_removal_delay_length(HRD)、またはcpb_removal/dpb_output_delay(HRD)等のビット長等よりなるシーケンスパラメータセット(Sequence Parameter Set)のシンタックスや、レートコントロール(initial_cpb_removal_delay_length+initial_cpb_removal_delay_length_offset(SEI))等のパラメータに基づいて行われ、これらのパラメータの値が一致するカット(素材)同士が同じグループとされる。なお、見かけ上値が異なるものの、パラメータ変換等により対応可能な、実質的に同じものも同じグループとされるようにしてもよい。
テーブル情報生成部106は、カット抽出部101乃至同時SR可能グループ分類部105において生成された各情報をタイムライン23毎にまとめてテーブル情報を生成し、そのテーブル情報をテーブル情報格納部13に格納させる。
図5は、図3の情報提供処理部14の内部の構成例を示すブロック図である。図5において、情報提供処理部14は、ユーザ指定受付処理部201、予測情報算出部202、表示処理部203、および学習部204を有する。
ユーザ指定受付処理部201は、入力部11を介して入力されるユーザ指定21およびユーザ指定改41を受け付けると、それらを予測情報算出部202に供給すると共に、ユーザ指定履歴格納部16に格納させる。
予測情報算出部202は、ユーザ指定受付処理部201より供給される、ユーザによる条件指定(ユーザ指定21またはユーザ指定改41)や、テーブル情報格納部13に格納されているテーブル情報に基づいて予測情報や推薦情報等を算出し、それらの情報を表示処理部203に供給したり、出力部15を介して他の装置に供給したりする。
表示処理部203は、予測情報算出部202より供給される情報を出力部15に供給し、ユーザが条件や再エンコード区間等の指定(新規指定、変更、中止等)を入力するためのGUI情報として、若しくは、ユーザが条件や再エンコード区間等の指定(新規指定、変更、中止等)を入力するためのGUI情報とともにモニタに表示させる。
学習部204は、ユーザ指定履歴格納部16に蓄積されたユーザ指定の履歴情報に基づいて、ユーザの嗜好やユーザ指定の傾向を学習する。予測情報算出部202は、予測情報の算出に、その学習部204において学習された学習結果を利用する。
各部の具体的な処理の流れについて以下に説明する。最初に、テーブル情報作成部12の各部により実行されるテーブル情報作成処理の流れの例を図6のフローチャートを参照して説明する。必要に応じて、図7乃至図10を参照して説明する。
ステップS1において、カット抽出部101は、タイムライン23より未処理のカットを処理対象として1つ読み出す。つまり、カット抽出部101は、タイムライン23の指定に基づいて、図7に示されるように、タイムライン23に含まれる素材(動画像データ)の一部分を抽出する。この抽出されたカットの開始フレームが、編集開始点(IN点)とされ、カットの終了フレームが編集終了点(OUT点)とされる。
ステップS2において、SR可否判定部102は、画サイズが他のカットと一致するか否かを判定し、一致すると判定した場合、処理をステップS3に進める。SR可否判定部102は、ステップS3において、トレースビットレートが他のカットと一致するか否かを判定し、一致しないと判定した場合処理をステップS4に進め、トレースビットレートが付け替え可能であるか否かを判定し、付け替え可能であると判定した場合、処理をステップS5に進める。また、ステップS3において、トレースビットレートが一致すると判定した場合、SR可否判定部102は処理をステップS5に進める。
すなわち、SR可否判定部102は、入力された主要パラメータとカット(素材)の詳細パラメータに基づいてスマートレンダリング(SR)可能か否かを判定し、カットの端のフレームから形成される再エンコード区間(再エンコードが行われる区間)の、カットの端と反対側の端(つまり、再エンコードを行うフレームと再エンコードを行わないフレームとの境界)の候補となりうるフレームである再エンコード境界候補を、図8に示されるように、IN点側とOUT点側でそれぞれ決定する。つまり、IN点側再エンコード境界とは、IN点を開始フレームとする再エンコード区間の終了フレーム(終了点)を示し、OUT点側再エンコード境界とは、OUT点を終了フレームとする再エンコード区間の開始フレーム(開始点)を示す。SR可否判定部102は、カットに含まれる全てのフレームの中から、このような再エンコード境界となりうる候補フレームを決定する。
ステップS5において、再エンコードフレーム数算出部103は、処理対象のカットについて各種条件における再エンコードフレーム数を算出する。図9において両矢印で示されるように、再エンコード区間の長さ(フレーム数)によって、スマートレンダリング区間の長さが変化する。再エンコードフレーム数算出部103は、種々の条件下で上述した再エンコード区間を決定し、そのフレーム数を算出する。この再エンコードフレーム数の詳細については後述する。
ステップS6において、変更推奨フラグ判定部104は、バッファ条件を確認し、カットの前側の、1つ前のカットとの繋ぎ目部分において、エンコードのバッファ条件が所定の基準より厳しいか否かを判定し、厳しいと判定した場合、処理をステップS7に進め、そのカットに対して、他のシーン(動画像)の挿入や再エンコード区間の変更をユーザに促すための変更推奨フラグを立てる。フラグを立てると変更推奨フラグ判定部104は、処理をステップS8に進める。また、ステップS6において、バッファ条件が厳しくないと判定した場合、処理をステップS8に進める。
ステップS8において、同時SR可能グループ分類部105は、同時SR可能グループの分類を行い、処理対象のカットに対してグループ内IDを割り当てる。処理対象のカットが既に存在するグループに属する場合、同時SR可能グループ分類部105は、その既存のグループのグループ内IDを処理対象のカットに割り当て、処理対象のカットが既存のグループに属さない場合、新たにグループを作成し、そのグループ内IDを処理対象のカットに割り当てる。例えば、図10に示されるように、同時SR可能グループ分類部105は、あるカットがグループBに属すると判定した場合、グループ内IDとして「グループBのn個目のカットである」ことを示すグループ内ID「Bn」を割り当てる。このようなグループ内IDの割り当てが終了すると、同時SR可能グループ分類部105は、処理をステップS9に進める。
また、ステップS2において画サイズが他のカットと一致しないと判定した場合、SR可否判定部102は、処理をステップS9に進める。さらに、ステップS4においてトレースビットレートが付け替え不可能であると判定した場合も、SR可否判定部102は、処理をステップS9に進める。
ステップS9において、テーブル情報生成部106は、以上のように生成された処理対象のカットに関する各情報をタイムライン毎のテーブル情報に追加する。該当する(以上のように生成された処理対象のカットに関する各情報を追加すべき)テーブル情報が存在しない場合、テーブル情報生成部106は、以上のように生成された処理対象のカットに関する各情報を含むテーブル情報を新たに生成する。
ステップS10において、カット抽出部101は、処理中のタイムライン23に未処理のカットが存在するか否かを判定し、存在すると判定した場合、処理をステップS1に戻し、それ以降の処理を繰り返す。また、ステップS10において、タイムライン23に未処理のカットが存在しないと判定した場合、カット抽出部101は、テーブル情報作成処理を終了する。
次に、図11のフローチャートを参照して、図6のステップS5において実行される再エンコードフレーム数算出処理の流れの例を説明する。必要に応じて図12乃至図16を参照して説明する。なお、図12乃至図16は、カット内の再エンコード区間を示すものであり、各図の斜線部分が再エンコードされる部分を示している。また、各図の点線は、再エンコード境界候補を示している。
再エンコードフレーム数算出処理が開始されると、再エンコードフレーム数算出部103の全再エンコードフレーム数算出部111は、ステップS31において、全フレームを再エンコードする場合の再エンコード処理されるフレーム数である全再エンコードフレーム数X0を算出する。この場合、図12に示されるように再エンコードはカットの全フレームにおいて行うので、全再エンコードフレーム数X0は、カットの総フレーム数に対応する。
ステップS32において、速度重視再エンコードフレーム数算出部112は、速度重視で再エンコードする場合の再エンコードフレーム数である速度重視再エンコードフレーム数X1を算出する。図13に示されるように、速度重視再エンコードフレーム数算出部112は、可能な限り再エンコードフレーム数を最小とするように再エンコード区間を設定するので、速度重視再エンコードフレーム数X1は、基本的に、カットの両端から1つ目の再エンコード境界候補までのフレーム数となる。ただし、1つ前のカットからOccupancyが合わせられない場合、再エンコード区間は長くなるように設定され、結果として速度重視再エンコードフレーム数X1は多くなる。
ステップS33において、画質重視再エンコードフレーム数算出部113は、画質重視で再エンコードする場合の再エンコードフレーム数である画質重視再エンコードフレーム数X2を算出する。図14に示されるように、画質重視再エンコードフレーム数算出部113は、画質を重視し、使用可能なビット量が多くなるように再エンコード区間を設定する。つまり、画質重視再エンコードフレーム数算出部113は、CpbOccupancyが最小となるフレームをIN点側の境界とし、CpbOccupancyが最大となるフレームをOUT点側の境界とする。通常の場合、画質重視再エンコードフレーム数X2は、速度重視再エンコードフレーム数X1より多くなる。
ステップS34において、再エンコードフレーム数算出部103は、カット(素材)の内容を確認し、場面(シーン)が変わる(すなわち、画像の内容が大きく変化する)フレームであるシーンチェンジフレームを特定する。例えば、前のカットとの繋ぎ目におけるバッファ条件が厳しかったりして、再エンコード区間を延長する(再エンコードの境界を変更する)際に、1つのシーン中で画像の内容が互いに略同一のフレーム間(ゆっくり滑らかに動くシーンや、徐々に濃淡が変化するシーンなど)を再エンコード区間の端(境界フレーム)とすると、再エンコードを行うフレームと再エンコードを行わないフレームが連続して表示される際に、視覚的変化(通常の場合画質劣化として視聴者に受け取られるような変化)が大きくなる(目立つ)ことがある。
また、例えば、動画像を配信(放送)する際にコマーシャル画像のような他の動画像をカットの途中に挿入する場合も同様であり、1つのシーン中に多い、画像の内容が互いに略同一のフレーム間に挿入すると、視覚的変化(通常の場合画質劣化として視聴者に受け取られるような変化)が大きくなる(目立つ)ことがある。
つまり、このような境界フレームの設定や他の画像の挿入は、元々前のフレームとの画像の視覚的変化が大きいシーンチェンジフレームで行うのが望ましい(編集による視覚的変化が目立たなくなる)。
再エンコードフレーム数算出部103は、このような推奨を行うために、シーンチェンジフレームを特定する。
ステップS35において、Sc優先速度重視再エンコードフレーム数算出部115は、速度重視の再エンコードにおいて、シーンチェンジを優先させる場合の再エンコードフレーム数を算出する。つまり、例えば図15に示されるように、シーンチェンジフレームを境界とするようにした再エンコード区間のフレーム数である高速Sc優先再エンコードフレーム数X3が、上述した速度重視再エンコードフレーム数X1以上であり、かつ、上述した画質重視再エンコードフレーム数X2より小さい場合、高速Sc優先再エンコードフレーム数X3を優先させて、白抜き矢印のように再エンコード区間を変更する。
ステップS36において、Sc優先画質重視再エンコードフレーム数算出部114は、画質重視の再エンコードにおいて、シーンチェンジを優先させる場合の再エンコードフレーム数を算出する。つまり、例えば図16に示されるように、シーンチェンジフレームを境界とするようにした再エンコード区間のフレーム数である画質Sc優先再エンコードフレーム数X4が、上述した画質重視再エンコードフレーム数X2以下である場合、画質Sc優先再エンコードフレーム数X4を優先させて、白抜き矢印のように再エンコード区間を変更する。
ステップS36の処理を終了すると再エンコードフレーム数算出部103は、再エンコードフレーム数算出処理を終了し、処理を図6のステップS5に戻し、それ以降の処理を実行させる。
テーブル情報作成部12は、以上のようにして、例えば図17に示されるようなテーブル情報を作成する。
例えば、図17の例において、カットID(Cut ID)が「4」のカットにおいて、速度重視でレンダリングを行う際の前側のOccupancy(速度重視Occupancy)のx3と、前のカット(カットID「3」のカット)の後側の速度重視Occupancyのy2とに基づいて、実際のビットレートが閾値以下である場合、速度重視用の変更推奨フラグ(変更推奨フラグfor速度重視)が立てられる(「1」に設定される)。逆に、実際のビットレートが閾値より大きい場合は、速度重視用の変更推奨フラグ(変更推奨フラグfor速度重視)は立てられない(「0」に設定される)。
また、例えば、図17の例において、カットID(Cut ID)が「7」のカットにおいて、画質重視でレンダリングを行う際の前側のOccupancy(画質重視Occupancy)のa6と、前のカット(カットID「6」のカット)の後側の速度Occupancyのb5とに基づいて、実際のビットレートが閾値より大きい場合、画質重視用の変更推奨フラグ(変更推奨フラグfor画質重視)が立てられない(「0」に設定される)。逆に、実際のビットレートが閾値以下である場合は、画質重視用の変更推奨フラグ(変更推奨フラグfor画質重視)が立てられる(「1」に設定される)。
以上のように、テーブル情報作成部12がテーブル情報を生成するので、情報提供処理部14は、そのテーブル情報に基づいて、処理時間や処理結果について予測を容易に行い、ユーザがスマートレンダリング編集の設定を容易かつ適切に行うことができるように、その予測情報をユーザに提示したり、推薦情報を生成してユーザに提示したりすることができる。
次に、図18のフローチャートを参照して、図3の情報提供処理部14による情報提供処理の流れの例を説明する。
予測情報算出部202は、ステップS51においてテーブル情報を取得し、ステップS52において、そのテーブル情報と、ユーザ指定受付処理部201より供給されるユーザ指定、または、学習部204のユーザ指定に関する学習結果とに基づいて予測情報を算出する。ステップS53において、表示処理部203は、出力部15のモニタにその予測情報を供給して表示させる。
つまり、予測情報算出部202は、ユーザの希望の設定で必要な処理時間の見積もりが最小になる詳細パラメータを決定する。また、予測情報算出部202は、参考情報として、他の設定を適応した場合のレンダリング時間の見積もり、および、画的に変化しうる場所を提示する。例えば、ユーザが画質重視なら、予測情報算出部202は、すべてのスマートレンダリング編集が可能なグループにおいて、そのスマートレンダリング編集が可能な部分について、画質重視で再エンコードを行う場合の予測処理時間を計算し、スマートレンダリング編集が不可能な部分について、全フレームを再エンコードする場合の予測処理時間を計算する。そして、予測情報算出部202は、得られた予測処理時間の内、最短のものを選択し、詳細パラメータに決定する。また、例えば、予測情報算出部202は、再エンコード可能範囲において速度重視で再エンコードし、再エンコード不可能範囲において全フレームを再エンコードする場合の予測処理時間や、全フレームを再エンコードする場合の予測処理時間も求め、参考情報としてユーザに提示する。
ステップS54において、ユーザ指定受付処理部201は、入力部11を介してユーザ指定を受け付けたか否かを判定し、受け付けたと判定した場合そのユーザ指定を、予測情報算出部202に供給するとともに、ユーザ指定履歴格納部16に供給して保存させる。ステップS56において、学習部204は、ユーザ指定履歴格納部16に格納されているユーザ指定履歴に基づいて、ユーザ指定におけるユーザの嗜好や傾向を学習し、その学習結果を予測情報算出部202に供給する。
ステップS56の処理を終了すると、学習部204は、処理をステップS52に戻し、それ以降の処理を繰り返し実行させる。以上のように、ユーザ指定が受け付けられる度に予測情報が算出される。
ステップS54において、ユーザ指定を受け付けていないと判定した場合、情報提供処理部14は、処理をステップS57に進め、情報提供処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップS54に戻し、それ以降の処理を繰り返す。また、ステップS57において、情報提供処理を終了すると判定した場合、情報提供処理部14は、処理をステップS58に進める。ステップS58において、予測情報算出部202は、出力部15を介してユーザに指定された設定結果を出力し、情報提供処理を終了する。
以上のように、情報提供処理部14は、予測情報を生成し、その予測情報を用いて、ユーザに対してスマートレンダリング編集の方法(詳細パラメータ)を選択させるGUI情報をユーザにとって分かり易い方法で提示し、そのGUI情報に対するユーザ指定を受け付ける。
以下にそのGUIの具体例を説明する。表示処理部203は、予測情報を、例えば、図19乃至図21に示されるように、ユーザが指定する再エンコードの方法(全区間再エンコードを行う方法、速度重視で再エンコードを行う方法、および画質重視で再エンコードを行う方法のいずれか)に応じたモードで表示させる。図19乃至図21においては、素材Aおよび素材Bをつなぎ合わせるスマートレンダリング編集についての予測情報の表示例が示されている。斜線部分が再エンコードを行う範囲(再エンコード区間)であり、矢印(候補点矢印)は、ユーザが再エンコード区間の境界の位置を指定するためのGUIボタンであり、情報提供処理部14が再エンコード区間の境界の候補として推薦する位置を示すものである。
つまり、例えば、ユーザが全区間再エンコードを行う方法を指定した場合、表示処理部203は、予測情報を図19に示されるように全区間再エンコードのモードで表示する。図19に示されるように、この場合、全区間が再エンコード区間として指定される。また、例えば、ユーザが速度重視で再エンコードを行う方法を指定した場合、表示処理部203は、予測情報を図20に示されるように速度重視のモードで表示する。図20に示されるように、この場合、再エンコード区間がなるべく短くなるように指定される。さらに、例えば、ユーザが画質重視で再エンコードを行う方法を指定した場合、表示処理部203は、予測情報を図21に示されるように画質重視のモードで表示する。図21に示されるように、この場合、使用可能なビット量が増えるように指定される。
以上のように表示されたGUI情報の候補点矢印を、例えば図22に示されるようにユーザが選択すると、モードがカスタム設定に変更され、再エンコード区間がその指定された候補点矢印の位置に変更され、その変更指示がユーザ指定として入力される。また、例えば、変更推奨フラグが立てられているカットに対しては、図22に「Sc優先」と書かれた吹き出し等、所定の画像や文字等により、シーンチェンジフレームの位置をユーザに提示する。
つまり、ユーザは、上述したようなGUI画面において、再エンコード区間の位置を、情報提供処理部14が提示した複数の適切な位置(候補点矢印)の中から任意に選択することができる。また、この候補点矢印の選択により必要な詳細パラメータの設定を情報提供処理部14において行うので、ユーザは、候補点矢印を選択するのみで、スマートレンダリングの適切な設定を容易に行うことができる。
なお、図19乃至図21の表示を同時に行うようにしても良いし、例えば「画質重視の処理予測時間は、再エンコード○○フレームです。」、「再利用する部分は△△フレームです。」、「そのための詳細パラメータは、××です。」のようなメッセージ(説明文)を併せて表示するようにしてもよいし、さらに、予測時間を「20時間」、「2時間」、「20分」といった具体的な数値で表示するようにしてもよい。
また、例えば、図23に示されるように、GUI画面の候補点矢印にマウスのカーソルを位置させると、その位置を再エンコード区間の境界とする推奨の度合いを示す推奨情報等が表示されるようにしてもよい。図23の例の場合、推奨情報として「お勧め度:A」、「画質スコア:A+」、および「速度スコア:B」が表示されており、この位置を境界とする場合、画質は「A+」で非常によく、処理速度は「B」でやや遅く、総合的なお勧め度が「A」であるということが示されている。
さらに、例えば、図24に示されるように、候補点矢印の色、模様、形、大きさ等によって、候補の理由(どのような意図で選択するべきか)を示すようにしてもよい。図24の例の場合、候補点矢印の模様によってその候補の理由が識別されており、斜線模様の候補点矢印は、速度重視で再エンコード区間の範囲を決定する場合に望ましい境界位置として推薦される位置を示し、白抜きの候補点矢印は、画質重視で再エンコード区間の範囲を決定する場合に望ましい境界位置として推薦される位置を示している。また、斜線模様の矢印と白抜きの矢印が重ねて表示される位置は、理由が速度重視でも画質重視でもどちらの場合も望ましい位置を示す。
また、その他の表示方法であっても良い。例えば、図25に示されるように、各長方形の面積が各処理の処理時間を示すように予測情報を表示するようにしてもよいし、図26に示されるように高さが出力ビットレートを示すようにしてもよいし、図27に示されるように、色、濃度、模様等で画質(処理の難易度)を示すようにしてもよい。図26の例において、ユーザが再エンコード部分(斜線部分)の高さを自由に変更させることができるようにしてもよい。その場合、ユーザは、高さを変更することにより、その再エンコード処理の出力ビットレートを自由に設定することができる。
以上のような処理により、本発明を適用した編集設定装置10は、図2を参照して説明したような状況において、すなわち、パラメータの値の違いにより、互いに同時にスマートレンダリング編集を行うことができないグループAに属する素材Aと、グループBに属する素材B1乃至素材B4を繋ぎ合わせる場合において、各種の予測情報をユーザに提示する。従って、ユーザは、容易に消費リソースの見積もりを行うことができ、例えば、図28の下段に示されるように素材Aの全てのフレームが再エンコードし、素材B1乃至素材B4に対してスマートレンダリング編集を行うような設定も簡単に行うことができる。
また、このような予測において、編集設定装置10が、ユーザにより指定された条件下において予測を行うようにしてもよい。例えば、ユーザが編集結果全体のデータサイズを指定し、編集設定装置10がそのデータサイズの制限を満たすように予測情報を作成するようにしてもよい。この場合も、編集設定装置10は、再エンコードの処理時間(再エンコード時間)を最短とするなど、適切にスマートレンダリング編集を行うように予測を行う。
例えば、ある詳細パラメータに基づくスマートレンダリング編集の編集結果のデータサイズがユーザにより指定されたデータサイズより大きい場合、ビットレートを下げる必要があるが、再エンコードを行う部分(再エンコード部分)を不要に増大させると、処理時間の増大に繋がる恐れがある。
そこで、編集設定装置10の情報提供処理部14は、図29に示されるように、詳細パラメータ401、ユーザによるサイズ指定402、およびテーブル情報403等の情報を入力とし、それらの情報に基づいて、指定されたサイズ(指定値)と処理の見積もり結果のサイズとの比較(サイズ比較)、ビットレートの変更(レート変更)、再エンコードを行う区間(素材)である再エンコード部分の追加などの処理404を行い、処理時間の不要な増大を抑制して適切なスマートレンダリング編集を行うように、スマートレンダリング編集を行う区間(素材)であるSR部分から再エンコード部分への変更を指示する変更フラグや、再エンコード部分の各ビットレート等の情報405を設定し、出力する。
このような予測情報を算出するために、図30に示されるように、テーブル情報には、各Cut区間の素材(区間)のビット量の情報が含まれるようにする。この情報は、例えばタイムライン23等として外部より入力される。テーブル情報作成部12は、図6のステップS9において、このような各Cut区間の素材のビット量の情報を他の情報とともにテーブル情報に追加する。
情報提供処理部14の予測情報算出部202は、このようなテーブル情報を用いて、編集結果が、ユーザにより指定されたデータ全体のデータサイズとなるように編集結果の見積もりを行い、予測情報を算出する。このとき、予測情報算出部202は、テーブル情報の各Cut区間の素材のビット量の情報を他の情報に基づいて、再エンコード時間が最短となるような予測情報を算出する。
図31は、この場合の予測情報算出部202の構成例を示すブロック図である。図31において、予測情報算出部202には、スマートレンダリング編集の編集結果のデータサイズと指定値とを比較する全体サイズ判定部411、再エンコード部分全体のビットレートを変更する再エンコード部分全体レート変更部412、SR部分の存在の有無を判定するSR部分判定部413、SR部分として設定されていた素材(区間)を再エンコード部分に変更する再エンコード設定部414、および、再エンコード部分に変更した素材(区間)のビットレートを変更する変更区間レート変更部415を有する。
予測情報算出部202は、図18のステップS52において、予測情報の算出を行うが、このとき、全体サイズ判定部411乃至変更区間レート変更部415は、レート変更処理を行い、全体のデータサイズがユーザに指定されたデータサイズとなるように、かつ、処理時間が最短となるように制御した時の予測情報を算出する。
図32のフローチャートを参照して、このレート変更処理の流れの例を説明する。
レート変更処理を開始すると、全体サイズ判定部411は、ステップS101において、現在の設定におけるスマートレンダリング編集の編集結果のデータの全体サイズがユーザに指定された指定値以下であるか否かを判定し、指定値より大きいと判定した場合、処理をステップS102に進める。
ステップS102において、再エンコード部分全体レート変更部412は、全体のビットレート削減率のバラツキを抑制するように再エンコード部分のレートを下げるように設定する。再エンコード部分全体レート変更部412は、テーブル情報の、Cut区間の素材のビット量の値を参照し、全体でビットレート削減率が均一になるように、再エンコード部分の各区間のビットレートを下げる。
ステップS103において、全体サイズ判定部411は、再度、全体サイズが指定値以下であるか否かを判定し、指定値より大きいと判定した場合、処理をステップS104に進める。ステップS104において、SR部分判定部413は、編集対象の動画像データに、スマートレンダリングが適用される素材(区間)であるSR部分が存在するか否かを判定する。
SR部分が存在しないと判定した場合、処理対象の動画像データの全フレームが再エンコード部分となるので、SR部分判定部412は、処理をステップS102に戻し、それ以降の処理(ステップS102乃至ステップS104の各処理)を繰り返させる。つまり、処理対象の動画像データの全区間(全素材)を再エンコードする場合、再エンコード部分全体レート変更部412は、全区間のビットレート削減率が均一になるようにしながら、全体のデータサイズが指定値以下となるまで全区間のビットレートを下げる。
これに対して、ステップS104において、SR部分が存在すると判定した場合、SR部分判定部412は、処理をステップS105に進める。
再エンコード設定部414は、ステップS105において、SR部分より1区間(1素材)選択し、ステップS106において、選択した区間を再エンコード部分に変更する。SR部分が複数存在する場合、再エンコード設定部414は、例えば、その複数のSR部分の中で、ビットレートが最も高い区間(素材)や、長さ(フレーム数)が最も長い区間等、予め定められた所定の基準に基づいて最適な1つの区間を選択し、再エンコード部分に変更する。この選択基準は任意であるが、選択した区間を再エンコード部分に変更し、ビットレートを変更することにより、再エンコードの処理時間がより短くなる(より効果の大きい区間を選択する)ような基準とするのが望ましい。
ステップS107において、変更区間レート変更部415は、ステップS106においてSR部分より変更された再エンコード部分のレートを下げる。変更区間レート変更部415は、テーブル情報の、Cut区間の素材のビット量の値を参照し、SR部分より変更された再エンコード部分のレートを下げる。
ステップS108において、全体サイズ判定部411は、再度、全体サイズが指定値以下であるか否かを判定し、指定値より大きいと判定した場合、処理をステップS109に進める。ステップS109において、SR部分判定部413は、この時点でSR部分が存在するか否かを判定し、存在すると判定した場合、処理をステップS105に戻し、それ以降の処理を繰り返す。つまり、予測情報算出部202は、動画像データにSR部分が存在する場合、そのSR部分を1つずつ再エンコード部分に変更してビットレートを下げ、全体のデータサイズが指定値以下となるように設定を変更していく。
そして、ステップS109において、SR部分が存在しない(全て再エンコード部分である)と判定した場合、SR部分判定部413は、これ以上SR部分を減らすことができないので、処理をステップS102に戻し、それ以降の処理を繰り返し実行させ、全区間のビットレートを、バラツキを抑制するように下げ、全体のデータサイズが指定値以下となるようにする。
そして、ステップS101、ステップS103、またはステップS108において、全体サイズが指定値以下であると判定した場合、全体サイズ判定部411は、レート変更処理を終了する。
以上のように求められたレート変更結果に基づいて、レンダリング時間の見積もりや画的に変化しうる場所(フレームや区間)が更新され、ユーザに提示される。このように、予測情報算出部202は、不要に再エンコード区間を増やさずに全体のデータサイズを指定値以下に減らすように予測情報を算出することができる。
例えば、動画像データの繋ぎ合せる各区間(A,B1,B2,B3,B4)のビットレートが、図33Aに示されるようになっており、区間Aが再エンコード部分、区間B1乃至区間B4がSR部分とするスマートレンダリング編集が適切であるとする。このようなスマートレンダリング編集において、例えば点線矢印で示されるビットレート(そのビットレートに相当する全体のデータサイズ)を利用者により指定された場合、図33Bのように全区間を再エンコードすると、図33Cに示されるように処理時間が増大してしまう(区間B1乃至区間B4を再エンコードする分、処理時間が増大する)。
これに対して、予測情報算出部202は、図32のフローチャートを参照して説明したように、再エンコード部分を1つずつ増やしてビットレートを下げていくことにより、例えば、図34Aに示されるように、区間B2のみを再エンコード部分に変更するだけで、指定値を満たすように設定することができる。この場合、図34Bに示されるように、区間B2の部分しか処理時間が増大しないので、図33Cの場合と比べて、処理時間の増大が抑制されている。すなわち、予測情報算出部202は、SR部分の低減を最小限にすることができ、処理時間の不要な増大を抑制するように予測を行うことができる。
このように算出された予測情報に従って提示された情報に基づいて設定を行うことにより、ユーザは、再エンコードの処理時間の増大を抑制させることができる。つまり、ユーザがより容易かつ適切にスマートレンダリング編集を行うことができる。
以上のように、本発明を適用した編集設定装置10は、スマートレンダリング編集において、ユーザにパラメータを選択させる際に、選択されたパラメータを用いた編集結果や編集処理に要する負荷等を予測して提供することにより、ユーザがより容易かつ適切にスマートレンダリング編集を行うことができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図35に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
図35において、パーソナルコンピュータ1000のCPU(Central Processing Unit)1001は、ROM(Read Only Memory)1002に記憶されているプログラム、または記憶部1013からRAM(Random Access Memory)1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU1001、ROM1002、およびRAM1003は、バス1004を介して相互に接続されている。このバス1004にはまた、入出力インタフェース1010も接続されている。
入出力インタフェース1010には、キーボード、マウスなどよりなる入力部1011、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部1012、ハードディスクなどより構成される記憶部1013、モデムなどより構成される通信部1014が接続されている。通信部1014は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース1010にはまた、必要に応じてドライブ1015が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア1021が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部1013にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図35に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc - Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disk(登録商標))を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア1021により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM1002や、記憶部1013に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
なお、以上において、1つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて1つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
本発明は、画像処理装置に適用することが可能である。
スマートレンダリング編集の例を説明する図である。 編集設定の例を説明する図である。 本発明を適用した編集設定装置の構成例を示すブロック図である。 図3のテーブル情報作成部の詳細な構成例を示すブロック図である。 図3の情報提供処理部の詳細な構成例を示すブロック図である。 テーブル情報作成処理の流れの例を説明するフローチャートである。 カットの読み出しの様子の例を示す図である。 スマートレンダリング可否判定の例を説明する図である。 再エンコード区間の変更によるスマートレンダリングの部分の変化を説明する図である。 グループ内IDの割り当てについて説明する図である。 再エンコードフレーム数算出処理の流れの例を説明する図である。 全フレーム再エンコードする場合の再エンコード区間の例を説明する図である。 速度重視で再エンコードする場合の再エンコード区間の例を説明する図である。 画質重視で再エンコードする場合の再エンコード区間の例を説明する図である。 速度重視の再エンコードにおいてシーンチェンジを優先させる場合の例を説明する図である。 画質重視の再エンコードにおいてシーンチェンジを優先させる場合の例を説明する図である。 テーブル情報の例を示す図である。 情報提供処理の流れの例を説明するフローチャートである。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 表示例を示す図である。 編集設定の例を説明する図である。 情報提供処理部が行う処理の例の概要を説明する図である。 テーブル情報の他の例を示す図である。 予測情報算出部の詳細な構成例を示すブロック図である。 レート変更処理の流れの例を説明するフローチャートである。 スマートレンダリング編集の様子の例を示す図である。 スマートレンダリング編集の様子の、他の例を示す図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
符号の説明
10 編集設定装置, 12 テーブル情報作成部, 13 テーブル情報格納部, 14 情報提供処理部, 16 ユーザ指定履歴格納部, 102 SR可否判定部, 103 再エンコードフレーム数算出部, 104 変更推奨フラグ判定部, 105 同時SR可能グループ分類部, 106 テーブル情報生成部, 111 全再エンコードフレーム数算出部, 112 速度重視再エンコードフレーム数算出部, 113 画質重視再エンコードフレーム数算出部, 114 Sc優先画質重視再エンコードフレーム数算出部, 115 Sc優先速度重視再エンコードフレーム数算出部, 201 ユーザ指定受付処理部, 202 予測情報算出部, 203 表示処理部, 204 学習部, 411 全体サイズ判定部, 412 再エンコード部分全体レート変更部, 413 SR部分判定部, 414 再エンコード設定部, 415 変更区間レート変更部

Claims (12)

  1. 動画像のスマートレンダリング編集に関する設定を行う画像処理装置であって、
    編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成手段と、
    前記テーブル情報作成手段により作成された前記テーブル情報を蓄積するテーブル情報蓄積手段と、
    前記テーブル情報蓄積手段により蓄積されるテーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報を前記ユーザに提供する情報提供手段と
    を備える画像処理装置。
  2. 前記テーブル情報作成手段は、前記タイムラインにおいて編集対象として指定される各動画像データについて、前記スマートレンダリング編集が可能であるか否かを判定するスマートレンダリング可否判定手段を備える
    請求項1に記載の画像処理装置。
  3. 前記テーブル情報作成手段は、前記スマートレンダリング編集を行う各動画像データについて、条件毎に再エンコードを行うフレーム数を算出する再エンコードフレーム数算出手段を備える
    請求項1に記載の画像処理装置。
  4. 前記テーブル情報作成手段は、前記タイムラインに含まれる、処理対象の動画像データに対して、他の動画像データの挿入や再エンコードを行う区間の変更を前記ユーザに推奨すべきであることを示す変更推奨フラグを立てるか否かを判定する変更推奨フラグ判定手段を備える
    請求項1に記載の画像処理装置。
  5. 前記テーブル情報作成手段は、前記タイムラインにおいて編集対象として指定される各動画像データを、同時にスマートレンダリング編集可能なもの毎にグループ分けする同時スマートレンダリング可能グループ分類手段を備える
    請求項1に記載の画像処理装置。
  6. 前記情報提供手段は、
    前記ユーザからの条件指定を受け付ける受付手段と、
    前記テーブル情報および前記受付手段により受け付けられた前記ユーザからの条件指定に基づいて前記予測情報を算出する算出手段と、
    前記算出手段により算出された前記予測情報を表示部に表示させる表示処理手段と
    を備える請求項1に記載の画像処理装置。
  7. 前記表示処理手段は、前記予測情報を、前記ユーザが前記パラメータの設定値や条件を変更するためのGUI情報として表示させ、
    前記受付手段は、前記GUI情報に対する入力情報を受け付ける
    請求項6に記載の画像処理装置。
  8. 前記表示処理手段は、前記予測情報とともに、前記ユーザが再エンコードを行う区間の指定を入力するためのGUI情報を表示する
    請求項7に記載の画像処理装置。
  9. 前記算出手段は、前記予測情報とともに、前記ユーザに指定されていない条件における前記予測情報であり、かつ、前記ユーザに推薦すべき情報である推薦情報を算出し、
    前記表示処理手段は、前記予測情報とともに前記推薦情報を表示する
    請求項6に記載の画像処理装置。
  10. 前記情報提供手段は、
    前記受付手段により受け付けられる前記ユーザからの条件指定の履歴に基づいて、前記ユーザの嗜好および前記ユーザの条件指定の傾向を学習する学習手段をさらに備え、
    前記算出手段は、前記学習手段による学習結果に基づいて前記予測情報を算出する
    請求項6に記載の画像処理装置。
  11. 動画像のスマートレンダリング編集に関する設定を行う画像処理装置の画像処理方法であって、
    編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成ステップと、
    前記テーブル情報作成ステップの処理により作成された前記テーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報を前記ユーザに提供する情報提供ステップと
    を備える画像処理方法。
  12. 動画像のスマートレンダリング編集に関する設定を行うコンピュータが実行可能なプログラムであって、
    編集内容を示す情報であるタイムライン毎に、各種条件下での、パラメータの適切な設定値や、前記パラメータを適切に設定するための情報をまとめたテーブル情報を作成するテーブル情報作成ステップと、
    前記テーブル情報作成ステップの処理により作成された前記テーブル情報を用いて、ユーザにより指定された条件における前記スマートレンダリング編集の処理時間や処理結果を予測する予測情報を前記ユーザに提供する情報提供ステップと
    をコンピュータに実行させるプログラム。
JP2007305223A 2006-11-27 2007-11-27 画像処理装置および方法、並びにプログラム Withdrawn JP2008160816A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007305223A JP2008160816A (ja) 2006-11-27 2007-11-27 画像処理装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006318567 2006-11-27
JP2007305223A JP2008160816A (ja) 2006-11-27 2007-11-27 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2008160816A true JP2008160816A (ja) 2008-07-10

Family

ID=39661138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007305223A Withdrawn JP2008160816A (ja) 2006-11-27 2007-11-27 画像処理装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2008160816A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013247468A (ja) * 2012-05-24 2013-12-09 Casio Comput Co Ltd 動画生成装置、動画生成方法、及び、プログラム
US8649046B2 (en) 2010-09-28 2014-02-11 Sharp Kabushiki Kaisha Selectively displaying and processing image processing load

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649046B2 (en) 2010-09-28 2014-02-11 Sharp Kabushiki Kaisha Selectively displaying and processing image processing load
JP2013247468A (ja) * 2012-05-24 2013-12-09 Casio Comput Co Ltd 動画生成装置、動画生成方法、及び、プログラム

Similar Documents

Publication Publication Date Title
US6587506B1 (en) Video editing apparatus, video editing method, and data storage medium for a video editing program
US8811475B2 (en) Multi-pass video encoding solution for buffer underflow
CN107846603B (zh) 计算装置
US8005139B2 (en) Encoding with visual masking
JP5318134B2 (ja) マルチパスのビデオ符号化
US20020024999A1 (en) Video encoding apparatus and method and recording medium storing programs for executing the method
KR101223865B1 (ko) 화상 처리 장치 및 화상 처리 장치의 제어 방법
WO1996036170A1 (en) System for altering the encoded video frames
US8300115B2 (en) Image processing apparatus, image processing method, and program
JP7317189B2 (ja) 自動メディア出版
EP3654657B1 (en) Video display device and video display method
JPH1188874A (ja) 符号化装置における編集可能点挿入方法および符号化装置
EP1811784A1 (en) Moving picture re-encoding apparatus, moving picture editing apparatus, program, and recording medium
JP2008160816A (ja) 画像処理装置および方法、並びにプログラム
JP2013243747A (ja) 映像を符号化するシステムおよび方法
US20120243781A1 (en) Image processing device, image processing method, and program
JP4285431B2 (ja) ビデオ情報編集装置、方法及びプログラム
JP2007067842A (ja) 動画像符号化データ編集装置および動画像符号化データ編集方法
JP4546207B2 (ja) 動画編集装置、プログラム、および動画編集方法
JP2008180932A (ja) 表示制御装置、表示装置、表示制御方法および制御プログラム
US8212919B2 (en) Image processing apparatus, image processing method, and program
JP2010114529A (ja) 映像処理装置およびその方法
JP4672561B2 (ja) 画像処理装置、受信装置、放送システム、画像処理方法、画像処理プログラム、および記録媒体
JP4793150B2 (ja) ビデオ信号処理装置およびビデオ信号情報処理方法、並びにプログラム
JP2011014949A (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110201