JP2013183305A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】プロキシデータ生成のための処理時間を削減することが可能な情報処理装置の提供を目的とする。
【解決手段】画像処理を行う情報処理装置であって、任意の形式の動画像を生成するための第一の動画像生成手段、第二の動画像生成手段と、動画像の形式を変換するための第一の画像処理手段、第二の画像処理手段と、動画像のデータサイズを削減するための動画像データサイズ削減手段とを有し、前記第一の動画像生成と前記第二の動画像生成を同時に行う場合には、前記第一の画像処理を行った後、前記動画像データサイズ削減を行い、前記第二の動画像生成のみを行う場合には、前記第二の画像処理を行うことを特徴とする。
【選択図】図１

Description

本発明は、動画像のファイルフォーマット変換を行う情報処理装置に関するものである。

近年の業務用カメラにはＲＡＷ動画を撮影する機能が存在する。ＲＡＷ動画とは、カメラの撮像センサーから取得した画像情報をベイヤー形式のままファイル化した動画のことである。ＲＡＷ動画は、ユーザの好みに応じて、ディベイヤ方法の切り替えや、ホワイトバランス、シャープネス等の調整を撮影後に行うことが可能になる。

ＲＡＷ動画に関しては、現状、ＭＰＥＧ２やＨ．２６４等の一般的な規格が存在しておらず、カメラメーカーがそれぞれ独自の形式でＲＡＷ動画フォーマットを規定している。そのため、新しい形式のＲＡＷ動画は、カラーグレーディングシステムにそのまま読み込めない場合がある。その場合は、カメラメーカー等が提供する動画ファイルフォーマット変換アプリケーションを用いて、ＲＡＷ動画を、ＤＰＸ等の一般的なファイル形式に変換し、カラーグレーディングシステムに読み込ませる。ＲＡＷ動画をＤＰＸ等に変換してカラーグレーディングシステム上で扱う場合、画質を最優先とした形式（例えば、ＲＧＢ非圧縮形式）にＲＡＷデータを現像することが一般的である。ただし、カット編集等の作業に関しては、高画質の動画を必要としない場合が多いため、比較的データサイズの小さい動画を、RAW動画をそのまま現像したデータとは別途生成し、そちらで編集作業を行う。この動画はプロキシと呼ばれ、プロキシデータ生成の際には、元の動画に対し、縮小処理、圧縮処理を施すことにより、画質を最優先とした形式のデータ（以下、本データとする）に対してデータサイズを小さくしている。なお、本データとプロキシデータは、両動画間で同一タイムコードが付与されたフレームは同一内容であることが保証される。上記編集によって、最終的に使用する動画の区間が決定され、当該区間のタイムコード情報が記述されたＥｄｉｔ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ（以下、ＥＤＬ）が映像編集システムから出力される。その後、カラーグレーディングシステムに、前記ＥＤＬと本データが読み込まれ、前記ＥＤＬで指定された区間が本データから切り出されて、最終的な色調整等が行われる。

このように、ＲＡＷ動画を編集し、カラーグレーディングを行う、というワークフローでは、本データとプロキシデータの２つを生成する。ここで、各データを生成する際、別々に処理を行うと、処理時間が膨大になるという問題がある。この問題に対し、特許文献１では、複数の形式の動画像ファイルを生成する際、共用できる状態までデータを変換した後、前記データを用いて最終的にそれぞれの形式に変換する方法が提案されている。この方法を用いた場合、ＲＡＷ動画から本データとプロキシデータを生成するのではく、生成した本データを縮小、圧縮したものをプロキシデータとすることで、プロキシデータ生成の処理時間を削減可能である。

特開２００８−２３６５７７号公報

ところで、カラーグレーディングシステムがＲＡＷ動画の直接読み込みをサポートした場合、上記ワークフローではプロキシデータのみを生成すればよいことになる。プロキシデータは高画質を必要としない場合が多いため、高画質化のための様々な処理を省略し、データ生成時間低減を図ることが可能である。しかしながら、上記方法では、プロキシデータ生成の際にも高画質のデータを生成する手順を一部行うことになり、プロキシデータ生成の処理時間が長くなるという課題があった。

上記目的を達成するために、本発明は、画像処理を行う情報処理装置であって、
任意の形式の動画像を生成するための第一の動画像生成手段、第二の動画像生成手段と、
動画像の形式を変換するための第一の画像処理手段、第二の画像処理手段と、
動画像のデータサイズを削減するための動画像データサイズ削減手段とを有し、
前記第一の動画像生成と前記第二の動画像生成を同時に行う場合には、前記第一の画像処理を行った後、前記動画像データサイズ削減を行い、前記第二の動画像生成のみを行う場合には、前記第二の画像処理を行うことを特徴とする。

本発明によれば、プロキシデータ生成のための処理時間を削減することができる。

本実施例におけるＰＣ１００のブロック構成を示す図 本実施例におけるＲＡＷ動画の１フレームのデータ構成を示す図 本実施例におけるファイルフォーマット変換アプリケーションを説明する図 本実施例におけるＰＣ１００の動作概要を示すフローチャート 本実施例におけるＰＣ１００現像処理を示すフローチャート

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の記載は実施形態の一つであり、本発明は下記の形態だけに限定されない。

［実施例１］
図１は本実施例１におけるＰＣ１００のブロック図である。ＰＣ１００は、ＣＰＵ１０１と、ＣＰＵ１０１の処理手順を記述した制御プログラムを記憶するためのＲＯＭ１０２と、ワークメモリとして一時的に制御プログラムやデータを格納するＲＡＭ１０３を持つ。そして、アプリケーションやＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳとする）などの各プログラムとデータを格納するためのハードディスクドライブ（以下、ＨＤＤとする）１０４を備える。更に、フラッシュメモリカード１５０や外付けハードディスク１６０等、外部の記憶媒体１１１と接続するためのインタフェースである外部ＩＦ１０５と、マウス１１３やキーボード１１４等の入力デバイス１１２からのユーザ入力を処理するユーザＩＦ１０６を備える。そして、ＰＣの表示する画像が記憶されているＶＲＡＭ１０７と、画像処理部１０８と、表示制御部１０９と、液晶ディスプレイなどのディスプレイ１１０を備える。これらは、各要素間の制御信号やデータ信号のための伝送路である内部バス１１１と接続されている。本実施例では、ＨＤＤ１０４内に、ＲＡＷ動画が格納されているものとする。

図２は、本実施例におけるＲＡＷ動画のデータ構成を示す図である。本実施例のＲＡＷ動画データは、１フレーム１ファイルの構成になっており、そのうちの１フレームのデータ２００の内部構成を以下に説明する。ファイル情報部２０１は、ＲＡＷ動画のファイルサイズや解像度を格納する領域である。カメラパラメータ部２０２は、撮影時の色温度や、ガンマカーブ情報等、ＲＡＷを現像するために必要なカメラ情報を格納する領域である。メタデータ部２０３は、撮影者やタイトル、ＧＰＳ情報、タイムコード等、ＲＡＷ動画に対するメタデータを格納する領域である。画像データ部２０４は、カメラの撮像センサーより取得したベイヤー情報を格納する領域である。

図３（ａ）は本実施例１における、ＲＡＷ動画データの閲覧およびフォーマット変換を行うためのアプリケーション３００のウィンドウ構成を示す図である。アプリケーション３００には、リンク情報表示ペイン３０１、プレビューペイン３０２、現像パラメータ調整ペイン３０３から構成される。

リンク情報表示ペイン３０１では、実際にＲＡＷ動画データが格納されたフォルダに対するリンク情報として、フォルダのアイコン３１０およびフォルダ名３１１を表示する。これらのリンク情報には、実際に映像データが格納されたフォルダのパスが関連付けられている。アプリケーション３００は、ＰＣ１００の電源が切られた後もこれらのリンク情報を保持するために、リンク情報を管理ファイルに保存する。図３（ｂ）は、ファイルフォーマット変換アプリケーション内で扱うリンク情報を説明する図である。

リンク情報は、新しく生成されたタイミング、もしくは、変更があったタイミングで、図３（ｂ）のように管理ファイルに書き込まれる。リンク情報の生成は、アプリケーション３００上でユーザがＲＡＷ動画格納フォルダを指定した際に行う。

プレビューペイン３０２では、リンク情報表示ペイン３０１にて選択されたリンク情報に関連付けられたフォルダ内部のデータ構成を解析し、読み込み可能なＲＡＷ動画ファイルのシーケンスが格納されていた場合に、先頭フレームを現像して表示する。シークバー３１２やコントロールボタン３１３の操作により、映像の再生、停止、早送り、巻き戻し、コマ送り、コマ戻し、フレーム指定等が実現可能である。

現像パラメータ調整ペイン３０３では、スライダコントロール３１４を操作することにより、明るさや温度等の現像パラメータを調整でき、ここでの調整の結果はプレビューペイン３０２におけるＲＡＷ動画のプレビューに反映される。

図３（ｃ）はＲＡＷ動画を別のフォーマットに変換して書き出す際のダイアログを示す図である。ダイアログ３２０は、アプリケーション３００のメニューから開くことが可能である。ダイアログ３２０では、フォーマット変換後のファイル書き出し先フォルダを選択可能である。また、書き出すファイルを、本データのみ、プロキシデータのみ、本データとプロキシデータの両方、の３通りの中から選択することが可能である。また、本データとプロキシデータのフォーマット変換形式（ＤＰＸ、ＴＩＦＦ、ＭＯＶ等）を個別に選ぶことが可能である。アプリーション３００上の操作は、マウス１１３やキーボード１１４などの入力デバイスにより行う。

次に、本実施例１における、アプリケーション２００によるＲＡＷ動画のファイルフォーマット変換処理の流れについて、図４のフローチャートに基づいて説明する。

ステップＳ４０１では、ＣＰＵ１０１は、ダイアログ３２０上でユーザによる書き出し指示（書き出しボタン押下）があったか否かを判定する。書き出し指示があった場合には、ステップＳ４０２へ、書き出し指示がなかった場合には、ステップＳ４０１へ戻りユーザ操作を待つ。

ステップＳ４０２では、ＣＰＵ１０１は、ダイアログ３２０上の書き出すファイルの設定で、「本データとプロキシデータの両方」が選択されているか否かを判定する。選択されていれば、ステップＳ４０３へ、選択されていなければステップＳ４０６へ進む。

ステップＳ４０３では、ＣＰＵ１０１は、リンク情報表示ペイン３０１にて選択されたリンク情報に関連付けられたフォルダ内部のＲＡＷ動画データに対して、画質を最優先としたＲＡＷ現像処理（以下、本現像処理とする）を行う。現像後のデータはＲＡＭ１０３に保存する。

上記本現像処理の一例を図５（ａ）に示す。図５（ａ）において、ステップＳ５０１では、ＣＰＵ１０１は、現像パラメータ調整ペイン３０３でユーザが設定した明るさパラメータを取得し、ＲＡＷ動画中の１フレームのベイヤー画像に対して、当該パラメータの値に応じた係数を乗算する。

ステップＳ５０２では、ＣＰＵ１０１は、現像パラメータ調整ペイン３０３でユーザが設定した色温度パラメータを取得し、上記ベイヤー画像に対して、当該パラメータの値に応じた係数を乗算する。

ステップＳ５０３では、ＣＰＵ１０１は、上記ベイヤー画像に対し補間フィルタを掛け、ＲＧＢ画像を得る。

ステップＳ５０４では、ＣＰＵ１０１は、現像パラメータ調整ペイン３０３でユーザが設定したシャープネスパラメータを取得し、上記ＲＧＢ画像に対して、当該パラメータの値に応じたエッジ強調処理を施す。

ステップＳ５０５では、ＣＰＵ１０１は、現像パラメータ調整ペイン３０３でユーザが設定したノイズパラメータを取得し、上記ＲＧＢ画像に対して、当該パラメータの値に応じたノイズ除去処理を施す。

ステップＳ５０６では、ＲＡＷ動画を構成する全フレームに対してステップＳ５０１〜Ｓ５０５の処理が完了したか否かを判定する。完了していれば本フローチャートを終了し、完了していなければ、Ｓ５０１へ戻り、現像処理が行われていないフレームに対し引き続き現像処理を行う。

ステップＳ４０４では、ＣＰＵ１０１は、ステップＳ４０３でＲＡＭ１０３に保存したデータを読み出し、解像度が１／２サイズになるよう縮小処理を施し、縮小後のデータをＲＡＭ１０３に保存する。

ステップＳ４０５では、ＣＰＵ１０１は、ステップＳ４０３でＲＡＭ１０３に保存したデータを、ダイアログ３２０の本データ出力形式に設定されている形式で、ダイアログ３２０の保存先フォルダで設定されているパスへ書き出す。また、ＣＰＵ１０１は、ステップＳ４０４でＲＡＭ１０３に保存したデータを、ダイアログ３２０のプロキシデータ出力形式に設定されている形式で、ダイアログ３２０の保存先フォルダで設定されているパスへ書き出す。このとき、同一フォルダ内の本データとプロキシデータを区別するために、プロキシデータのファイル名を、本データのファイル名の前に、「ｐ＿」を付けたものとする。または、ダイアログ３２０の保存先フォルダに本データ用、プロキシデータ格納用のフォルダを自動的に生成し、その中にそれぞれのデータを書き出すようにしてもよい。

ステップＳ４０６では、ＣＰＵ１０１は、ダイアログ３２０上の書き出すファイルの設定で、「本データのみ」が選択されているか否かを判定する。選択されていれば、ステップＳ４０７へ、選択されていなければステップＳ４０９へ進む。

ステップＳ４０７では、ＣＰＵ１０１は、リンク情報表示ペイン３０１にて選択されたリンク情報に関連付けられたフォルダ内部のＲＡＷ動画データに対して、Ｓ４０３と同様の本現像処理を行い、現像後のデータをＲＡＭ１０３に保存する。

ステップＳ４０８では、ＣＰＵ１０１は、ステップＳ４０７でＲＡＭ１０３に保存したデータを、ダイアログ３２０の本データ出力形式に設定されている形式で、ダイアログ３２０の保存先フォルダで設定されているパスへ書き出す。

ステップＳ４０９では、ＣＰＵ１０１は、リンク情報表示ペイン３０１にて選択されたリンク情報に関連付けられたフォルダ内部のＲＡＷ動画データに対して、本現像処理よりも画質を向上させるための処理が少なく、処理時間が短いＲＡＷ現像処理（以下、簡易現像とする）を行う。現像後のデータはＲＡＭ１０３に保存する。

上記簡易現像処理の一例を図５（ｂ）に示す。図５（ｂ）において、ステップＳ５１１〜Ｓ５１２は、図５（ａ）におけるステップＳ５０１〜Ｓ５０２と同様であるため、説明を省略する。

ステップＳ５１３では、ＣＰＵ１０１は、上記ベイヤー画像に対し、本現像よりもタップ数が少ない補間フィルタを掛け、ＲＧＢ画像を得る。

ステップＳ５１４では、ＲＡＷ動画を構成する全フレームに対してステップＳ５１１〜Ｓ５１３の処理が完了したか否かを判定する。完了していれば本フローチャートを終了し、完了していなければ、Ｓ５１１へ戻り、現像処理が行われていないフレームに対し引き続き現像処理を行う。

図５（ｂ）の簡易現像処理は、図５（ａ）の本現像処理と比較して、シャープネス調整、ノイズ除去処理がなく、計算量の少ない補間処理を行うため、処理時間が短くなる。

ステップＳ４１０では、ＣＰＵ１０１は、ステップＳ４０９でＲＡＭ１０３に保存したデータを読み出し、解像度が１／２サイズになるよう縮小処理を施し、縮小後のデータをＲＡＭ１０３に保存する。

ステップＳ４１１では、ＣＰＵ１０１は、ステップＳ４１０でＲＡＭ１０３に保存したデータを、ダイアログ３２０のプロキシデータ出力形式に設定されている形式で、ダイアログ３２０の保存先フォルダで設定されているパスへ書き出す。

このように、実施例１によれば、本データ・プロキシデータ同時書き出し時と、プロキシデータのみ書き出し時で現像処理を変更することにより、プロキシデータ書き出しの処理時間を削減することが可能となる。

なお、本実施例では、プロキシデータ生成の際に縮小処理を施したが、他にも圧縮処理や色情報のダウンサンプリング処理を施してもよい。

また、本実施例のＲＡＷ動画は１フレーム１ファイルの構成であったが、全フレームが１ファイルに格納されている構成でもよい。

また、簡易現像の画質でカラーグレーディングを実施しても問題ないユーザのために、ユーザが本データの現像処理を本現像と簡易現像のどちらかを選択できるようにし、ユーザが簡易現像を選択した場合には、本データ、プロキシデータ共に簡易現像で生成するようにしてもよい。

１００：ＰＣ
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：ＨＤＤ
１０５：外部ＩＦ
１０６：ユーザＩＦ
１０７：ＶＲＡＭ
１０８：画像処理部
１０９：表示制御部
１１０：ディスプレイ
１１１：記憶媒体
１１２：入力デバイス
１１３：マウス
１１４：キーボード
１５０：フラッシュメモリカード
１６０：外付けハードディスク

Claims (8)

1. 画像処理を行う情報処理装置であって、
   動画像を生成するための第一の動画像生成手段と、
   前記第一の動画像生成手段で生成される動画像よりもデータの小さい簡易動画像を生成する第二の動画像生成手段と、
   １度の操作で、前記動画像と前記簡易動画像との両方を作成する場合には、前記第一の動画像生成手段で動画像の生成を行った後、生成前記動画像データサイズ削減を行い、前記第二の動画像生成のみを行う場合には、前記第二の画像処理を行うことを特徴とする情報処理装置。
2. 前記動画像データサイズ削減手段は、動画像の縮小処理、圧縮処理、色のダウンサンプリング処理の少なくとも１つを含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記第一の画像処理手段はＲＡＷ現像処理であることを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記第二の画像処理手段は、第一の画像処理手段のＲＡＷ現像処理よりも処理負荷の軽いＲＡＷ現像処理であることを特徴とする請求項１乃至請求項３の何れか１項に記載の情報処理装置。
5. 第一の動画像生成のために実施する画像処理方法を選択する画像処理方法選択手段を有し、
   前記画像処理方法選択手段により、ユーザが第二の画像処理手段を選択した場合、前記第一の動画像生成と前記第二の動画像生成を同時に行う際に、前記第二の画像処理を行った後、前記動画像データサイズ削減を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の情報処理装置。
6. ファイル名変更手段を有し、前記第一の動画像生成と前記第二の動画像生成を同時に行う場合には、前記第二の動画像生成手段により生成される動画像のファイル名を、前記第一の動画像生成手段により生成される動画像のファイル名とは別のファイル名に変更することを特徴とする請求項１乃至請求項５の何れか１項に記載の情報処理装置。
7. フォルダ生成手段を有し、前記第一の動画像生成と前記第二の動画像生成を同時に行う場合には、前記第一の動画像生成手段により生成される動画像を格納するフォルダと、前記第二の動画像生成手段により生成される動画像を格納するためのフォルダを生成することを特徴とする請求項１乃至請求項６の何れか１項に記載の情報処理装置。
8. 画像処理を行う情報処理方法であって、
   任意の形式の動画像を生成するための第一の動画像生成手段、第二の動画像生成手段と、
   動画像の形式を変換するための第一の画像処理手段、第二の画像処理手段と、
   動画像のデータサイズを削減するための動画像データサイズ削減手段とを有し、
   前記第一の動画像生成と前記第二の動画像生成を同時に行う場合には、前記第一の画像処理を行った後、前記動画像データサイズ削減を行い、前記第二の動画像生成のみを行う場合には、前記第二の画像処理を行うことを特徴とする情報処理方法。