JP2014179991A - 映像データ処理方法及びこれをサポートする電子装置 - Google Patents

Abstract

【課題】映像データ処理において電力消耗を低減し、より改善されたユーザインタフェースを提供する。
【解決手段】映像データ処理サポート装置は、複数のイメージセンサを含むイメージセンサモジュール１７０及び制御部１６０を含み、制御部は、複数のイメージセンサのうち、１つのイメージセンサから映像データを受信する場合、システム制御ユニットに相当する第１プロセッサ１６１を用いて受信された映像データを処理するためのシングルモード経路を設定し、複数のイメージセンサのうち、少なくとも２つのセンサから映像データを受信する場合、グラフィック処理ユニット（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）に相当する第２プロセッサ１６２を用いて受信された映像データを処理するためのデュアルモード経路を設定する。
【選択図】図１

Description

本発明は映像データ処理方法及びこれをサポートする電子装置に係り、より詳細には、イメージセンサが収集した映像データ処理方法及びこれをサポートする電子装置に関する。

電子装置はそのサイズが携帯できる程度に小さいにも拘わらず様々なユーザ機能をサポートできるので、多くの産業及び生活分野で脚光を浴びている。そして、最近になって多様なユーザ機能を統合的にサポートする電子装置が登場している。このような電子装置は映像データ収集機能を提供するためのイメージセンサモジュールを一般に含む。しかしながら、この映像データの収集を含む映像データ処理を多様なユーザ機能の要求を満たす高速で実現するには、多大の電力消耗を招くだけでなく、そのユーザインタフェースが必ずしも便利ではなかった。

本発明の目的は、映像データ処理において電力消耗を低減し、且つ、より改善されたユーザインタフェースを提供することにある。

本発明は、複数のイメージセンサを含むイメージセンサモジュール及び制御部を含み、上記制御部は、上記複数のイメージセンサのうち、１つのイメージセンサから映像データを受信する場合、システム制御ユニットに相当する第１プロセッサを用いて上記受信された映像データを処理するためのシングルモード経路を設定し、上記複数のイメージセンサのうち、少なくとも２つのセンサから上記映像データを受信する場合、グラフィック処理ユニット（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）に相当する第２プロセッサを用いて上記受信された映像データを処理するためのデュアルモード経路を設定する、映像データ処理をサポートする電子装置の構成を開示する。

本発明は、複数のイメージセンサのうち、１つのイメージセンサから映像データを受信する場合、システム制御ユニットに相当する第１プロセッサを用いて上記受信された映像データを処理するためのシングルモード経路を設定する過程、及び上記シングルモード経路を通じて上記映像データを処理する過程と、上記複数のイメージセンサのうち、少なくとも２つのセンサから上記映像データを受信する場合、グラフィック処理ユニットに相当する第２プロセッサを用いて上記受信された映像データを処理するためのデュアルモード経路を設定する過程、及び上記デュアルモード経路を通じて上記映像データを処理する過程と、を含む、映像データ処理方法の構成を開示する。

本発明の実施形態によれば、効果的なハードウェア動作を実現できるので、データ処理をより効率的に運用できる。

本発明の実施形態によれば、効果的なハードウェア動作を実現できるので、映像データ処理の負荷を低減し、また電力消耗を低減できる。

本発明によれば、便利なユーザインタフェース提供をサポートできる。

本発明の多様な実施形態に係わる、映像データ処理装置を含む電子装置の構成を示す図である。 図１の制御部の構成の一部をより詳細に説明するための図である。 本発明の実施形態に従う映像データ処理方法を説明するための図である。 本発明のシングルモードにおける制御部の動作を説明するための図である。 本発明のデュアルモードにおける制御部の動作を説明するための図である。 本発明の電子装置が提供する画面インタフェースの一例を示す図である。

以下、本発明の多様な実施形態を添付した図面に基づいて詳細に説明する。実施形態を説明するに当たって、本発明が属する技術分野によく知られており、本発明と直接的に関連のない技術内容に対しては説明を省略する。また、実質的に同一な構成と機能を有する構成要素に対しては詳細な説明を省略する。

同様の理由により添付図面において一部の構成要素は誇張、省略、又は概略的に示されており、その場合、各構成要素のサイズは実際のサイズを完全には反映しない。従って、本発明は添付した図面に描かれた相対的なサイズ乃至間隔により限定されない。

図１は、本発明の実施形態に係わる、映像データ処理装置を含む電子装置の構成を示す図である。

図１を参照すると、本発明の電子装置１００は、通信部１１０、入力部１２０、オーディオ処理部１３０、表示部１４０、格納部１５０、及び制御部１６０の構成を含み、更に、カメラ機能のサポートのためにイメージセンサモジュール１７０を含む。イメージセンサモジュール１７０は、複数個のイメージセンサ第１、第２イメージセンサ１７１、１７２を含む。図１では、２つのイメージセンサ１７１、１７２を例示したが、本発明はこれに限定されない。即ち、より多数のイメージセンサがイメージセンサモジュール１７０に含まれ得る。ここで、上記電子装置１００がカメラ機能のみをサポートし、別途の通信機能をサポートしない場合、上記通信部１１０の構成は省略できる。ここで、制御部１６０はＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）を含み、本発明のカメラ機能サポートは該ＡＰで処理される。

本実施形態では、制御部１６０には複数個のプロセッサが存在し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の他、グラフィックデータのみを処理するためのユニットとしてＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が含まれる。例えば図１において、第１プロセッサ１６１及び第２プロセッサ１６２は、電子装置１００の運用のためのＣＰＵに相当し、第３プロセッサ１６３はＧＰＵに相当する。ＣＰＵに相当する第１プロセッサ１６１及び第２プロセッサ１６２は、資料の演算及び比較と、命令語の解釈及び実行などを遂行するコンピュータシステム制御ユニットであり、ＧＰＵに相当する第３プロセッサ１６３はＣＰＵで扱わない、グラフィック関連のデータの演算及び比較と、命令語の解釈及び実行などを遂行するグラフィック制御ユニットである。ＣＰＵとＧＰＵは、各々２つ以上の独立コア（例、クォードコア（ｑｕａｄ−ｃｏｒｅ、４連コア））からなる統合マルチコアパッケージ（ｐａｃｋａｇｅ）として具現される。また、ＣＰＵとＧＰＵは１つのチップに統合（ＳｏＣ：Ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）されるか、又は、ＣＰＵとＧＰＵはマルチレイヤ（Ｍｕｌｔｉ ｌａｙｅｒ）パッケージング（ｐａｃｋａｇｉｎｇ）される。前記ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）は、このＣＰＵ及びＧＰＵを含む構成により具現できる。

このような構成を有する本発明の電子装置１００は、イメージセンサモジュール１７０が含む第１、第２イメージセンサ１７１、１７２のうち、少なくとも１つが収集した映像データを処理する過程に対して、シングルモードとデュアルモードの何れに従うかにより相異なるハードウェア運用パスを備える。ここで、シングルモードは、複数個のイメージセンサのうち、何れか１つのイメージセンサを用いて映像を獲得（Ｏｂｔａｉｎ）又は収集（Ｃｏｌｌｅｃｔ）するモードであり、デュアルモードは、複数個のイメージセンサを用いて映像を獲得又は収集するモードである。
例えば、電子装置１００は、第１、第２イメージセンサ１７１、１７２のうち１つのイメージセンサのみを運用するシングルモード運用時には、ＧＰＵに相当する第３プロセッサ１６３を利用せず、第１プロセッサ１６１又は第２プロセッサ１６２を基盤に直接的な映像合成を遂行するようにサポートする。一方、電子装置１００は、第１、第２イメージセンサ１７１、１７２全てを用いるデュアルモード運用時にはＧＰＵに相当する第３プロセッサ１６３を用いて映像合成と出力及び格納のうち、少なくとも１つを遂行するようにサポートする。即ち、本発明の電子装置１００は、シングルモード運用時にはＣＰＵに相当する第１プロセッサ１６１などを基盤に映像処理をサポートし、デュアルモード運用時にはＧＰＵに相当する他のプロセッサ、例えば第３プロセッサ１６３を基盤に映像処理をサポートする。

これによって、本発明の電子装置１００はイメージセンサモジュール１７０の運用過程においてシングルモード時には、電力消耗が相対的に大きいＧＰＵを運用しないことによって、電力消耗の低減を達成できる。一方、本発明の電子装置１００はイメージセンサモジュール１７０の運用過程においてデュアルモード時には、改善された映像処理を遂行することによって、互いに相異なる多様なユーザインタフェースを提供できる。

通信部１１０は、前述したように、上記電子装置１００が通信機能をサポートする電子装置である場合に追加できる構成であって、上記電子装置１００が通信機能をサポートしない場合、省略できる。このような通信部１１０は、電子装置１００の通信機能サポートのために基地局又は無線アクセスポイントとの通信チャンネル形成を遂行する。そして、通信部１１０はユーザ制御によって、又は設定された情報によって外部から情報を受信するか、若しくは電子装置１００に格納された又は電子装置１００が収集した情報を外部に転送するようにサポートする。また、通信部１１０は近距離通信機能をサポートする通信モジュールとして構成されて他電子装置と近距離通信チャンネルを形成し、格納された映像を転送するようにサポートする。

通信部１１０は、イメージセンサモジュール１７０により収集された静止映像又は動映像データを他の電子装置に転送するための通信チャンネルを形成するようにサポートする。また、通信部１１０は他の電子装置から動映像データを受信し、受信された静止映像又は動映像データは制御部１６０の制御によって格納部１５０に格納される。格納部１５０に格納されるデータは、シングルモード時に単一のイメージセンサが収集した映像、及び／又はデュアルモード時に複数のイメージセンサが収集した映像を含む。

入力部１２０は、上記電子装置１００の運用に必要となる多様な入力信号を生成するように構成される。このような入力部１２０は、電子装置１００と互換性のあるキーボード、キーパッド、キーボタンなどの多様な入力手段の少なくとも１つを用いて構成される。また、上記入力部１２０は、上記表示部１４０がタッチスクリーン形態で提供される場合、タッチスクリーンに出力されるタッチマップの形態を備える。本発明の入力部１２０は、イメージセンサの運用制御のためのシャッターキー入力信号、イメージセンサ設定のためのキー入力信号を生成する。該キー入力信号は電子装置１００の前面の一側や側面などに配置されたハードウェアキーから生成されるか、又は表示部１４０がタッチスクリーンの形態で提供される場合、上記各キー入力信号を生成するための仮想タッチパッド又は仮想タッチマップが表示部１４０に出力され、ユーザの選択により生成される。入力部１２０は、シングルモード又はデュアルモードの何れかを選択する入力信号をユーザ選択によって生成する。

オーディオ処理部１３０は、電子装置１００の運用に関連する多様なオーディオデータ、格納部１５０に格納されたオーディオファイル再生に従うオーディオデータ、及び外部から受信されたオーディオデータなどを出力するためにスピーカー（ＳＰＫ）を含む。また、オーディオ処理部１３０はオーディオデータ収集機能をサポートする。このために、オーディオ処理部１３０はマイク（ＭＩＣ）を含み得る。オーディオ処理部１３０により出力されるオーディオデータは、イメージセンサモジュール１７０の制御と関連した多様な案内音や効果音を含む。例えば、オーディオ処理部１３０はシングルモード設定を案内するオーディオ信号、デュアルモード設定を案内するオーディオ信号などを出力できる。オーディオ処理部１３０の案内音の出力は、設計者の意図によって提供されないか、又は、提供されてもユーザ設定によって省略できる。また、マイク（ＭＩＣ）により収集されるオーディオデータは動映像収集などの過程で収集されるオーディオ信号に利用できる。そして、電子装置１００が通信機能をサポートする場合、マイク（ＭＩＣ）は通信機能サポートのための音声信号収集もサポートできる。

表示部１４０は、電子装置１００の運用に必要となる多様な画面を提供する。例えば、表示部１４０は電子装置１００の運用に必要な待機画面、メニュー画面などをサポートする。本発明の表示部１４０は、カメラ制御関連画面、カメラ運用画面、カメラ設定画面など、多様な画面を提供する。本発明の表示部１４０は、イメージセンサモジュール１７０のプリビュー機能、キャプチャ機能、動映像撮影機能のうち、少なくとも１つの機能のサポートのための画面を出力する。ここで、表示部１４０はシングルモードでのプリビュー機能、キャプチャ機能、動映像撮影機能の各々に対応する画面を出力する。また、表示部１４０はデュアルモードでのプリビュー機能、キャプチャ機能、動映像撮影機能の各々に対応する画面を出力する。表示部１４０を通じて提供される画面インタフェースの一例については後述する図面を参照してより詳細に説明する。

格納部１５０は、電子装置１００の運用に必要となる多様なＯＳ及び多様なユーザ機能に相当するデータ、又は応用プログラムとアルゴリズムなどを格納する。上記格納部１５０は、更に本発明のカメラ制御機能サポートのための映像処理プログラム１５１を格納する。そして、格納部１５０は映像処理プログラム１５１の運用によって収集されるキャプチャデータ及び動映像データのうち、少なくとも１つを格納する。

映像処理プログラム１５１は、電子装置１００のカメラ機能に必要な多様なルーチンを含む。例えば、映像処理プログラム１５１はイメージセンサモジュール１７０のターン−オンによって活性化されたイメージセンサモジュール１７０が収集して転送したデータをプリビュー映像に出力するプリビュー出力ルーチンを含む。プリビュー出力ルーチンは、シングルモードプリビューサポートルーチン、デュアルモードプリビューサポートルーチンを含み得る。

また、映像処理プログラム１５１はシングルモードキャプチャサポートルーチンとデュアルモードキャプチャサポートルーチンとを含む。また、映像処理プログラム１５１はシングルモード動映像運用ルーチンとデュアルモード動映像運用ルーチンとを含む。各々のルーチンは、ユーザ要請によって制御部１６０のハードウェア装置の運用を制御して該当ルーチンに従う映像処理を遂行するようにサポートする。前述したルーチンの動作について後述する制御部１６０の図面と共に詳細に説明する。

イメージセンサモジュール１７０は、静止映像又は動映像を収集する。このようなイメージセンサモジュール１７０は、複数個のイメージセンサ１７１、１７２を含む。各々のイメージセンサ１７１、１７２は、カメラ機能をサポートする、例えばレンズ、絞り及び絞り駆動部、レンズ調節部などの映像収集構成要素を基本的に含む。

イメージセンサ１７１、１７２は更に、マトリックス形態に配置されてレンズを通じて伝達される光を光学情報として収集する複数のフォトセンサを含む。そして、イメージセンサ１７１、１７２は収集した光を該マトリックス形態に配列されたフォトセンサに対応するように設けられたカメラ用メモリ装置に伝達する。カメラ用メモリ装置は、フォトセンサに収集された光学情報をデジタル化して格納し、各々の位置に格納された情報を書き込み及び読み取るためにアドレスラインが配置される。ここで、第１イメージセンサ１７１は電子装置１００の前面に配置されて映像通信に用いられる。第１イメージセンサ１７１は、第２イメージセンサ１７２に比べて相対的に低解像度の映像を撮影するために備えられる。第２イメージセンサ１７２は電子装置１００の後面に配置されて映像撮影に用いられる。第２イメージセンサ１７２は、第１イメージセンサ１７１に比べて相対的に高解像度の映像を撮影するために備えられる。第１イメージセンサ１７１及び第２イメージセンサ１７２は、同時活性化が可能である。これによって、第１イメージセンサ１７１が獲得した映像及び第２イメージセンサ１７２が獲得した映像は同時に、又は各々独立して表示部１４０に出力できる。

図２は、本発明の制御部１６０の構成のうち、イメージセンサモジュール１７０の運用を制御する部分の構成をより詳細に示す図である。

図２を参照すると、本発明の制御部１６０は、カメラアプリ８０、カメラドライバ１０、カメラフレームワーク２０、デュアルカメラフレームワーク３０、ＧＰＵ４１とこれを含むＯｐｅｎＧＬ４０、サーフェス・テクスチャバッファ５１（Ｓｕｒｆａｃｅ ｔｅｘｔｕｒｅ ｂｕｆｆｅｒ）、コンポーザ５２（Ｈａｒｄｗａｒｅ ｃｏｍｐｏｓｅｒ）、メディアサーフェステクスチャバッファ６１（Ｍｅｄｉａ ｓｕｒｆａｃｅ ｔｅｘｔｕｒｅ ｂｕｆｆｅｒ）、メディアレコーダ６２（Ｍｅｄｉａ Ｒｅｃｏｒｄｅｒ）、キャプチャバッファ７１、ＪＰＥＧエンコーダ２１、及びハードウェアエンコーダ６３を含む。そして、制御部１６０は更にカメラフレームワーク２０と連結されるＣＰＵ４２を含む。
ＣＰＵ４２は、図１で説明した第１プロセッサ１６１及び第２プロセッサ１６２のうち、少なくとも１つを含む。ＣＰＵ４２は、シングルモードサポート時、データをサーフェス・テクスチャバッファ５１、メディアサーフェステクスチャバッファ６１、キャプチャバッファ７１に提供する。又は、ＣＰＵ４２は該各バッファに対応データを格納せず、コンポーザ５２及びメディアレコーダ６２に直接伝達する。即ち、ＣＰＵ４２はシングルモードでプリビューモードサポート時、プリビューデータをコンポーザ５２に直接伝達する。そして、ＣＰＵ４２はシングルモードでビデオモードサポート時、ビデオデータをメディアレコーダ６２に直接伝達する。

カメラアプリ８０は、ユーザ要請によって、又は設定された構成に従って、カメラ機能呼び出しのための入力信号が発生すると、制御部１６０にロードされる。その際、カメラアプリ８０は図示したように、アプリケーションレイヤに配置される。カメラアプリ８０は、シングルモード及びデュアルモードの選択のためのメニュー提供、第１、第２イメージセンサ１７１、１７２の設定メニュー提供、撮影された映像を格納するか否かの制御メニュー提供、シャッター入力用仮想キー提示などをサポートする。そしてカメラアプリ８０は、入力部１２０又は入力機能により活性化された表示部１４０からメニュー選択信号が入力されると、これをネイティブレイヤ（Ｎａｔｉｖｅ Ｌａｙｅｒ）に伝達する。例えば、カメラアプリ８０はシングルモード又はデュアルモードプリビュー機能呼び出し、キャプチャ機能呼び出し、動映像撮影機能呼び出しなどのための入力信号を収集し、これをカメラフレームワーク２０に伝達する。

一実施形態においては、デュアルモードで第１イメージセンサ１７１が前面カメラであり、第２イメージセンサ１７２が後面カメラである。その場合、同一の図面番号を割り当てる。この場合、カメラアプリ８０は、前面カメラ１７１から収集される前面プリビューデータ及び前面ビデオデータ、後面カメラ１７２から収集される後面プリビューデータ、後面ビデオデータ、及び後面キャプチャデータに関する状態情報を格納、管理する。特に、カメラアプリ８０は前面プリビューデータと後面プリビューデータの各々の、表示部１４０における位置情報と現在サイズ情報、前面ビデオデータと後面ビデオデータの各々の、表示部１４０における位置情報と現在サイズ情報を格納、管理する。

ここで、前面プリビューデータは前面カメラ１７１が獲得したプリビューデータであり、後面プリビューデータは後面カメラ１７２が獲得したプリビューデータである。前面ビデオデータは前面カメラ１７１が収集した動映像データであり、後面ビデオデータは後面カメラ１７２が収集した動映像データである。後面キャプチャデータは例えば、後面カメラ１７２が収集した静止映像データである。電子装置１００において、フレームデータ又はビデオデータは相対的にキャプチャデータに比べて低解像度になり得る。特に、ビデオデータの場合、ユーザ操作によって前面ビデオデータと後面ビデオデータの解像度が異なる場合がある。カメラアプリ８０は、前述した各々のデータに対する情報を管理し、該情報に基づいて映像の出力と格納が遂行されるようにサポートする。

カメラドライバ１０は、カメラフレームワーク２０の制御の下にイメージセンサモジュール１７０から伝達される映像を受信し、これをカメラフレームワーク２０に伝達する。カメラドライバ１０は、イメージセンサモジュール１７０が提供する信号をイメージセンサ別に弁別して、選択された信号をカメラフレームワーク２０に伝達する。即ち、カメラドライバ１０は前面カメラ１７１から収集される前面プリビューデータ及び前面ビデオデータ、後面カメラ１７２から収集される後面プリビューデータ、後面ビデオデータ、及び後面キャプチャデータをカメラフレームワーク２０に伝達する。

カメラフレームワーク２０は、カメラドライバ１０から前面及び後面関連映像データを受信し、これをデュアルカメラフレームワーク３０に選択的に伝達する。即ち、カメラフレームワーク２０は前面カメラ１７１から収集される前面プリビューデータ及び前面ビデオデータ、及び後面カメラ１７２から収集される後面プリビューデータ、後面ビデオデータ、後面キャプチャデータをデュアルカメラフレームワーク３０に伝達する。一方、カメラフレームワーク２０はカメラアプリ８０からシングルモード遂行の要請を受ける場合、前面カメラ１７１又は後面カメラ１７２のうち、何れか１つから提供されるデータをデュアルカメラフレームワーク３０に伝達せず、直接処理するようにサポートする。カメラフレームワーク２０のシングルモードサポートに対しては後述する図面を参照してより詳細に説明する。

デュアルカメラフレームワーク３０は、カメラフレームワーク２０から伝達を受けたデータのうち、前面カメラ１７１の関連データ、後面カメラ１７２の関連データをＯｐｅｎＧＬ４０のＧＰＵ４１に伝達する。その際、デュアルカメラフレームワーク３０はエフェクトイメージ又はエフェクトイメージマスクをＯｐｅｎＧＬ４０のＧＰＵ４１に伝達する。デュアルカメラフレームワーク３０は、第１イメージセンサ１７１及び第２イメージセンサ１７２の各々のためのエフェクトイメージを少なくとも１つずつ設けて、これを該当映像データに適用する。例えば、デュアルカメラフレームワーク３０は第１イメージセンサ１７１が収集した第１映像データの上に第２イメージセンサ１７２が収集した第２映像データを合成する場合、合成される領域の周辺がより自然なイメージを有するように、又は予め設定された特定模様を有するようにエフェクトイメージを適用する。

デュアルカメラフレームワーク３０は、エフェクトイメージのうち、如何なるエフェクトイメージを使うかを選択できるようにエフェクトイメージ選択メニューを提供する。例えば、デュアルカメラフレームワーク３０はカメラアプリ８０を通じてエフェクトイメージに対する少なくとも１つのアイコンを表示部１４０に出力するように要請する。アイコンは例えば、各エフェクトイメージに対するサムネイルイメージであり、即ち、花模様適用アイコン、影適用アイコン、ブラー（ぼやけ）適用アイコン、色相適用アイコンなど、ユーザがアイコンに含まれたイメージを通じて該当アイコンを適用すると如何なる形態が現れるかを確認できる形で提供される。

ＯｐｅｎＧＬ４０は、ＧＰＵ４１の制御のための標準インタフェースになり得る。本実施形態では、ＯｐｅｎＧＬ４０を例示的に説明するが、本発明はこれに限定されない。即ち、ＧＰＵ４１の制御のための多様なＡＰＩを含むインタフェースの内部に具現化できる。

ＯｐｅｎＧＬ４０は、デュアルイメージの適用中、デュアルプリビューモードのために複数個のバッファ割当を遂行する。ＯｐｅｎＧＬ４０は、前面カメラ１７１のプリビューイメージ及び後面カメラ１７２のプリビューイメージを各々のバッファに記入（書き込み）して表示部１４０に出力するようにサポートする。また、ＯｐｅｎＧＬ４０はデュアルイメージの適用中、デュアルキャプチャモードのためにサイズの異なる複数個のバッファ割当を遂行する。即ち、ＯｐｅｎＧＬ４０は後面カメラ１７２のキャプチャデータの記入のために相対的にサイズの大きいバッファを割り当て、前面カメラ１７１のキャプチャデータの記入のために相対的にサイズの小さいバッファを割り当てる。そして、ＯｐｅｎＧＬ４０は後面キャプチャデータ及び前面キャプチャデータを１つの共用バッファに記入し、これに基づいてデータの出力と格納をサポートする。

ＧＰＵ４１は、ＯｐｅｎＧＬ４０の制御の下にデュアルモードにおけるデータの処理をサポートする。即ち、ＧＰＵ４１は前面カメラ１７１の関連データと後面カメラ１７２の関連データとの合成、エフェクトイメージの適用などをサポートする。

サーフェステクスチャバッファ５１は、デュアルモード遂行過程でプリビュー映像を出力するために割り当てられる。このようなサーフェステクスチャバッファ５１は、デュアルモードでは複数個が割当てられる。例えば、イメージセンサモジュール１７０に２つのイメージセンサ１７１、１７２が配置された場合、サーフェステクスチャバッファ５１はデュアルモード進行中、２つが割当てられる。

コンポーザ５２は、プリビューデータと予め定義された表示部１４０のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）レイヤを合成してプリビュー映像を生成し、合成されたプリビュー映像を表示部１４０に出力する。特に、本発明に係わるコンポーザ５２は、シングルモードサポート時、カメラフレームワーク２０の制御の下にカメラドライバ１０から直接提供されるプリビュー映像とＵＩレイヤを合成してプリビュー映像を生成し、これを表示部１４０に出力するようにサポートする。そして、コンポーザ５２はデュアルモード時、複数のサーフェステクスチャバッファ５１に記入されたプリビューデータとＵＩレイヤとを合成してプリビュー映像を生成し、これを表示部１４０に出力するようにサポートする。

メディアサーフェステクスチャバッファ６１は、デュアルモード遂行過程でビデオ映像を出力するために割り当てられる。このようなメディアサーフェステクスチャバッファは、第１、第２イメージセンサ１７１、１７２が提供するビデオデータを各々バッファリングする。即ち、メディアサーフェステクスチャバッファは前面ビデオデータのバッファリングのためのバッファと後面ビデオデータのバッファリングのためのバッファとを含む。また、メディアサーフェステクスチャバッファは前面ビデオデータと後面ビデオデータとを統合して記入するための共用バッファを含み、デュアルモードにおけるビデオデータ処理モードの場合、メディアサーフェステクスチャバッファはプリビューデータ処理及びビデオデータ処理のための共用バッファとして利用できる。即ち、ＯｐｅｎＧＬ４０は、前面ビデオデータと後面ビデオデータとをメディアサーフェステクスチャバッファに共通に記入して、バッファリングを遂行するように制御し、且つメディアサーフェステクスチャバッファに記入されたデータに対してコンポーザ５２及びメディアレコーダ６２が同時にアクセスできるようにサポートする。更に、メディアサーフェステクスチャバッファにはプリビューデータが同時に記入、使用される。

メディアレコーダ６２は、ビデオデータをハードウェアエンコーダ６３に伝達して、ビデオデータを格納するようにサポートする。特に、メディアレコーダ６２はシングルモードサポート過程でカメラフレームワーク２０の制御の下にカメラドライバ１０が提供するビデオデータを直接ハードウェアエンコーダ６３に伝達する。そして、メディアレコーダ６２はデュアルモードサポート過程ではメディアサーフェステクスチャバッファに記入されたビデオデータをハードウェアエンコーダ６３に伝達する。特に、メディアレコーダ６２は共用バッファに記入された前面ビデオデータと後面ビデオデータとが合成されたビデオデータをハードウェアエンコーダ６３に伝達する。

キャプチャバッファ７１は、キャプチャ機能をサポートし、前面カメラ１７１がキャプチャ機能をサポートしない場合、後面カメラ１７２のために割り当てられる。後面カメラ１７２が相対的に高解像度のデータを運用するので、キャプチャバッファ７１には、対応するキャプチャデータを十分にバッファリングできるサイズが割当てられる。キャプチャバッファ７１は、シングルモードサポート時、ＯｐｅｎＧＬ４０及びＧＰＵ４１を経ず、カメラドライバ１０が提供するキャプチャデータを直接伝達されてこれをバッファリングする。そして、キャプチャバッファ７１はバッファリングされたキャプチャデータをカメラフレームワーク２０の制御の下にＪＰＥＧエンコーダ２１に伝達し、エンコーディングする。

デュアルモード時には、キャプチャバッファ７１は前面カメラ１７１のキャプチャデータと後面カメラ１７２のキャプチャデータをバッファリングし、特に、電子装置１００の設計方式又はユーザ設定に対応する多様な形態のキャプチャデータを格納できる。例えば、電子装置１００が後面キャプチャモードのみをサポートする場合、キャプチャバッファ７１は後面キャプチャデータのみをバッファリングするようにサポートする。一方、電子装置１００が前後面同時キャプチャモードをサポートする場合、キャプチャバッファ７１は後面キャプチャデータと前面キャプチャデータの各々をバッファリングするか、又は後面キャプチャデータに前面キャプチャデータが合成されたデータをバッファリングする。

合成されたキャプチャデータが格納される場合、キャプチャバッファ７１に格納される全画面キャプチャデータは、後面キャプチャデータのサイズに適合するように補正される。例えば、格納されている後面キャプチャデータが１３Ｍ画素の解像度を有する場合でも、前面キャプチャデータが２Ｍ画素の解像度を有する場合は、後面プリビューデータは表示部１４０の画面に２Ｍ画素の解像度で表示される。この場合、要求されたキャプチャイメージと実際に格納されたイメージとの画素解像度の差が大きいので、電子装置１００はプリビューイメージに対応するように全画面キャプチャデータの画素拡張を遂行する。

その際、電子装置１００は全画面キャプチャデータの画素の拡張に対して限界を設け、一定画素以上の過剰拡張を避けるようにサポートする。画素拡張の限界は、電子装置１００のプリビューイメージの画素数によって異なることがある。そして、前述した後面キャプチャデータ及び後面プリビューデータ、前面プリビューデータなどの画素数は例示的であって、電子装置１００の設計によって変更できる。

ＪＰＥＧエンコーダ２１は、キャプチャバッファ７１に記入されたキャプチャデータをエンコーディングする。そして、ＪＰＥＧエンコーダ２１はエンコーディングされたキャプチャデータを格納部１５０に格納するようにサポートする。ハードウェアエンコーダ６３は、メディアレコーダ６２が提供するビデオデータをエンコーディングする。そして、ハードウェアエンコーダ６３はエンコーディングされたビデオデータを格納部１５０に格納するようにサポートする。

前述した構成の電子装置１００における、本発明の映像処理改善機能と多様なユーザインタフェース改善機能とに係わる映像データ処理方法を、図３乃至図５を参照して、より詳細に説明する。

図３は、本発明の映像データ処理方法を説明するためのフローチャートであり、図４は、本発明の映像データ処理機能のうち、シングルモードにおける制御部１６０の動作を説明するための図であり、図５は本発明の映像データ処理機能のうち、デュアルモードにおける制御部１６０の動作を説明するための図である。

図３を参照すると、本発明の映像データ処理方法は、電子装置１００の制御部１６０がステップ３０１で機能待機を遂行する。機能待機過程は、電子装置１００のカメラ機能活性化以前の過程であって、電子装置１００が提供可能な多様な機能のうち、何れの機能でも実行する過程に遷移できる状態である。例えば、機能待機過程は電源供給以前の状態、又は電源供給に続くブートアップ状態である。また機能待機過程は、ファイル再生状態、又はファイル検索機能待機状態となる場合もある。

制御部１６０は、ステップ３０３でイメージセンサモジュール１７０の活性化のためのイベントが発生するかを確認（監視、探知）する。この段階で、探知されたイベントがイメージセンサモジュール１７０の活性化のためのイベントでなければ、制御部１６０はステップ３０５に分岐して該探知されたイベントの特性と種類に対応する機能の遂行をサポートする。例えば、制御部１６０はイベントの種類に従って通信機能又はギャラリ機能などをサポートする。

ステップ３０３で、イメージセンサモジュール１７０の活性化のためのイベントが発生すれば、制御部１６０はステップ３０７に分岐してシングルモード設定信号があるかを確認する。この段階で、シングルモード設定信号がある場合、制御部１６０はステップ３０９に分岐してＧＰＵ除外映像処理をサポートする。制御部１６０は、シングルモード設定によって第１イメージセンサ１７１又は第２イメージセンサ１７２のうち、何れか１つのイメージセンサを活性化し、該イメージセンサ活性化に伴う機能遂行をサポートする。例えば、制御部１６０は前面カメラに該当する第１イメージセンサ１７１を基盤に映像通信を遂行する。
その際、制御部１６０は第１イメージセンサ１７１が獲得した映像を処理し、ＧＰＵ処理無しで表示部１４０に出力するデータを生成するようにサポートする。また、制御部１６０は第２イメージセンサ１７２を使って得られた被写体イメージを、プリビューモード、キャプチャモード、又はビデオモードで使えるようにする処理し、ＧＰＵ処理無しで、表示部１４０に出力するか、及び／又は格納部１５０に格納するように制御する。

一方、ステップ３０７でシングルモード設定がない場合、制御部１６０はステップ３１１に分岐して、デュアルモード設定があるか否かを確認する。デュアルモード設定がある場合、制御部１６０はステップ３１３に分岐してＧＰＵ基盤の映像処理を遂行する。例えば、制御部１６０は第１イメージセンサ１７１及び第２イメージセンサ１７２から伝達されたデータに基づいて、表示部１４０に出力するか、ビデオデータとして格納するか、キャプチャデータとして格納するか、又は、映像合成するか、の何れかを遂行する。ステップ３１１で、デュアルモード設定がない場合、制御部１６０はステップ３２１に分岐して電子装置１００を終了するか否かを確認する。そして、制御部１６０は電子装置１００の終了のためのイベント発生又は設定がなければ、ステップ３０１の以前に分岐して以下の過程を再遂行するようにサポートする。

一方、ステップ３０９又はステップ３１３の以降、制御部１６０はステップ３１５に分岐して生成された映像を出力するよう遂行する。ここで、映像出力は表示部１４０及び格納部１５０のうち、少なくとも１つを対象にして遂行される。

次に、制御部１６０はステップ３１７でモード切換のためのイベントが発生するかを確認する。モード切換のためのイベントがなければ、制御部１６０はステップ３０３の以前に分岐して以降の過程を再遂行するようにサポートする。一方、モード切換のためのイベントが発生すると、制御部１６０はステップ３１９に分岐して、映像の詳細データ（本発明では「テクスチャ」という）の運用処理をサポートする。これをより詳細に説明すれば、制御部１６０はシングルモード運用中に現在獲得又は収集されたデータのバッファリングを遂行し、バッファリングされたデータを表示部１４０に出力する。
そして、制御部１６０はモード切替時間の間、表示部１４０に出力されたデータに対して漸進的な透明化処理、透明化状態での漸進的な着色処理、ディミング（Ｄｉｍｍｉｎｇ）処理、又は漸進的消失（Ｆａｄｅ ｏｕｔ）処理などの視覚的効果を具現するようにサポートする。これと共に、制御部１６０はモード切替中に獲得又は収集されたデータのバッファリングを遂行し、これを漸進的出現（ｆａｄｅ ｉｎ）処理に使用するようにサポートする。これを通じて、電子装置１００はモード切替過程で発生し得る「瞬き」現象を除去できる。

図４は、本発明の映像データ処理中、シングルモードにおける制御部の動作を説明するための図である。カメラフレームワーク２０を通じてＣＰＵ４２に直接伝達されるデータは、先に図２を参照して説明したように、ＣＰＵプロセッサを経てコンポーザ５２、メディアレコーダ６２、キャプチャバッファ７１などに伝達される。以下の説明において、ＣＰＵプロセッサの構成を除いて、シングルモード運用について説明する。

図４を参照すると、制御部１６０はユーザ要請によってカメラ機能を活性化するようにサポートする。その際、制御部１６０はカメラアプリ８０をアプリケーションレイヤに配置する。そして、制御部１６０は入力部１２０などから入力される入力信号又は設定された情報によってカメラ機能のうち、特定モード、例えばシングルモード又はデュアルモードのうち、何れか１つのモードに従う機能遂行をサポートする。

シングルモードが設定されるか、又はシングルモード設定のための入力信号が発生すると、制御部１６０は図示したように、イメージセンサモジュール１７０のうち、何れか１つのイメージセンサから映像データを受信する。以下の説明において、イメージセンサモジュール１７０のうち、第２イメージセンサ１７２から映像データを受信する場合を例示して説明する。第１イメージセンサ１７１から映像データが受信される状況でも制御部１６０は同様に映像データ処理をサポートできる。

カメラドライバ１０は、第２イメージセンサ１７２からベイヤー（Ｂａｙｅｒ）タイプ映像データを受信するか、又はベイヤータイプのデータをフォーマット変換して得られたＹＵＶタイプ映像データを受信する。カメラドライバ１０は、受信された映像データをカメラフレームワーク２０に伝達する。その際、カメラフレームワーク２０はシングルモード設定の場合、該映像データをコンポーザ５２、メディアレコーダ６２、及びキャプチャバッファ７１のうち、少なくとも１つに供給するようにサポートする。この過程で、カメラドライバ１０はカメラフレームワーク２０に実際映像データを伝達せず、映像データのポインタを伝達することによって、メモリコピー過程を省略できる（ｚｅｒｏ ｃｏｐｙ）。
一方、カメラドライバ１０はシングルモードサポート過程で、第２イメージセンサ１７２が提供した映像のうち、プリビュー映像をコンポーザ５２に伝達する。そして、カメラドライバ１０は、動映像データの記録のためのビデオモードサポートの要請を受けた場合、映像データをメディアレコーダ６２に伝達する。また、カメラドライバ１０は、キャプチャデータ格納のための要請を受信した場合、映像データをキャプチャバッファ７１に伝達し、またキャプチャバッファ７１に記入された映像をＪＰＥＧエンコーダ２１に伝達するようにサポートする。

前述したように、本発明の映像データ処理方式ではシングルモードサポート過程の場合、デュアルカメラフレームワーク３０、グラフィック処理部（ＧＰＵ）、及びこれをサポートするバッファを利用しないシングルモード経路を構成する。即ち、本発明の映像データ処理方式はプリビューモード、ビデオモード、キャプチャモードのサポートのためのハードウェア構成を直接的に利用するように経路（Ｐａｔｈ）を構成する。これによって、本発明の映像データ処理方式はシングルモードでは映像データ処理のためのＧＰＵ運用を遂行しないので、ＧＰＵ４１の運用に伴う電力の消耗を最小化できる。

図５は、本発明の映像データ処理中のデュアルモード運用における制御部の動作を説明するための図である。

図５を参照すると、制御部１６０はユーザ要請によってカメラ機能を活性化するようにサポートする。その際、制御部１６０はシングルモード又はデュアルモードに拘わらず、カメラアプリ８０をアプリケーションレイヤに配置する。そして、制御部１６０は入力部１２０などから入力される入力信号又は設定された情報によって、カメラ機能のうちの特定モード、例えばデュアルモード設定に従う機能遂行をサポートする。

この過程で、制御部１６０は図示したように、イメージセンサモジュール１７０に含まれた複数個の第１、第２イメージセンサ１７１、１７２から映像データを受信する。ここで、イメージセンサモジュール１７０に第１イメージセンサ１７１及び第２イメージセンサ１７２が含まれた状態を示したが、本発明はこれに限定されない。即ち、本発明の電子装置１００はイメージセンサモジュール１７０に３つ以上のイメージセンサが含まれた状態でも映像合成及び処理をサポートできる。

一方、制御部１６０のカメラドライバ１０は第１イメージセンサ１７１及び第２イメージセンサ１７２から受信された映像データをカメラフレームワーク２０に伝達する。カメラフレームワーク２０は、デュアルモードの遂行のために受信された映像データをデュアルカメラフレームワーク３０に伝達する。デュアルカメラフレームワーク３０は、受信された映像データに対するバッファ割当とエフェクトイメージサポートを遂行する。エフェクトイメージサポートは、ユーザ要請により遂行されるか、又は、デフォルトにより遂行される。エフェクトイメージは、キュービック、ハート、ポストカードなど、多様な形態に提供可能であり、サイズと位置が調整可能にサポートされる。

デュアルカメラフレームワーク３０は、デュアルモード時において、現在実行が要求された機能に合わせて、映像データをＯｐｅｎＧＬ４０に伝達するる。即ち、デュアルカメラフレームワーク３０はデュアルプリビューモードサポート時には、第１イメージセンサ１７１及び第２イメージセンサ１７２のプリビューデータのみをＯｐｅｎＧＬ４０に伝達する。プリビューデータ処理のためにＯｐｅｎＧＬ４０は、各々のイメージセンサ１７１、１７２からのプリビューデータを各々のサーフェステクスチャバッファ５１に記入するように制御する。各々のサーフェステクスチャバッファ５１に記入されたプリビューデータはコンポーザ５２でＵＩレイヤ要素と合成されて表示部１４０を通じて出力される。

そして、デュアルカメラフレームワーク３０はデュアルビデオモードのサポート時には、第１イメージセンサ１７１及び第２イメージセンサ１７２のビデオデータをＯｐｅｎＧＬ４０に伝達する。ＯｐｅｎＧＬ４０は、デュアルビデオモードの遂行時、デュアルカメラフレームワーク３０が伝達したビデオデータを、ＧＰＵ４１を用いて合成した後、共用バッファに記入する。そして、共用バッファに記入されたビデオデータをコンポーザ５２及びメディアレコーダ６２に伝達することによって、プリビューデータとビデオデータの重複処理を防止できる。一方、ＯｐｅｎＧＬ４０のＧＰＵ４１は第１イメージセンサ１７１のビデオデータと第２イメージセンサ１７２のビデオデータとの解像度が相異する場合、解像度の差を補償する合成を遂行するようにサポートする。例えば、ＯｐｅｎＧＬ４０は相対的に高解像度の映像、即ち第２イメージセンサ１７２基準のバッファ割当及び映像合成をサポートする。

キャプチャモードのサポート時、制御部１６０は、電子装置１００の予め定められた設計形態に従って、又はユーザ要請によって、特定形態のパスを形成するようにサポートする。例えば、電子装置１００は、デュアルキャプチャモード、第１イメージセンサ１７１の基盤のシングルキャプチャモード、第２イメージセンサ１７２の基盤のシングルキャプチャモードのうち、少なくとも１つをサポートする。デュアルキャプチャモードのサポート時、制御部１６０は第１イメージセンサ１７１が提供したキャプチャデータと第２イメージセンサ１７２が提供したキャプチャデータとを合成して合成キャプチャデータを生成し、これをエンコーディングして格納する。
その際、制御部１６０は高解像度のキャプチャデータを基準に低解像度のキャプチャデータを、表示部１４０の縦横表示寸法比に基づき補正して合成キャプチャデータを生成する。ここで、制御部１６０は、表示部１４０に表示されたデュアルプリビューモード基盤の映像に関して、例えば第２イメージセンサ１７２のプリビューデータサイズに対する第１イメージセンサ１７１のプリビューデータサイズを０〜１の相対値にノーマライズ（Ｎｏｒｍａｌｉｚａｔｉｏｎ）して合成キャプチャデータに適用する。その際、制御部１６０は第１イメージセンサ１７１のキャプチャデータがあまり不自然にならないように、一定サイズ以上に拡張しないように制限を設ける。ここで、不自然の程度は実験的及び統計的に算出できる。算出値は、第１イメージセンサ１７１と第２イメージセンサ１７２の解像度の差によって各電子装置１００別に調整できる。

前述したように、本発明の電子装置１００はデュアルモードサポート時、グラフィック処理部を含むデュアルモード経路を構成して複数の映像データを合成する等の処理をサポートする。

図６は、本発明の電子装置が提供する画面インタフェースの一例を示し、特に、カメラ機能関連画面インタフェースの一例を説明するための図である。

図６を参照すると、本発明の電子装置１００は、６００画面のように第１イメージセンサ映像６０１基盤のシングルモード、６０５画面のように第１イメージセンサ映像６０１及び第２イメージセンサ映像６０２基盤のデュアルモード、６０４画面のようにエフェクトイメージ６０３の適用及び位置変更が適用されたデュアルモード、６０７画面のように第２イメージセンサ映像６０２基盤のシングルモードのうち、少なくとも１つをサポートし、電子装置１００は各々のモード間のモード切換を提供できる。
ここで、エフェクトイメージ６０３が６０４画面のみに適用される形態を示したが、本発明はこれに限定されない。即ち、エフェクトイメージ６０３は、６０５画面でのデュアルモードにも同様に適用できる。デュアルモードサポート画面では、第１、第２イメージセンサ映像６０１、６０２がメーン画面とＰＩＰ領域に提供される画面を例示したが、本発明はこれに限定されない。即ち、本発明の電子装置１００において、表示部１４０はユーザ設定によって画面分割形態、例えば表示部１４０を中央横線又は中央縦線基準に分割し、分割された領域に各々、第１、第２イメージセンサ映像６０１、６０２を表示できる。また、ＰＩＰ領域が提供される領域は他のイメージセンサ映像の顔領域と重畳しないように予め定義された位置及びサイズを有して提供できる。

前述した本発明の電子装置１００はシングルモードのサポート時には、グラフィック処理部（ＧＰＵ）４１を利用せず、プリビューデータとＵＩレイヤとをオーバーレイした後、コンポーザ５２を運用する。一方、本発明の電子装置１００はデュアルモードのサポート時には、グラフィック処理部４１を基盤に第１イメージセンサ１７１及び第２イメージセンサ１７２のサポートのための映像テクスチャ（ｉｍａｇｅ ｔｅｘｔｕｒｅ）を運用する。その際、電子装置１００はテクスチャ運用のためのバッファ割当をサポートする。

本発明の電子装置１００はデュアルキャプチャモードのサポート時には、第１イメージセンサ１７１と第２イメージセンサ１７２からの映像データをＧＰＵ４１の基盤演算を通じて合成（ｍｅｒｇｉｎｇ）し、ユーザ選択によって少なくとも１つのエフェクトイメージ６０３を適用したテクスチャをバッファに格納する。そして、バッファに記入されたテクスチャを表示部バッファに転送してプリビューを適用すると共に、該当テクスチャをＪＰＥＧエンコーダに提供してデュアルプリビューモードでの継ぎ目のない（ｓｅａｍｌｅｓｓ）キャプチャ機能を提供する。

一方、本発明の電子装置１００はシングルモードからデュアルモードに切り換える時、第１イメージセンサ１７１及び第２イメージセンサ１７２の映像データに対するテクスチャを確保する。そして、電子装置１００はデュアルプリビューモードあるいはデュアルビデオモードの進行中に予め準備したテクスチャを切り換えることによって、別途のテクスチャ生成無しでテクスチャ伝達を遂行するので、継ぎ目無しに（ｓｅａｍｌｅｓｓｌｙ）、背景とＰＩＰ切換をサポートできる。これと共に、電子装置１００は背景とＰＩＰ切換を遂行しながらＧＰＵ４１基盤の演算及びレコーティングを遂行して多様なモード切換時にも継ぎ目のないスイッチングが可能であるようにサポートする。その際、電子装置１００は不活性化状態のイメージセンサ、例えば第２イメージセンサ１７２基盤のシングルモード運用時、第１イメージセンサ１７１の映像に対するＰＩＰテクスチャを予め生成して置き、音声認識やＵＩタッチ、又はその他の物理的なキー入力の発生によってＰＩＰテクスチャをシングルモード画面に直ぐ適用できるようにサポートする。

本発明の電子装置１００は、エフェクトイメージ６０３の適用のために複数のエフェクトイメージ６０３に対するマスク（Ｍａｓｋ）を各々テクスチャとして生成して運用する。このようなテクスチャ運用方式は、エフェクトイメージ６０３の間の切換時間を節約できるようにサポートする。また、デュアルビデオモード時にＰＩＰ領域のオン／オフを自由に運用できる。一方、電子装置１００はエフェクトイメージ６０３の切換過程で予め定義された方式により、エフェクトイメージ６０３が適用されたＰＩＰ位置決定が異なるように遂行する。例えば、電子装置１００はデュアルモードでエフェクトイメージ６０３の適用のための入力信号が発生すると、デフォルト定義された一定位置にエフェクトイメージ６０３が適用されたＰＩＰ領域を出力するようにサポートする。
この場合、エフェクトイメージ６０３が適用されたＰＩＰ領域がユーザ指定によって表示部１４０の上で位置変更された場合でも、新たなエフェクトイメージ６０３の適用が要請される場合、デフォルト指定された位置にＰＩＰ領域が出力される。又は、電子装置１００はエフェクトイメージ６０３をＰＩＰ領域の位置に依存して適用するようにサポートする。このために、カメラアプリ８０はＰＩＰ領域に対する位置値とエフェクトイメージ６０３の適用状態などに対する状態（Ｓｔａｔｕｓ）管理を遂行する。この場合、新たなエフェクトイメージ６０３の適用が要請されても以前のＰＩＰ領域の位置が維持された状態で新たなエフェクトイメージ６０３が適用される。

本発明の電子装置１００は、前述したように、複数個のイメージセンサに対して各々のイメージセンサが提供した映像データに対するテクスチャを生成し、これに基づいて合成及びエフェクトの適用をサポートする。そして、電子装置１００はユーザ要請によってＰＩＰ領域のサイズと位置変更をサポートする。ここで、電子装置１００はエフェクトイメージ６０３のサイズが画面を逸脱しないように画面のサイズの限界を指定して管理する。

一方、前述した電子装置１００はその提供形態によって多様な追加モジュールをさらに含み得る。即ち、上記電子装置１００は近距離無線通信のための近距離通信モジュール、上記電子装置１００の有線通信方式又は無線通信方式によるデータ送受信のためのインタフェース、インタネットネットワークと通信してインタネット機能を遂行するインタネット通信モジュール、及びデジタル放送受信と再生機能を遂行するデジタル放送モジュールなどのように、上記に言及のない構成をさらに含み得る。このような構成要素はデジタル機器のコンバーゼンス（ｃｏｎｖｅｒｇｅｎｃｅ）趨勢によって変形が非常に多様で、全ては列挙できないが、上記に言及された構成要素と同等な水準の構成要素が上記デバイスにさらに含まれ得る。また、本発明の電子装置１００はその提供形態によって上記した構成から特定構成要素が除外されるか、又は他の構成で置換できることは勿論である。これは、本技術分野の通常の知識を有する者には容易に理解できよう。

また、本発明の実施形態に従う上記電子装置１００は、多様な通信システムに対応する通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ）に基づいて動作する全ての移動通信電子装置（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌｓ）をはじめとして、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、音楽再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ノートブック（Ｎｏｔｅｂｏｏｋ）、及びハンドヘルドＰＣなど、全ての情報通信機器とマルチメディア機器、及びそれに対する応用機器を含む。

以上、本明細書と図面を通して本発明の好ましい実施形態に対して説明し、その際、特定の用語が使われたが、これは単に本発明の技術内容を容易に説明し、発明の理解を助けるための一般的な意味で使われたものであり、本発明の範囲を限定しない。ここに開示された実施形態の他にも本発明の技術的思想に基づいた他の変形例が実施可能であることは、本発明が属する技術分野で通常の知識を有する者には自明であろう。

１０ カメラドライバ
２０ カメラフレームワーク
２１ ＪＰＥＧエンコーダ
３０ デュアルカメラフレームワーク
４０ ＯｐｅｎＧＬ
４１ ＧＰＵ（グラフィック処理部）
４２ ＣＰＵ
５１ サーフェステクスチャバッファ（Ｓｕｒｆａｃｅ ｔｅｘｔｕｒｅ ｂｕｆｆｅｒ）
５２ コンポーザ（Ｈａｒｄｗａｒｅ ｃｏｍｐｏｓｅｒ）
６１ メディアサーフェステクスチャバッファ（Ｍｅｄｉａ ｓｕｒｆａｃｅ ｔｅｘｔｕｒｅ ｂｕｆｆｅｒ）
６２ メディアレコーダ（Ｍｅｄｉａ Ｒｅｃｏｒｄｅｒ）
６３ ハードウェアエンコーダ
７１ キャプチャバッファ
８０ カメラアプリ
１００ 電子装置
１１０ 通信部
１２０ 入力部
１３０ オーディオ処理部
１４０ 表示部
１５０ 格納部
１５１ 映像処理プログラム
１６０ 制御部
１６１、１６２、１６３ 第１、第２、第３プロセッサ
１７０ イメージセンサモジュール
１７１、１７２ 第１、第２イメージセンサ
６００、６０４、６０５、６０７ 画面
６０１ 第１イメージセンサ映像
６０２ 第２イメージセンサ映像
６０３ エフェクトイメージ

Claims (20)

1. 映像データ処理をサポートする電子装置であって、
   複数のイメージセンサを含むイメージセンサモジュールと、
   制御部と、を含み、
   前記制御部は、
   前記複数のイメージセンサのうち、１つのイメージセンサから映像データを受信する場合、システム制御ユニットに相当する第１プロセッサを用いて前記受信された映像データを処理するためのシングルモード経路を設定し、
   前記複数のイメージセンサのうち、少なくとも２つのセンサから前記映像データを受信する場合、グラフィック処理ユニット（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）に相当する第２プロセッサを用いて前記受信された映像データを処理するためのデュアルモード経路を設定することを特徴とする電子装置。
2. 前記複数のイメージセンサモジュールは、
   前記電子装置の前面カメラの第１イメージセンサと、
   前記電子装置の後面カメラの第２イメージセンサと、
   を含むことを特徴とする、請求項１に記載の電子装置。
3. 前記第１イメージセンサが前記第２イメージセンサにより獲得される映像に比べて高解像度（ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ）映像を獲得することを特徴とする、請求項２に記載の電子装置。
4. 前記制御部が前記複数の映像データのキャプチャデータ格納時、前記プリビュー状態で表示される画面を基準に相対的に低解像度の映像に対する映像補正を遂行することを特徴とする、請求項３に記載の電子装置。
5. 前記制御部は、
   前記複数のイメージセンサのうち、少なくとも１つのイメージセンサから提供される映像データを受信するカメラドライバと、
   前記カメラドライバから提供される映像データを予め定義された画面構成要素と合成するコンポーザ、前記カメラドライバから提供される映像データに基づいてビデオレコーティングを遂行するメディアレコーダ、前記カメラドライバから提供される映像データに基づいてキャプチャデータ格納をサポートするためのキャプチャバッファ、及びＪＰＥＧエンコーダのうち、少なくとも１つを含むことを特徴とする、請求項１に記載の電子装置。
6. 前記制御部は、複数の映像データの各々に対するテクスチャを格納する複数個のバッファを割り当てることを特徴とする、請求項１に記載の電子装置。
7. 複数の映像データの合成された映像データを格納する共用バッファをさらに含み、
   前記制御部は、前記共用バッファに格納された映像データをプリビューデータ及びビデオデータに利用するように制御することを特徴とする、請求項１に記載の電子装置。
8. 複数の映像データの合成に適用する各映像データ別のエフェクトイメージを格納するバッファをさらに含むことを特徴とする、請求項１に記載の電子装置。
9. 前記制御部は、前記１つのイメージセンサを用いるシングルモードからデュアルモードへの切換要請を受ける場合、前記複数のイメージセンサの映像データに対するテクスチャをバッファに格納し、格納されたテクスチャに基づいて合成された映像データ出力又は格納をサポートすることを特徴とする、請求項１に記載の電子装置。
10. 前記制御部は、前記デュアルモード及び前記シングルモード間の切換時、前記テクスチャを維持した後、漸進的な表示処理を遂行することを特徴とする、請求項９に記載の電子装置。
11. 複数のイメージセンサのうち、１つのイメージセンサから映像データを受信する場合、システム制御ユニットに相当する第１プロセッサを用いて前記受信された映像データを処理するためのシングルモード経路を設定する過程、及び前記シングルモード経路を通じて前記映像データを処理する過程と、
    前記複数のイメージセンサのうち、少なくとも２つのセンサから前記映像データを受信する場合、グラフィック処理ユニットに相当する第２プロセッサを用いて前記受信された映像データを処理するためのデュアルモード経路を設定する過程、及び前記デュアルモード経路を通じて前記映像データを処理する過程と、
    を含むことを特徴とする、映像データ処理方法。
12. 前記複数のイメージセンサモジュールは、
    前記電子装置の前面カメラの第１イメージセンサと、
    前記電子装置の後面カメラの第２イメージセンサと、
    を含むことを特徴とする、請求項１１に記載の映像データ処理方法。
13. 前記第１イメージセンサは、前記第２イメージセンサにより獲得される映像に比べて高解像度（ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ）の映像を獲得することを特徴とする、請求項１２に記載の映像データ処理方法。
14. 前記複数の映像データのキャプチャデータの格納時、前記プリビュー状態で表示される画面を基準に相対的に低解像度の映像に対する映像補正を遂行する過程をさらに含むことを特徴とする、請求項１３に記載の映像データ処理方法。
15. 前記複数のイメージセンサのうち、少なくとも１つのイメージセンサから提供される映像データを受信する過程と、
    前記カメラドライバから提供される映像データを予め定義された画面構成要素と合成する過程、前記カメラドライバから提供される映像データに基づいてビデオレコーティングを遂行する過程、前記カメラドライバから提供される映像データに基づいてキャプチャデータを格納する過程、及びＪＰＥＧエンコーディング（ｅｎｃｏｄｉｎｇ）過程のうち、少なくとも１つをさらに含むことを特徴とする、請求項１１に記載の映像データ処理方法。
16. 複数の映像データの各々に対するテクスチャを格納する複数個のバッファを割り当てる過程をさらに含むことを特徴とする、請求項１１に記載の映像データ処理方法。
17. 共用バッファに複数の映像データの合成された映像データを格納する過程をさらに含み、
    前記共用バッファに格納された映像データをプリビューデータ及びビデオデータに用いることを特徴とする、請求項１１に記載の映像データ処理方法。
18. 複数の映像データの合成に適用する各映像データ別のエフェクトイメージを格納する過程をさらに含むことを特徴とする、請求項１１に記載の映像データ処理方法。
19. 前記１つのイメージセンサを用いるシングルモードからデュアルモードへの切換要請を受ける過程と、
    前記複数のイメージセンサの映像データに対するテクスチャをバッファに格納する過程と、
    前記格納されたテクスチャに基づいて合成された映像データ出力又は格納する過程と、
    をさらに含むことを特徴とする、請求項１１に記載の映像データ処理方法。
20. 前記デュアルモード及び前記シングルモード間の切換時、前記テクスチャを維持した後、漸進的な表示処理を遂行する過程をさらに含むことを特徴とする、請求項１９に記載の映像データ処理方法。
    

Images