JP2020522785A

JP2020522785A - カメラを用いて獲得したイメージを処理する電子装置及びその動作方法

Info

Publication number: JP2020522785A
Application number: JP2019564104A
Authority: JP
Inventors: ソンオーキム，; スンウンキム，; ジェゴンキム，; ヒョンヒパク，; ヨンモクユ，; サンヒョンイム，; ゾンボムチョイ，; イルドキム，; グァンテキム，; ハジュンパク，; キヒョクイ，
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2017-05-22
Filing date: 2018-05-21
Publication date: 2020-07-30
Also published as: CN110651296B; EP3590092A4; US10957022B2; EP3590092A1; WO2018216992A1; US20180336666A1; EP3590092B1; CN110651296A; KR20180127782A; KR102287043B1

Abstract

本発明による電子装置は、カメラ、通信モジュール、及びプロセッサを含む。プロセッサは、カメラ及び通信モジュールに動作可能に結合される。プロセッサは、カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成し、通信モジュールを通じて第２のイメージを外部電子装置に送信し、通信モジュールを通じて外部電子装置から補正領域情報を受信するように構成される。補正領域情報は、第２のイメージから識別されたイメージ領域に関連する情報に基づく。プロセッサは、補正領域情報の少なくとも一部に基づいて第１のイメージを用いて補正を実行するように更に構成される。【選択図】図４Ａ

Description

本発明は、カメラを用いて獲得したイメージを処理する電子装置及びその動作方法に関する。

イメージを処理する電子装置は、イメージセンサを通じてＲＡＷ画像（ｒａｗｉｍａｇｅ）を獲得し、獲得されたＲＡＷ画像を内蔵されたイメージ信号プロセッサ（ＩＳＰ）を利用して処理する。イメージ信号プロセッサは、画質改善アルゴリズムを用いて受信されたＲＡＷ画像を処理し、これによって画質が改善されたイメージを提供することができる。イメージプロセッサは、ホワイトバランス調整、カラー調整（例えば、カラーマトリックス、色補正、色強調）、カラーフィルタアレイ補間、ノイズリダクション処理又はシャープ化（ｓｈａｒｐｅｎｉｎｇ）、画像改善（ｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ）（例えば、ＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）、顔検出（ｆａｃｅｄｅｔｅｃｔｉｏｎ）など）のような多様な処理を実行する。イメージ信号プロセッサから出力されるイメージは、例えばＹＵＶフォーマットを有する。イメージ信号プロセッサから出力されたイメージは、例えばＪＰＥＧ圧縮され、圧縮されたイメージが電子装置に格納される。

上記情報は、本発明の開示の理解を助けるための背景情報として示されるだけである。上記のいずれかが本発明に関する従来技術として適用されるか否かに関しては、何の決定も判定も下されない。

一方、イメージバックアップ及び新たなメディアコンテンツを生成するためのイメージ処理クラウドシステムによるサービスが提供されている。画像マッチングなどの技法と共に端末装置で実行しにくいコンピュータビジョンベースの技術は、クラウドサーバにアップロードされたイメージに適用され得る。例えば、マシンラーニングベースのソフトウェアを用いてクラウドサーバはイメージ認識を実行する。

ＩＳＰは、一般的に電子装置のＡＰ（ａｐｐｌｉｃａｔｉｏｎｐｒｏｃｅｓｓｏｒ）内に位置する。これは、チップコストの増加及び発熱の問題を引き起こす。更に、変化するセンサ仕様と、それによる処理アルゴリズムの修正によって、イメージを処理する電子装置も新たなハードウェアＩＳＰを装着しなければならないという問題点が発生する。

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、電子装置のＩＳＰでは生成するのに難しさがあるか又は生成するのに時間が長くかかるイメージ補正情報をクラウドサーバから獲得し、獲得された補正情報を用いてイメージを処理することで、最新のアルゴリズムによるイメージ補正を実行する電子装置及びその動作方法を提供することにある。

上記目的を達成するためになされた本発明の一態様による電子装置は、カメラと、通信モジュールと、前記カメラ及び前記通信モジュールに動作可能に結合されるプロセッサと、を備え、前記プロセッサは、前記カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、前記第１のイメージを用いて前記第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成し、外部電子装置が前記第２のイメージから識別されたイメージ領域に関連する情報に基づいて補正領域情報を生成するように、前記通信モジュールを通じて前記第２のイメージを外部電子装置に送信し、前記通信モジュールを通じて前記外部電子装置から前記生成された補正領域情報を受信し、前記補正領域情報の少なくとも一部に基づいて前記第１のイメージを用いて補正を実行する。

一実施形態による電子装置は、通信モジュール及び前記通信モジュールに機能的に接続されたプロセッサを備え、前記プロセッサは、前記通信モジュールを通じて他の電子装置から第１のイメージを獲得し、第１の画像認識に基づいて前記第１のイメージから少なくとも一つのイメージ領域を確認し、前記少なくとも一つのイメージ領域に関連する情報に少なくとも基づいて前記第１のイメージに対応する補正領域情報を生成し、前記通信モジュールを通じて前記補正領域情報を外部電子装置に送信するように設定される。

一実施形態による電子装置は、カメラと、通信モジュールと、前記カメラ及び前記通信モジュールに機能的に接続されたプロセッサと、を備え、前記プロセッサは、前記カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、前記第１のイメージを用いて前記第１のイメージのデータよりも小さいサイズを有する第２のイメージを生成し、外部電子装置が前記第２のイメージ内の少なくとも一部のピクセルの各々を調整するためのピクセル調整情報を生成するように、前記通信モジュールを通じて前記第２のイメージを前記外部電子装置に送信し、前記通信モジュールを通じて前記外部電子装置から前記生成されたピクセル調整情報を受信し、前記第１のイメージ内の少なくとも一部のピクセルの各々を前記受信されたピクセル調整情報を用いて調整することによって補正するように設定される。

一実施形態による電子装置は、カメラと、通信モジュールと、ディスプレイと、前記カメラ及び前記通信モジュールが機能的に接続されたプロセッサと、を備え、前記プロセッサは、前記カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、前記第１のイメージを用いて前記第１のイメージのデータよりも小さいサイズを有する第２のイメージを生成し、前記通信モジュールを通じて前記第１のイメージ及び前記第２のイメージを外部電子装置に送信し、前記通信モジュールを通じて前記外部電子装置から前記第２のイメージによって獲得された補正領域情報によって前記第１のイメージが補正された後に符号化された符号化イメージを受信し、前記受信された符号化イメージを復号化してディスプレイに表示し、前記送信に応答して、前記通信モジュールを通じて前記外部電子装置から前記第１のイメージが補正された後に圧縮された圧縮イメージを受信し、前記受信された圧縮イメージを格納するように設定される。

一実施形態による電子装置は、カメラと、通信モジュールと、前記カメラ及び前記通信モジュールが機能的に接続されたプロセッサと、を備え、前記プロセッサは、前記カメラを用いて動画像構成のための複数のイメージを獲得し、前記複数のイメージのうちの第１の区間に含まれる第１のイメージを用いて前記第１のイメージのデータよりも小さいサイズを有する第１の軽量イメージを生成し、前記通信モジュールを通じて前記第１の軽量イメージを外部電子装置に送信し、前記第１の軽量イメージに基づいて生成された第１の補正領域情報を受信し、前記第１の補正領域情報に基づいて前記第１の区間に含まれるイメージを補正し、前記複数のイメージのうちの第２の区間に含まれる第２のイメージを用いて前記第１のイメージのデータよりも小さいサイズを有する第２の軽量イメージを生成し、前記通信モジュールを通じて前記第２の軽量イメージを前記外部電子装置に送信し、前記第２の軽量イメージに基づいて前記生成された第２の補正領域情報を受信し、前記第２の補正領域情報に基づいて前記第２の区間に含まれるイメージを補正するように設定される。

本発明の他の態様、利点、及び顕著な特徴は、下記の詳細な説明から当業者に公知であり、その詳細な説明は、図面と共に本発明の実施形態で開示する。

本発明の電子装置及びその動作方法によれば、外部電子装置からイメージ補正情報を受信し、受信されたイメージ補正情報に基づいてイメージを処理することができる。

本発明の一実施形態による電子装置及びネットワークを示すブロック構成図である。本発明の一実施形態による電子装置を示すブロック構成図である。本発明の一実施形態によるプログラムモジュールを示すブロック構成図である。本発明の一実施形態による電子装置及び外部電子装置の動作を示すフローチャートである。本発明の一実施形態による電子装置及び外部電子装置の動作を示す概念図である。本発明の一実施形態による電子装置及び外部電子装置の動作方法を示すフローチャートである。本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。本発明の一実施形態による外部電子装置の動作を示すフローチャートである。本発明の一実施形態による補正領域情報の生成過程を示す概念図である。本発明の一実施形態による補正領域情報を示す概念図である。本発明の一実施形態による補正領域情報の生成を説明するための概念図である。本発明の一実施形態による電子装置及び外部電子装置の動作を示すフローチャートである。本発明の一実施形態によるイメージセンサを示すブロック構成図である。本発明の一実施形態による電子装置及び外部電子装置の動作方法を示すフローチャートである。本発明の一実施形態による電子装置及び外部電子装置の動作方法を示すフローチャートである。本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。本発明の一実施形態による拡張された補正領域情報の生成を示す概念図である。本発明の一実施形態による電子装置のＩＳＰ及び外部電子装置のＩＳＰを示すブロック構成図である。本発明の一実施形態によるイメージ分類を用いてＡＷＢ（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）の正確度の改善を説明するための概念図である。本発明の一実施形態による画質改善を説明するためのイメージを示す図である。本発明の一実施形態による画質改善を説明するためのイメージを示す図である。本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。本発明の一実施形態によるスモールＲＡＷ画像及び向上したイメージの生成を説明するための概念図である。本発明の一実施形態によるスモールＲＡＷ画像及び向上したイメージの生成を説明するための概念図である。本発明の一実施形態によるスモールＲＡＷ画像及び向上したイメージの生成を説明するための概念図である。本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。本発明の一実施形態による複数のイメージセンサを含む電子装置を示すブロック構成図である。本発明の一実施形態による電子装置及び外部電子装置の動作方法を示すフローチャートである。本発明の一実施形態による動画像フレームを示す概念図である。

本発明とそれによって存在するより完全な理解とそれに従う多くの利点のより完全な理解は、容易に明らかになり、図面との結合を考慮し、後述する詳細な説明を参照してよりよく理解することができる。

本発明の詳細な説明に先立ち、本明細書の全般で使われる用語や語句を定義する。「〜含む（ｉｎｃｌｕｄｅ）」、「〜からなる（ｃｏｍｐｒｉｓｅ）」だけでなく、それらの派生語は限定のない包含を意味する。「又は（ｏｒ）」は及び／又は（ａｎｄ／ｏｒ）を含み、「〜に関連する（ａｓｓｏｃｉａｔｅｄｗｉｔｈ）」、「それに関連する（ａｓｓｏｃｉａｔｅｄｔｈｅｒｅｗｉｔｈ）」、及びそれらの派生語句は、包含する（ｉｎｃｌｕｄｅ）、含まれる（ｂｅｉｎｃｌｕｄｅｄｗｉｔｈｉｎ）、受容される（ｂｅｃｏｎｔａｉｎｅｄｗｉｔｈｉｎ）、連結する（ｃｏｎｎｅｃｔｔｏｏｒｗｉｔｈ）、接続する（ｃｏｕｐｌｅｔｏｏｒｗｉｔｈ）、通信する（ｂｅｃｏｍｍｕｎｉｃａｔｉｏｎｗｉｔｈ）、協力する（ｃｏｏｐｅｒａｔｅｗｉｔｈ）、相互配置する（ｉｎｔｅｒｌｅａｖｅ）、並置する（ｊｕｘｔａｐｏｓｅ）、近接する（ｂｅａｐｐｒｏｘｉｍａｔｅｔｏ）、結合する（ｂｅｂｏｕｎｄｔｏｏｒｗｉｔｈ）、所有する（ｈａｖｅ）、性質の所有をする（ｈａｖｅａｐｒｏｐｅｒｔｙｏｆ）、又は類以（ｔｈｅｌｉｋｅ）を意味し、“制御器”は少なくとも一つの動作を制御する装置、システム、又はその部分を意味し、そのような装置は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのうちの少なくとも二つの組合せで具現することができる。特定の制御器に関連する機能は、集中するか、或いは近距離又は遠距離に分散されることがある。

また、以下に記述する様々な機能は、一つ以上のコンピュータプログラムにより実現されるか又はサポートされ、そのプログラムの各々は、コンピュータ読み取り可能なプログラムコードで構成され、コンピュータ読み取り可能な記録媒体で実施される。用語“アプリケーション”及び“プログラム”は、適切なコンピュータ読み取り可能なプログラムコードの実現に適合した一つ以上のコンピュータプログラム、ソフトウェアコンポーネント、命令語セット、手順、関数、オブジェクト、クラス、インスタンス、関連データ、又はこれらの一部を称する。“コンピュータ読み取り可能なプログラムコード”は、ソースコード、オブジェクトコード、及び実行コードを含む全てのタイプのコンピュータコードを含む。“コンピュータ読み取り可能な記録媒体”は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ハードディスクドライブ、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ）、又は任意の他のタイプのメモリのように、コンピュータによりアクセス可能な全てのタイプの記録媒体を含む。“非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）”なコンピュータ読み取り可能な記録媒体は、一時的な電気又は他の信号を転送する有線、無線、光学、又は他の通信リンクを除外する。非一時的なコンピュータ読み取り可能な記録媒体は、データが永久的に記憶される記録媒体、及び再記録可能な光学ディスクや削除可能なメモリ装置のようにデータが記憶され、後でオーバーライティングされ得る記録媒体を含む。

特定の単語及び語句に関するこのような定義は、本明細書の全般に亘って規定されるものであり、当業者には、大部分の場合ではなくても、多くの場合において、このような定義がそのように定義された単語及び語句の先行使用には勿論、将来の使用にも適用されるものであることが自明である。

下記の図１〜図２２及び、本明細書において本発明の開示原則を説明するために使用される多様な実施形態は、例示としてのみ提供され、本発明の範囲を制限するいかなる方法としても理解されてはならない。本発明の開示原則が任意の適切に設定されたシステム及び装置で実施可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

本発明の多様な実施形態及び使用される用語は、本明細書に記載された技術を特定の実施形態に限定するものではなく、当該実施形態の多様な変更、均等、及び／又は代替を含むものとして理解されなければならない。図面の説明に関連して、類似した構成要素に対して類似した参照符号を使用する。単数形は、文脈中で特に明示されない限り、複数形を含むことは、当業者には明らかなことである。本明細書では、“Ａ又はＢ”、“Ａ及び／又はＢのうちの少なくとも一つ”、“Ａ、Ｂ、又はＣ”、“Ａ、Ｂ、及び／又はＣのうちの少なくとも一つ”などの表現は、列挙した項目の可能な全ての組合せを含む。“第１の”、“第２の”、“最初”、又は“２番目”のような表現は、対応する構成要素を順序又は重要度に関係なく修飾し、一つの構成要素を他の構成要素と区分するために使用するのみであって、対応する構成要素を限定するものではない。一つの（例えば、第１）構成要素が他の（例えば、第２）構成要素に“（機能的に又は通信的に）結合され”、又は“接続され”と記載する場合には、一つの構成要素が他の構成要素に直接的に接続されるか又は他の構成要素（例えば、第３の構成要素）を介して接続される。

本明細書において、“〜するように構成された（又は設定された）（ｃｏｎｆｉｇｕｒｅｄｔｏ）”は、場合に応じて、例えばハードウェア的又はソフトウェア的に“〜に適合した”“〜する能力を有する”、“〜するように変更された”、“〜するように作られた”、“〜ができる”、或いは“〜するように設計された”と互換的に使われる。“〜するように構成された”という表現は、デバイスが他の装置又は部分と共に実行可能であることを意味する。例えば、文句“Ａ、Ｂ、及びＣを実行するように構成された（又は設定された）プロセッサ”は、当該動作を実行するための専用プロセッサ（例えば、埋め込まれたプロセッサ）、又はメモリ装置に格納された一つ以上のソフトウェアプログラムを実行することによって、当該動作が実行可能な汎用プロセッサ（例えば、ＣＰＵ又はアプリケーションプロセッサ）を意味する。

本発明の実施形態による電子デバイスは、例えばスマートフォン、タブレット、パーソナルコンピュータ（ＰＣ）、携帯電話、テレビ電話、電子書籍リーダ、デスクトップＰＣ、ラップトップＰＣ、ネットブックＰＣ、ワークステーション、サーバ、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ＰＭＰ（ＰｏｒｔａｂｌｅＭｕｌｔｉｍｅｄｉａＰｌａｙｅｒ）、ＭＰ３プレーヤ、モバイル医療デバイス、カメラ、又はウェアラブルデバイスのうちの少なくとも一つを含む。ウェアラブルデバイスは、アクセサリタイプデバイス（時計、指輪、ブレスレット、メガネ、コンタクトレンズ、又はＨＭＤ（Ｈｅａｄ−ＭｏｕｎｔｅｄＤｅｖｉｃｅ）、織物／又は衣類／集積デバイス（例えば、電気衣類）、ボディ付着タイプデバイス（例えば、スキンパッド又はタトゥー）、体内埋め込み型デバイスの少なくとも一つを含む。一部実施形態において、スマート家電は、テレビジョン、ＤＶＤ（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ）プレーヤ、オーディオプレーヤ、冷蔵庫、エアコン、電気掃除機、オーブン、電子レンジ、洗濯機、ドライヤー、空気清浄器、セットトップボックス、ホームオートメーション制御パネル、セキュリティ制御パネル、ＴＶボックス（例えば、ＳａｍｓｕｎｇＨｏｍｅＳｙｎｃ（登録商標）、ＡｐｐｌｅＴＶ（登録商標）、又はＧｏｏｇｌｅＴＶ（登録商標））、ゲーム機（ＸＢＯＸ、ＰＬＡＹＳＴＡＴＩＯＮ）、電子辞書、電子キー、カムコーダ、又は電子ピクチャーフレームのうちの少なくとも一つを含む。

本発明の実施形態によると、電子デバイスは、各種医療機器（例えば、携帯用医療測定機器（血糖測定器、心拍測定器、体温測定器など）、ＭＲＡ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＡｎｇｉｏｇｒａｐｈｙ）装置、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）装置、ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）機器、映像機器、又は超音波装置）、ナビゲーション機器、全地球航法衛星システム（ＧＮＳＳ）、ＥＤＲ（ＥｖｅｎｔＤａｔａＲｅｃｏｒｄｅｒ）、ＦＤＲ（ＦｌｉｇｈｔＤａｔａＲｅｃｏｒｄｅｒ）、自動車用インフォテインメント装置、船舶電子装置（例えば、船舶ナビゲーション装置、ジャイロコンパス）、航空電子機器、セキュリティ機器、車両用ヘッドユニット、産業又は個人用ロボット、ドローン、ＡＴＭ（Ａｕｔｏｍａｔｉｃｔｅｌｌｅｒ’ｓｍａｃｈｉｎｅ）、ＰＯＳ（ＰｏｉｎｔｏｆＳａｌｅ）装置、又はＩｏＴ（ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇ）装置（例えば、電球、各種センサ、スプリンクラー、火災警報機、温度自動調節器、街灯、トースター、運動器具、温水タンク、ヒーター、ボイラー等）のうちの少なくとも一つを含む。本発明の実施形態によると、電子装置は、例えば家具、ビル／構造の一部、電子ボード、電子署名受信器、プロジェクタ、又は多様な測定装置（例えば、水、電気、ガス、又は電磁波測定装置）の少なくとも一つであってもよい。本発明の実施形態によると、電子装置は、フレキシブルであってもよく、或いは上記多様な装置のうちの２個以上の組合せであってもよい。本発明の実施形態による電子装置は、上述した実施形態に制限されるものではない。ここで、用語“ユーザー”は、電子装置を用いる人又は他の装置（例えば、人工知能電子装置）を意味する。

図１を参照し、本発明の一実施形態によると、電子装置１０１はネットワーク環境１００内に含まれる。電子装置１０１は、バス１１０、プロセッサ１２０、メモリ１３０、入出力インターフェース１５０、ディスプレイ１６０、及び通信インターフェース１７０を含む。一部実施形態で、電子装置１０１は、構成要素のうちの少なくとも一つを省略したり、他の構成要素を追加したりすることができる。バス１１０は、構成要素（１１０〜１７０）を相互に接続し、構成要素間の通信（例えば、制御メッセージ又はデータ）を伝送する回路を含む。プロセッサ１２０は、中央処理処置（ＣＰＵ）、アプリケーションプロセッサ（ＡＰ）、又はコミュニケーションプロセッサ（ＣＰ）のうちの一つ以上を含む。プロセッサ１２０は、例えば電子装置１０１の少なくとも一つの他の構成要素の制御及び／又は通信に関する演算又はデータ処理を実行する。

メモリ１３０は、揮発性及び／又は不揮発性メモリを含む。メモリ１３０は、例えば電子装置１０１の少なくとも一つの他の構成要素に関する命令又はデータを格納する。一実施形態によると、メモリ１３０は、ソフトウェア及び／又はプログラム１４０を格納する。プログラム１４０は、例えばカーネル１４１、ミドルウェア１４３、アプリケーションプログラミングインターフェース（ＡＰＩ）１４５、及び／又はアプリケーションプログラム（又は“アプリケーション”）１４７を含む。カーネル１４１、ミドルウェア１４３、又はＡＰＩ１４５の少なくとも一部は、オペレーティングシステム（ＯＳ）を示す。カーネル１４１は、例えば他のプログラム（例えば、ミドルウェア１４３、ＡＰＩ１４５、又はアプリケーションプログラム１４７）で実現される動作或いは機能を実行するために使用されるシステムリソース（例えば、バス１１０、プロセッサ１２０、メモリ１３０等）を制御又は管理する。更に、カーネル１４１は、ミドルウェア１４３、ＡＰＩ１４５、又はアプリケーションプログラム１４７が電子装置１０１の個別構成要素にアクセスしてシステムリソースを制御又は管理するようにインターフェースを提供する。

ミドルウェア１４３は、例えばＡＰＩ１４５又はアプリケーションプログラム１４７がカーネル１４１と通信してデータをやり取りするように中継の役割を実行する。また、ミドルウェア１４３は、アプリケーションプログラム１４７から受信された一つ以上の作業要請を優先順位に従って処理する。例えば、ミドルウェア１４３は、アプリケーションプログラム１４７のうちの少なくとも一つに電子装置１０１のシステムリソース（例えば、バス１１０、プロセッサ１２０、メモリ１３０など）を使用する優先順位を付け、一つ以上の作業要請を処理する。ＡＰＩ１４５は、アプリケーション１４７がカーネル１４１又はミドルウェア１４３から提供される機能を制御するインターフェースである。例えば、ＡＰＩ１４５は、ファイル制御、ウィンドウ制御、画像処理、又はテキスト制御のための少なくとも一つのインターフェース又は機能（例えば、命令語）を含む。例えば、入出力インターフェース１５０は、ユーザー又は他の外部機器から入力される命令又はデータを電子装置１０１の他の構成要素に送信し、また電子装置１０１の他の構成要素から受信される命令又はデータをユーザー又は他の外部機器に出力する。

ディスプレイ１６０は、例えば液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又はマイクロ電子機械システム（ＭＥＭＳ）ディスプレイ、又は電子ペーパーディスプレイを含む。ディスプレイ１６０は、例えばユーザーに各種コンテンツ（例えば、テキスト、イメージ、ビデオ、アイコン、シンボル等）を表示する。ディスプレイ１６０は、タッチスクリーンを含み、例えば電子ペン又はユーザーの身体の一部を用いるタッチ、ジェスチャ、近接、又はホバリング入力を受信する。通信インターフェース１７０は、例えば電子装置１０１と外部装置（例えば、第１の外部電子装置１０２、第２の外部電子装置１０４、又はサーバ１０６）との間の通信を設定する。例えば、通信インターフェース１７０は、無線通信又は有線通信を通じてネットワーク１６２に接続して外部装置（例えば、第２の外部電子装置１０４又はサーバ１０６）と通信する。

無線通信は、例えばＬＴＥ、ＬＴＥ−Ａ（ＬＴＥＡｄｖａｎｃｅ）、ＣＤＭＡ（登録商標）（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）（ＷｉｄｅｂａｎｄＣＤＭＡ（登録商標））、ＵＭＴＳ（ＵｎｉｖｅｒｓａｌＭｏｂｉｌｅＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓＳｙｓｔｅｍ）、ＷｉＢｒｏ（ＷｉｒｅｌｅｓｓＢｒｏａｄｂａｎｄ）、又はＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）のうちの少なくとも一つを使用するセルラー通信を含む。一部実施形態によると、無線通信は、例えばＷｉＦｉ、ブルートゥース（登録商標）、ブルートゥース（登録商標）低電力（ＢＬＥ）、ＺｉｇＢｅｅ（登録商標）、ＮＦＣ（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）、磁気セキュア伝送（ＭＳＴ）、ＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）、又はボディエリアネットワーク（ＢＡＮ）のうちの少なくとも一つを含む。一実施形態によると、無線通信は、ＧＮＳＳを含む。ＧＮＳＳは、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）、Ｇｌｏｎａｓｓ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）、Ｂｅｉｄｏｕ（ＢｅｉｄｏｕＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）若しくはガリレオ（Ｇａｌｉｌｅｏ）、又はＵＥ構築の全地球航法衛星システムである。以下、本明細書では、“ＧＰＳ”と“ＧＮＳＳ”とは同じ意味で使われる。有線通信は、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）、ＲＳ（ＲｅｃｏｍｍｅｎｄｅｄＳｔａｎｄａｒｄ）−２３２、電力線通信、又はＰＯＴＳ（ＰｌａｉｎＯｌｄＴｅｌｅｐｈｏｎｅＳｅｒｖｉｃｅ）のうちの少なくとも一つを含む。ネットワーク１６２は、テレコミュニケーションネットワーク、例えばコンピュータネットワーク（例えば、ＬＡＮ又はＷＡＮ）、インターネット、又はテレホンネットワークのうちの少なくとも一つを含む。

第１及び第２の外部電子装置（１０２、１０４）は、各々電子装置１０１と同一の装置、又は異なるタイプの装置であり得る。本発明の一実施形態によると、電子装置１０１で実行される動作の全部又は一部は、他の一つ又は複数の電子装置（例えば、電子装置１０２、１０４）、又はサーバ１０６で実行される。本発明の一実施形態によると、電子装置１０１が一部機能又はサービスを自動で又は要請で実行されなければならない場合、電子装置１０１は、一部機能又はサービスを自動で実行させる代わりに、或いは追加的に、それに関連する少なくとも一部機能を他の装置（例えば、電子装置（１０２、１０４）、又はサーバ１０６）に要請する。他の電子装置（例えば、電子装置（１０２、１０４）、又はサーバ１０６）は、要請された機能又は追加機能を実行し、その結果を電子装置１０１に送信する。電子装置１０１は、受信された結果をそのまま或いは追加的に処理して要請された機能又はサービスを提供する。そのため、例えばクラウドコンピュータ、分散コンピュータ、又はクライアントサーバコンピュータ技術が使用される。

図２は、本発明の一実施形態による電子装置２０１を示すブロック構成図である。電子装置２０１は、例えば図１に示した電子装置１０１の全体又は一部を含む。電子装置２０１は、一つ以上のプロセッサ（例えば、ＡＰ）２１０、通信モジュール２２０、加入者識別モジュール２２４、メモリ２３０、センサモジュール２４０、入力装置２５０、ディスプレイ２６０、インターフェース２７０、オーディオモジュール２８０、カメラモジュール２９１、電力管理モジュール２９５、バッテリ２９６、インジケータ２９７、及びモータ２９８を含む。プロセッサ２１０は、例えばオペレーティングシステム又はアプリケーションプログラムを駆動してプロセッサ２１０に接続された複数のハードウェア又はソフトウェア構成要素を制御し、各種データ処理及び演算を実行する。プロセッサ２１０は、例えばＳｏＣ（ＳｙｓｔｅｍｏｎＣｈｉｐ）で実現される。一実施形態によると、プロセッサ２１０は、ＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）及び／又はイメージ信号プロセッサを更に含む。プロセッサ２１０は、図２に示す構成要素のうちの少なくとも一部（例えば、セルラーモジュール２２１）を含む。プロセッサ２１０は、他の構成要素（例えば、不揮発性メモリ）のうちの少なくとも一つから受信された命令又はデータを揮発性メモリにロードして処理し、結果データを不揮発性メモリに格納する。

通信モジュール２２０（例えば、通信インターフェース１７０）は、図１に示した通信インターフェース１７０と同一の又は類似した構成を有する。通信モジュール２２０は、例えばセルラーモジュール２２１、ＷｉＦｉモジュール２２３、ブルートゥース（登録商標）モジュール２２５、ＧＮＳＳモジュール２２７、ＮＦＣモジュール２２８、及びＲＦモジュール２２９を含む。セルラーモジュール２２１は、例えば通信ネットワークを介して音声通話、画像通話、文字サービス、インターネットサービスなどを提供する。一実施形態によると、セルラーモジュール２２１は、加入者識別モジュール（例えば、ＳＩＭカード）２２４を用いて通信ネットワーク内で電子装置２０１の区別及び認証を実行する。一実施形態によると、セルラーモジュール２２１は、プロセッサ２１０によって提供される機能のうちの少なくとも一部機能を実行する。一実施形態によると、セルラーモジュール２２１は、コミュニケーションプロセッサ（ＣＰ）を含む。一実施形態によると、セルラーモジュール２２１、ＷｉＦｉモジュール２２３、ブルートゥース（登録商標）モジュール２２５、ＧＮＳＳモジュール２２７、又はＮＦＣモジュール２２８のうちの少なくとも一部（例えば、２個以上）は、一つのＩＣ（ＩｎｔｅｇｒａｔｅｄＣｈｉｐ）又はＩＣパッケージ内に含まれる。ＲＦモジュール２２９は、例えば通信信号（例えば、ＲＦ信号）を送受信する。ＲＦモジュール２２９は、例えば受信器、ＰＡＭ（ＰｏｗｅｒＡｍｐＭｏｄｕｌｅ）、周波数フィルタ、ＬＮＡ（ＬｏｗＮｏｉｓｅＡｍｐｌｉｆｉｅｒ）、アンテナなどを含む。本実施形態によると、セルラーモジュール２２１、ＷｉＦｉモジュール２２３、ブルートゥース（登録商標）モジュール２２５、ＧＮＳＳモジュール２２７、又はＮＦＣモジュール２２８のうちの少なくとも一つは、別のＲＦモジュールを通じてＲＦ信号を送受信する。加入者識別モジュール２２４は、例えば加入者識別モジュールを含むカード又は埋め込みＳＩＭを含み、固有の識別情報（例えば、ＩＣＣＩＤ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔＣａｒｄＩｄｅｎｔｉｆｉｅｒ））又は加入者情報（例えば、ＩＭＳＩ（ＩｎｔｅｒｎａｔｉｏｎａｌＭｏｂｉｌｅＳｕｂｓｃｒｉｂｅｒＩｄｅｎｔｉｔｙ））を含む。

メモリ２３０（例えば、メモリ１３０）は、例えば内蔵メモリ２３２又は外部メモリ２３４を含む。内蔵メモリ２３２は、例えば揮発性メモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等）、不揮発性メモリ（例えば、ＯＴＰＲＯＭ（ＯｎｅＴｉｍｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、マスクＲＯＭ、フラッシュＲＯＭ、フラッシュメモリ、ハードドライブ、又はソリッドステートドライブ（ＳＳＤ）のうちの少なくとも一つを含む。外部メモリ２３４は、フラッシュドライブ、例えばＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）、マイクロＳＤ、ミニＳＤ、ｘＤ（ｅｘｔｒｅｍｅＤｉｇｉｔａｌ）、ＭＭＣ（Ｍｕｌｔｉ−ＭｅｄｉａＣａｒｄ）、メモリスティックなどを含む。外部メモリ２３４は、多様なインターフェースを介して電子装置２０１と機能的に又は物理的に接続される。

センサモジュール２４０は、例えば物理量を測定するか、或いは電子装置２０１の作動状態を感知し、測定又は感知された情報を電気信号に変換する。センサモジュール２４０は、例えばジェスチャセンサ２４０Ａ、ジャイロセンサ２４０Ｂ、気圧センサ２４０Ｃ、磁気センサ２４０Ｄ、加速度センサ２４０Ｅ、グリップセンサ２４０Ｆ、近接センサ２４０Ｇ、カラーセンサ２４０Ｈ（例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）センサ）、生体認識センサ２４０Ｉ、温度／湿度センサ２４０Ｊ、照度センサ２４０Ｋ、又はＵＶ（ＵｌｔｒａＶｉｏｌｅｔ）センサ２４０Ｍのうちの少なくとも一つを含む。追加的に又は代替的に、センサモジュール２４０は、例えば嗅覚（ｅ−ｎｏｓｅ）センサ、ＥＭＧ（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ）センサ、ＥＥＧ（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）センサ、ＥＣＧ（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）センサ、ＩＲ（ｉｎｆｒａｒｅｄ）センサ、虹彩センサ、又は指紋センサを含む。センサモジュール２４０は、これらのモジュールに含まれる少なくとも一つ以上のセンサを制御するための制御回路を更に含む。本実施形態によると、電子装置２０１は、プロセッサ２１０の一部として又は別途に、センサモジュール２４０を制御するように構成されるプロセッサを更に含み、プロセッサ２１０がスリープ（ｓｌｅｅｐ）状態でセンサモジュール２４０を制御する。センサモジュール２４０の少なくとも一部は、図１のセンサ（図示せず）に含まれる。

入力装置２５０は、例えばタッチパネル２５２、（デジタル）ペンセンサ２５４、キー２５６、又は超音波入力装置２５８を含む。タッチパネル２５２には、例えば静電容量方式、抵抗膜方式、赤外線方式、又は超音波方式のうちの少なくとも一つを使用する。更に、タッチパネル２５２は、制御回路を更に含む。タッチパネル２５２は、触覚（ｔａｃｔｉｌｅｌａｙｅｒ）を更に含み、ユーザーに触覚反応を提供する。（デジタル）ペンセンサ２５４は、例えばタッチパネルの一部、或いは別途の認識用シートを含む。キー２５６は、例えば物理的なボタン、光学式キー、又はキーボードを含む。超音波入力装置２５８は、マイクロホン（例えば、マイクロホン２８８）を通じて入力ツールで発生した超音波を感知し、感知された超音波に対応するデータを確認する。

ディスプレイ２６０（例えば、ディスプレイ１６０）は、パネル２６２、ホログラム装置２６４、プロジェクタ２６６、及び／又はこれらを制御するための制御回路を含む。パネル２６２は、例えばフレキシブルに、透明に、又はウェアラブルに実現される。パネル２６２は、タッチパネル２５２と一つ以上のモジュールで構成される。一実施形態によると、パネル２６２は、ユーザーのタッチに対する圧力の強さを測定する圧力センサ（又はポーズセンサ）を含む。圧力センサは、タッチパネル２５２と一体型で実現されるか、或いはタッチパネル２５２とは別の一つ以上のセンサで実現される。ホログラム装置２６４は、光の干渉を利用して立体（３Ｄ）画像を空中に見せる。プロジェクタ２６６は、スクリーンに光を投射して画像を表示する。スクリーンは、例えば電子装置２０１の内部又は外部に位置する。インターフェース２７０は、例えばＨＤＭＩ（登録商標）２７２、ＵＳＢ２７４、光インターフェース２７６、又はＤ−ｓｕｂ（Ｄ−ｓｕｂｍｉｎｉａｔｕｒｅ）２７８を含む。インターフェース２７０は、例えば図１に示した通信インターフェース１７０に含まれる。追加的に又は代替的に、インターフェース２７０は、例えばＭＨＬ（ＭｏｂｉｌｅＨｉｇｈ−ｄｅｆｉｎｉｔｉｏｎＬｉｎｋ）インターフェース、ＳＤカード／ＭＭＣ（ｍｕｌｔｉｍｅｄｉａｃａｒｄ）インターフェース、又はＩｒＤＡ（ｉｎｆｒａｒｅｄｄａｔａａｓｓｏｃｉａｔｉｏｎ）規格インターフェースを含む。

オーディオモジュール２８０は、例えば音声（ｓｏｕｎｄ）信号を電気信号に変換し、その逆にも変換させる。オーディオモジュール２８０の少なくとも一部構成要素は、例えば図１に示した入出力インターフェース１４５に含まれる。オーディオモジュール２８０は、例えばスピーカ２８２、受話器２８４、イヤホン２８６、又はマイクロホン２８８を通じて入力又は出力される声情報を処理する。カメラモジュール２９１は、例えば静止画像及び動画像を撮影するための装置であり、本実施形態によると、一つ以上のイメージセンサ（例えば、前面センサ又は後面センサ）、レンズ、イメージシグナルプロセッサ（ＩＳＰ）、又はフラッシュ（例えば、ＬＥＤ又はキセノンランプ等）を含む。電力管理モジュール２９５は、例えば電子装置２０１の電力を管理する。一実施形態によると、電力管理モジュール２９５は、ＰＭＩＣ（ＰｏｗｅｒＭａｎａｇｅｍｅｎｔＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、充電ＩＣ、又はバッテリ若しくは燃料計を含む。ＰＭＩＣは、有線及び／又は無線充電方式を有する。無線充電方式は、例えば磁気共鳴方式、磁気誘導方式、電磁気波方式などを含み、無線充電のための付加回路、例えばコイルループ、共振回路、又は整流器を更に含む。バッテリ残量計は、例えばバッテリ２９６の残量、充電中の電圧、電流、又は温度を測定する。バッテリ２９６は、例えば充電式電池及び／又は太陽電池を含む。放電素子（図示せず）は、バッテリ２９６が異常状態である場合にバッテリ２９６から電力を受信して熱を発生させる。ここで、バッテリ２９６は、例えばバッテリパックである。感知回路（図示せず）は、バッテリ２９６の異常状態を判定する回路であって、例えば電圧センサ、電流センサ、温度センサ、及びガスセンサのうちの少なくとも一つを含む。感知回路は、センシング以外にも、放電素子とバッテリ２９６との間の接続を解除又は連結し、例えばＦＥＴを制御するための制御信号を出力する。感知回路は、プロセッサ１２０から独立的に動作するか、或いはプロセッサ１２０の制御によって動作する。

インジケータ２９７は、電子装置２０１又はその一部（例えば、プロセッサ２１０）の特定状態、例えばブーティング状態、メッセージ状態、充電状態などを表示する。モータ２９８は、電気信号を機械的振動に変換し、振動、ハプティクス（ｈａｐｔｉｃ）効果などを発生させる。電子装置２０１は、例えばＤＭＢ（ＤｉｇｉｔａｌＭｕｌｔｉｍｅｄｉａＢｒｏａｄｃａｓｔｉｎｇ）、ＤＶＢ（ＤｉｇｉｔａｌＶｉｄｅｏＢｒｏａｄｃａｓｔｉｎｇ）、メディアフロー（ｍｅｄｉａＦｌｏ）（登録商標）などの規格によるメディアデータを処理するモバイルＴＶサポート装置（例えば、ＧＰＵ）を含む。電子装置の構成要素の各々は一つ以上の部分を含み、該当構成要素の名称は電子装置のタイプに従って変わる。多様な実施形態において、電子装置（例えば、電子装置２０１）は、一部構成要素が省略されるか、追加的な構成要素を更に含むか、或いは構成要素のうちの一部が結合されて一つのエンティティで構成され、その結合前の当該構成要素の機能を同一に実行することができる。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０）又はプロセッサ２１０は、カメラ（例えば、カメラモジュール２９１）及び通信モジュール（例えば、通信インターフェース１７０又は通信モジュール２２０）に機能的に接続される。プロセッサは、カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成し、外部電子装置が第２のイメージから確認されたイメージ領域に関連する情報に基づいて補正領域情報を生成するように、通信モジュールを通じて第２のイメージを外部電子装置に送信し、通信モジュールを通じて外部電子装置から生成された補正領域情報を受信し、そして補正領域情報の少なくとも一部に基づいて第１のイメージを用いて補正する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、第１のイメージの解像度の調整、第１のイメージの複数の周波数帯域のうちの少なくとも一部の選択、又は第１のイメージの複数のビットプレーンレベルのうちの少なくとも一つの選択のうちの少なくとも一つを実行して第２のイメージを生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、外部電子装置が補正領域情報及び第１のイメージを用いて他の補正領域情報を生成するように、通信モジュールを通じて第１のイメージを外部電子装置に送信する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、通信モジュール（例えば、通信インターフェース１７０又は通信モジュール２２０）を通じて外部電子装置が他の補正領域情報を利用して第１のイメージを補正して生成された第４のイメージを受信するか、或いは他の補正領域情報を受信するように設定する。

本発明の一実施形態によると、少なくとも一つのイメージ領域に関する情報は、第２のイメージ内に含まれる第１のオブジェクトの位置、第１のオブジェクトのオブジェクト認識結果、第１のオブジェクトのオブジェクト認識結果の信頼度、第２のイメージ内に含まれる第２のオブジェクトの位置、第２のオブジェクトのテクスチャ認識結果、又は第２のオブジェクトのテクスチャ認識結果の正確度のうちの少なくとも一つを含む。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、通信モジュール（例えば、通信インターフェース１７０又は通信モジュール２２０）を通じて外部電子装置からイメージ分類情報を更に含む補正領域情報を受信し、イメージ分類情報又は少なくとも一つのイメージ領域に関連する情報のうちの少なくとも一つを用いて第１のイメージを補正する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、ディスプレイ（例えば、ディスプレイ１６０）を介して補正されたイメージを表示する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、通信モジュールを通じて第１のイメージに関連するメタデータを外部電子装置に送信し、通信モジュールを通じて外部電子装置により第２のイメージ及びメタデータを用いて生成された補正領域情報を受信する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、補正領域情報に含まれるオブジェクトの位置に対応する第１のイメージのピクセルに対するオブジェクトの認識結果に対応する第１の効果の適用、又は第１のイメージに対する分類情報に対応する第２の効果の適用のうちの少なくとも一つを実行する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、補正する動作の少なくとも一部として、第１のイメージのフォーマットと異なるフォーマットを用いて補正された第１のイメージを生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、第１のイメージを用いて第２のイメージ及び第２のイメージと共に第１のイメージを構成する第５のイメージを生成し、外部電子装置に第２のイメージ及び第５のイメージで第１のイメージを構成し、補正領域情報及び第１のイメージを用いて他の補正領域情報を生成するように、通信モジュールを通じて第５のイメージを外部電子装置に送信する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、第１のイメージの複数の周波数帯域のうちから一部を選択して第２のイメージを生成し、複数の周波数帯域のうちから他の一部を選択して第５のイメージを生成するか、又は第１のイメージの複数のビットプレーンのうちから一部を選択して第２のイメージを生成し、複数のビットプレーンのうちから他の一部を選択して第５のイメージを生成するか、或いは第１のイメージをダウンスケーリングして第２のイメージを生成し、第２のイメージを第１のイメージの解像度にアップスケーリングし、アップスケーリングされたイメージ及び第１のイメージの差を獲得して第５のイメージを生成する。

本発明の一実施形態によると、電子装置（例えば、サーバ１０６）は、通信モジュール及び通信モジュールに機能的に接続されたプロセッサを含む。プロセッサは、通信モジュールを通じて他の電子装置（例えば、電子装置１０１）から第１のイメージを獲得し、第１の画像の認識に基づいて第１のイメージから少なくとも一つのイメージ領域を識別し、少なくとも一つのイメージ領域に関連する情報に少なくとも基づいて第１のイメージに対応する補正領域情報を生成し、通信モジュールを通じて補正領域情報を外部電子装置に送信する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、第２の画像認識に基づいて第１のイメージに対応する分類情報を生成し、少なくとも一つのイメージ領域に関連する情報又は分類情報のうちの少なくとも一つに基づいて補正領域を生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、外部電子装置から通信モジュールを通じて第１のイメージを受信する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、少なくとも一つのイメージ領域からオブジェクトに対応する少なくとも一つの領域を識別し、オブジェクトに関連する情報を用いて補正領域情報を生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、少なくとも一つのイメージ領域からテクスチャに対応する少なくとも一つの領域を識別し、テクスチャに関連する情報を用いて補正領域情報を生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、少なくとも一つのイメージ領域の分割又は分類に対応する少なくとも一つの信頼度を判定し、少なくとも一つの信頼度を利用して補正領域情報を生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、通信モジュールを通じて外部電子装置から第１のイメージとサイズが異なる第２のイメージを受信し、補正領域情報及び第２のイメージを用いて他の補正領域情報を生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、他の補正領域情報の少なくとも一部に基づき、第２のイメージを用いて補正された第３のイメージを生成する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、他の補正領域情報の少なくとも一部に基づき、補正するための第２のイメージの第１の領域及び第２の領域を識別し、第１の領域に対応して指定された第１の補正情報を用いて第１の領域の補正を実行し、第２の領域に対応して指定された第２の補正情報を用いて第２の領域の補正を実行する。

本発明の一実施形態によると、電子装置（例えば、電子装置１０１）のプロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成し、外部電子装置が第２のイメージ内の少なくとも一部のピクセルの各々を調整するためのピクセル調整情報を生成するように、通信モジュールを通じて第２のイメージを外部電子装置に送信し、通信モジュールを通じて外部電子装置から生成されたピクセル調整情報を受信し、第１のイメージ内の少なくとも一部のピクセルの各々を、受信されたピクセル調整情報を用いて調整することによって補正する。

本発明の一実施形態によると、電子装置（例えば、電子装置１０１）のプロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成し、通信モジュールを通じて第１のイメージ及び第２のイメージを外部電子装置に送信し、通信モジュールを通じて外部電子装置から第２のイメージによって獲得された補正領域情報によって第１のイメージが補正された後に符号化された符号化イメージを受信し、受信された符号化イメージを復号化し、ディスプレイ（例えば、ディスプレイ１６０又はディスプレイ２６０）に表示し、送信に応答して通信モジュールを通じて外部電子装置から第１のイメージが補正された後に圧縮された圧縮イメージを受信し、受信された圧縮イメージを格納する。

本発明の一実施形態によると、電子装置（例えば、電子装置１０１）のプロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、カメラを用いて動画像構成のための複数のイメージを獲得し、複数のイメージのうちの第１の区間に含まれる第１のイメージを利用して第１のイメージのデータのサイズよりも小さいサイズを有する第１の軽量イメージを生成し、通信モジュールを通じて第１の軽量イメージを外部電子装置に送信し、第１の軽量イメージに基づいて生成された第１の補正領域情報を受信し、第１の補正領域情報に基づいて第１の区間に含まれるイメージを補正し、複数のイメージのうちの第２の区間に含まれる第２のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２の軽量イメージを生成し、通信モジュールを通じて第２の軽量イメージを外部電子装置に送信し、第２の軽量イメージに基づいて生成された第２の補正領域情報を受信し、第２の補正領域情報に基づいて第２の区間に含まれるイメージを補正する。

本発明の一実施形態によると、プロセッサ（例えば、プロセッサ１２０又はプロセッサ２１０）は、第１の区間のイメージとの差が指定されたしきい値を超えるイメージが検出されると、第１の区間の終了を判定し、差が指定されたしきい値を超えるイメージを第２の区間に分類し、第２の軽量イメージを送信する。

図３は、本発明の一実施形態によるプログラムモジュールを示すブロック構成図である。本実施形態によると、プログラムモジュール３１０（例えば、プログラム１４０）は、電子装置（例えば、電子装置１０１）に関連するリソースを制御するオペレーティングシステム（ＯＳ）及び／又はオペレーティングシステムで駆動される多様なアプリケーション（例えば、アプリケーションプログラム１４７）を含む。オペレーティングシステムは、例えばＡＮＤＲＯＩＤ（登録商標）、ＩＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、ＳＹＭＢＩＡＭ（登録商標）、ＴＩＺＥＮ、又はＢＡＤＡを含む。図３を参照すると、プログラムモジュール３１０は、カーネル３２０（例えば、カーネル１４１）、ミドルウェア３３０（例えば、ミドルウェア１４３）、ＡＰＩ３６０（例えば、ＡＰＩ１４５）、及び／又はアプリケーション３７０（例えば、アプリケーションプログラム１４７）を含む。プログラムモジュール３１０の少なくとも一部は、電子装置上に予めロードするか、或いは外部電子装置（例えば、電子装置１０２、１０４、サーバ１０６）からダウンロードされる。

カーネル３２０は、例えばシステムリソースマネージャ３２１及び／又はデバイスドライバ３２３を含む。システムリソースマネージャ３２１は、システムリソースの制御、割り当て、又は回復を実行する。本発明の一実施形態によると、システムリソースマネージャ３２１は、プロセス管理部、メモリ管理部、又はファイルシステム管理部を含む。デバイスドライバ３２３は、例えばディスプレイドライバ、カメラドライバ、ブルートゥース（登録商標）ドライバ、共有メモリドライバ、ＵＳＢドライバ、キーパッドドライバ、ＷｉＦｉドライバ、オーディオドライバ、又はＩＰＣ（ｉｎｔｅｒ−ｐｒｏｃｅｓｓｃｏｍｍｕｎｉｃａｔｉｏｎ）ドライバを含む。ミドルウェア３３０は、例えばアプリケーション３７０が共通に必要とする機能を提供し、或いはアプリケーション３７０が電子装置内部の制限されたシステムリソースを使用するようにＡＰＩ３６０を通じて多様な機能をアプリケーション３７０に提供する。一実施形態によると、ミドルウェア３３０は、ランタイムライブラリ３３５、アプリケーションマネージャ３４１、ウィンドウマネージャ３４２、マルチメディアマネージャ３４３、リソースマネージャ３４４、パワーマネージャ３４５、データベースマネージャ３４６、パッケージマネージャ３４７、接続マネージャ３４８、通知マネージャ３４９、位置マネージャ３５０、グラフィックマネージャ３５１、又はセキュリティマネージャ３５２のうちの少なくとも一つを含む。

ランタイムライブラリ３３５は、例えばアプリケーション３７０が実行される間にプログラミング言語を通じて新たな機能を追加するためにコンパイラが使用するライブラリモジュールを含む。ランタイムライブラリ３３５は、入出力管理、メモリ管理、又は算術関数処理を実行する。アプリケーションマネージャ３４１は、例えばアプリケーション３７０のライフサイクルを管理する。ウィンドウマネージャ３４２は、画面で使われるＧＵＩリソースを管理する。マルチメディアマネージャ３４３は、メディアファイルの再生に必要なフォーマットを把握し、該当フォーマットに適したコーデックを用いてメディアファイルの符号化又は復号化を実行する。リソースマネージャ３４４は、アプリケーション３７０のソースコード又はメモリの空間を管理する。パワーマネージャ３４５は、例えばバッテリの容量又は電源を管理し、電子装置の動作に必要な電力情報を提供する。本発明の一実施形態によると、パワーマネージャ３４５は、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）とインタワーキングする。データベースマネージャ３４６は、例えばアプリケーション３７０で使われるデータベースを生成、検索、又は変更する。パッケージマネージャ３４７は、パッケージファイルの形態で配布されるアプリケーションのインストール又は更新を管理する。

接続マネージャ３４８は、例えば無線接続を管理する。通知マネージャ３４９は、例えば到着メッセージ、約束、近接性警報などのイベントをユーザーに提供する。位置マネージャ３５０は、例えば電子装置の位置情報を管理する。グラフィックマネージャ３５１は、例えばユーザーに提供されるグラフィック効果又はこれに関連するユーザーインターフェースを管理する。セキュリティマネージャ３５２は、例えばシステムセキュリティ又はユーザー認証を提供する。本発明の一実施形態によると、ミドルウェア３３０は、電子装置の音声又は画像通話機能を管理するための電話（ｔｅｌｅｐｈｏｎｙ）マネージャ又は上記構成要素の機能等の組合せを形成するミドルウェアモジュールを含む。本発明の一実施形態によると、ミドルウェア３３０は、オペレーティングシステムのタイプに従って特定されたモジュールを提供する。ミドルウェア３３０は、動的に既存の構成要素を一部削除するか、又は新たな構成要素を追加する。ＡＰＩ３６０は、例えばＡＰＩプログラミング関数の集合であって、オペレーティングシステムによって異なる構成で提供される。例えば、Ａｎｄｒｏｉｄ（登録商標）又はｉＯＳ（登録商標）の場合、プラットフォーム別に一つのＡＰＩセットを提供し、Ｔｉｚｅｎの場合、プラットフォーム別に２個以上のＡＰＩセットを提供する。

アプリケーション３７０は、例えばホーム３７１、ダイヤラ３７２、ＳＭＳ／ＭＭＳ３７３、ＩＭ（ＩｎｓｔａｎｔＭｅｓｓａｇｅ）３７４、ブラウザ３７５、カメラ３７６、アラーム３７７、コンタクト３７８、音声ダイヤル３７９、Ｅメール３８０、カレンダ３８１、メディアプレーヤ３８２、アルバム３８３、時計３８４、ヘルスケア（例えば、運動量又は血糖値などを測定）、又は環境情報（例えば、気圧、湿度、又は温度情報）提供アプリケーションを含む。本発明の一実施形態によると、アプリケーション３７０は、電子装置と外部電子装置との間の情報交換をサポートする情報交換アプリケーションを含む。情報交換アプリケーションの例としては、外部電子装置に特定情報を送信するための通知リレーアプリケーション、又は外部電子装置を管理するための装置管理アプリケーションを含む。例えば、通知リレーアプリケーションは、電子装置の他のアプリケーションで発生した通知情報を外部電子装置に送信し、また外部電子装置から通知情報を受信してユーザーに提供する。装置管理アプリケーションは、例えば電子装置と通信する外部電子装置の機能（例えば、外部電子装置（又は、一部構成要素）のターンオン／ターンオフ又はディスプレイの明るさ（又は、解像度）調整）、又は外部電子装置で動作するアプリケーションをインストール、削除、又は更新する。一実施形態によると、アプリケーション３７０は、外部電子装置の属性によって指定されたアプリケーション（例えば、モバイル医療機器の健康管理アプリケーション）を含む。本発明の一実施形態によると、アプリケーション３７０は、外部電子装置から受信されたアプリケーションを含む。プログラムモジュール３１０の少なくとも一部は、ソフトウェア、ファームウェア、ハードウェア（例えば、プロセッサ２１０）、又はこれらのうちの少なくとも２個以上の組合せで実現（例えば、実行）され、一つ以上の機能を実行するためのモジュール、プログラム、ルーチン、命令語セット、又はプロセスを含む。

本明細書で使用される用語“モジュール”は、ハードウェア、ソフトウェア、又はファームウェアで構成されるユニットを含み、例えばロジック、論理ブロック、部品、回路などの用語と互換して使用することができる。“モジュール”は、一体で構成された部品又は一つ以上の機能を実行する最小単位又はその一部であり得る。“モジュール”は、公知の又は将来に開発される一部動作を実行するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）チップ、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙｓ）、又はプログラム可能な論理装置を含む。本発明の一実施形態による装置（例えば、モジュール又はその機能）又は方法（例えば、動作）の少なくとも一部は、プログラムモジュールの形態でコンピュータ読み取り可能な記録媒体（例えば、メモリ１３０）に格納された命令語で実現される。命令語がプロセッサ（例えば、プロセッサ１２０）により実行される場合、プロセッサが命令語に対応する機能を実行する。コンピュータ読み取り可能な記録媒体は、ハードディスク、フロッピー（登録商標）ディスク、磁気メディア（例えば、磁気テープ）、光記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ）、磁気光媒体（例えば、フロプティカルディスク）、内蔵メモリなどを含む。命令はコンパイラにより生成されるコード又はインタプリタにより実行されるコードを含む。多様な実施形態によるモジュール又はプログラムモジュールは、上記構成要素のうちの少なくとも一つ以上を含み、一部が省略されるか又は構成要素を更に含む。本発明の多様な実施形態によるモジュール、プログラムモジュール、又は他の構成要素により実行される動作は、順次に、並列に、反復的に、又はヒューリスティック（ｈｅｕｒｉｓｔｉｃ）に実行されるか、或いは少なくとも一部動作が他の順序で実行されるか、省略されるか、又は他の動作が追加され得る。

図４Ａは、本発明の一実施形態による電子装置及び外部電子装置の動作を説明するためのフローチャートである。

本実施形態において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ４０１において、例えばカメラモジュール２９１を用いて外部オブジェクトに対応する第１のイメージを獲得する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、イメージを感知するセンサ（例えば、カメラモジュール２９１）を通じて第１のイメージを獲得する。ここで、第１のイメージは、ＲＡＷ画像であり、ベイヤーフォーマット、ＣＦＡ（ＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ）パターンにより処理されたフォーマット、一つのピクセルで３つのカラーを全て感知して生成されたレイヤ（ｌａｙｅｒ）構造のフォーマット、一つのピクセルによって異なるタイプの視差情報が獲得されて生成されたフォーマットなどの多様なフォーマットで実現される。

ステップ４０３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージを用いて第１のイメージのデータサイズよりも小さいサイズを有する第２のイメージを生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージの容量を減少させることによって第２のイメージを生成する。それにより、第２のイメージを軽量イメージ又はスモールＲＡＷ（ｓｍａｌｌｒａｗ）イメージと称する。例えば、電子装置１０１は、第１のイメージから多様なダウンスケーリング方式又はダウンサンプリング方式を利用して第２のイメージを生成する。電子装置１０１は、例えば第１のイメージの解像度の調整、複数の周波数帯域のうちから少なくとも一部を選択、又は複数のビットプレーンレベルのうちから少なくとも一つの選択のうちの少なくとも一つを実行することによって、第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成する。電子装置１０１は、例えば第１のイメージから低周波数帯域を抽出することによって第２のイメージを生成する。電子装置１０１は、例えば第１のイメージの複数のビットプレーンレベルのうちから一部のビットプレーンレベルを選択することによって第２のイメージを生成する。第２のイメージは、第１のイメージに関する情報の少なくとも一部を含み、第１のイメージよりも容量が小さいイメージである。電子装置１０１が第１のイメージの代わりに第２のイメージを外部電子装置に送信する場合、電子装置１０１は、より少ない情報を送信することで、外部電子装置４００にイメージをより速く送信することを可能にする。ステップ４０５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、外部電子装置４００が第２のイメージから識別された少なくとも一つのイメージ領域に関連する情報又は第２のイメージの分類情報のうちの少なくとも一つに基づいて補正領域情報を生成するように、例えば通信インターフェース１７０又は通信モジュール２２０を通じて第１のイメージ又は第２のイメージを外部電子装置４００に送信する。ステップ４０７において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、補正領域情報を生成する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージに対してセグメンテーション処理を実行し、セグメンテーション処理結果に基づいて第２のイメージから少なくとも一つのイメージ領域を識別する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、イメージ領域に対してオブジェクト認識アルゴリズム又はテクスチャ認識アルゴリズムを適用し、少なくとも一つのイメージ領域を認識する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、多様な認識アルゴリズムを用いて少なくとも一つのイメージ領域を認識し、マシンラーニング（ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ）又はディープラーニング（ｄｅｅｐｌｅａｒｎｉｎｇ）を通して獲得した認識アルゴリズムを利用して少なくとも一つのイメージ領域を認識する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ピクセル座標（１００，１０１）、（１００，１０２）、（１０１，１０２）、（１０１，１０３）が人の歯であることを示すイメージ領域に関連する情報を獲得する。ここで、ピクセル座標は、第１のイメージのピクセル座標に対応する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えば第２のイメージが“通りの人”に分類される分類情報を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、認識結果を利用して分類情報を獲得し、或いは認識過程なしに第２のイメージ内のカラー分布を利用して分類情報を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、上記過程を通して獲得された少なくとも一つのイメージ領域に関連する情報又は分類情報のうちの少なくとも一つを含む補正領域情報を生成する。

ステップ４０９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は補正領域情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、例えば通信インターフェース１７０又は通信モジュール２２０を通じて外部電子装置４００から生成された補正領域情報を受信する。ステップ４１１において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、補正領域情報の少なくとも一部に基づいて第１のイメージを用いて補正する。従って、第１のイメージが補正された第３のイメージが生成される。電子装置１０１のＩＳＰは、外部電子装置４００から受信された補正領域情報を用いてイメージセンサから獲得された第１のイメージ（例えば、ＲＡＷ画像）を補正する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ピクセル座標（１００，１０１）、（１００，１０２）、（１０１，１０２）、（１０１，１０３）は、人の歯のイメージ領域に関連する情報を用いて当該イメージ領域に対して人の歯に対応する補正を実行する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージのピクセル座標（１００，１０１）、（１００，１０２）、（１０１，１０２）、（１０１，１０３）の色相をホワイトで処理し、それによって、第１のイメージで歯領域を白く処理して補正されたイメージを獲得する。上述したように、第２のイメージのピクセル座標と第１のイメージのピクセル座標とは対応するため、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第２のイメージのイメージ領域に関連する情報を用いて第１のイメージを補正する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、“通りの人”の分類情報を用いて室内環境でなく室外環境に対応する補正を第１のイメージに対して実行する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は第１のイメージの補正結果が獲得された第３のイメージを格納する。例えば第３のイメージは、第１のイメージと異なるＹＵＶフォーマットを有する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第３のイメージをＶＲＡＭ（ＶｉｄｅｏＲＡＭ）に格納し、格納されたイメージをディスプレイ（例えば、ディスプレイ（１６０又は２６０））に表示する。或いは、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、圧縮アルゴリズムを用いて第３のイメージを圧縮し、圧縮されたイメージをメモリ（例えば、メモリ１３０又は２３０）に格納する。

上述したように、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）がセグメンテーション及び認識を実行し、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、認識結果を用いてイメージを補正する。従って、電子装置１０１のＩＳＰが高性能でなくても、外部電子装置４００の高性能のＩＳＰを用いて獲得された補正領域情報を使用することができる。新たな認識アルゴリズムが開発された場合、外部電子装置４００は、新たな認識アルゴリズムを用いて補正領域情報を生成して電子装置１０１に送信するため、電子装置１０１は、ハードウェアＩＳＰを交換しなくても新たな認識アルゴリズムを用いてイメージを処理することができる。第２のイメージのような軽量化されたイメージが外部電子装置４００に送信されるため、電子装置１０１が補正領域情報を獲得する時間が相対的に短くなり、それによってリアルタイムに補正領域情報を用いてイメージ処理を実行することができる。

図４Ｂは、本発明の一実施形態による電子装置及び外部電子装置の動作を説明するための概念図を示す。

電子装置１０１は、イメージセンサ４２１、ＩＳＰ４２３、及びメモリ４２５を含む。外部電子装置４００は、認識モジュール４３１、ＩＳＰ４３３、及び格納部４３５を含む。認識モジュール４３１は、論理モジュールであり、外部電子装置４００のプロセッサとして実現される。ＩＳＰ４３３は、外部電子装置４００のプロセッサとして実現され、例えば外部電子装置４００のプロセッサが認識及びイメージ処理を共に実行する。図示していないが、電子装置１０１は、外部電子装置４００とデータを送受信する通信モジュール（例えば、通信インターフェース１７０又は通信モジュール２２０）を含む。外部電子装置４００は、電子装置１０１とデータを送受信する通信モジュールを含む。

イメージセンサ４２１（例えば、カメラモジュール２９１）は、外部オブジェクトに対するイメージを獲得し、これに対応するＲＡＷ画像４２２ａを生成する。イメージセンサ４２１は、ＲＡＷ画像４２２ａをＩＳＰ４２３に配信する。本発明の一実施形態によると、イメージセンサ４２１は、スモールＲＡＷ画像４２２ｂを生成し、通信モジュールを通じてスモールＲＡＷ画像４２２ｂを外部電子装置４００に送信する。他の実施形態よると、イメージセンサ４２１でなく、電子装置１０１のプロセッサが、スモールＲＡＷ画像４２２ｂを生成し、通信モジュールを通じて、生成されたスモールＲＡＷ画像４２２ｂを外部電子装置４００に送信する。

外部電子装置４００の認識モジュール４３１は、通信モジュールを通じてスモールＲＡＷ画像４２２ｂを獲得し、スモールＲＡＷ画像４２２ｂから少なくとも一つのイメージ領域をセグメンテーションする。認識モジュール４３１は、セグメンテーションによって分けられる少なくとも一つのイメージ領域の各々を認識する。認識モジュール４３１から生成された複数のイメージ領域に関連する情報、例えばイメージ領域の座標情報又は認識結果のうちの少なくとも一つを含む補正領域情報４３２が生成される。補正領域情報４３２は、電子装置１０１に送信される。ＩＳＰ４２３は、補正領域情報４３２を利用してＲＡＷ画像４２２ａを補正し、それによって補正されたイメージ４２４が生成される。補正されたイメージ４２４は、例えばＹＵＶのフォーマットを有する。補正されたイメージ４２４は、メモリ４２５に格納される。或いは、補正されたイメージ４２４は、例えばＪＰＥＧ方式によって圧縮され、圧縮されたイメージがメモリ４２５に格納される。

本発明の一実施形態によると、イメージセンサ４２１から提供されるＲＡＷ画像４２２ａは、スモールＲＡＷ画像４２２ｂとは別に外部電子装置４００に送信される。ＲＡＷ画像４２２ａは、スモールＲＡＷ画像４２２ｂに比べて容量が大きいため、スモールＲＡＷ画像４２２ｂが外部電子装置４００に送信され、その後ＲＡＷ画像４２２ａが外部電子装置４００に送信される。例えば、ＩＳＰ４２３がＲＡＷ画像４２２ａに対する補正を実行する間にＲＡＷ画像４２２ａが外部電子装置４００に送信される。ＲＡＷ画像４２２ａは、イメージセンサ４２１によって生成され、そのまま外部電子装置４００にアップロードされるか、或いはレンズ歪み補償又はノイズ除去が実行された前処理画像がアップロードされる。上記前処理は、外部電子装置４００で実行される。外部電子装置４００は、デモザイク処理、イメージフォーマットの変換、又は画像認識率を高めるための前処理を実行する。外部電子装置４００のＩＳＰ４３３は、受信されたＲＡＷ画像４２２ａを補正する。外部電子装置４００は、生成された既存の補正領域情報４３２を用いてＲＡＷ画像４２２ａを補正するか、或いは拡張された補正領域情報を用いてＲＡＷ画像４２２ａを補正する。ＲＡＷ画像４２２ａは、スモールＲＡＷ画像４２２ｂに比べて解像度が高いこともあり、これによって外部電子装置４００のＩＳＰ４３３は、高解像度イメージからより詳細な拡張された補正領域情報を獲得することができる。ＩＳＰ４３３は、生成された既存の補正領域情報４３２及びＲＡＷ画像４２２ａを共に利用して拡張された補正領域情報を生成する。ＩＳＰ４３３は、拡張された補正領域情報を用いてＲＡＷ画像４２２ａを補正することによって、高解像度イメージ４３４を獲得することができる。高解像度イメージ４３４は、外部電子装置４００の格納部４３５に格納され、電子装置１０１にダウンロードされる。

図４Ｃは、本発明の一実施形態による電子装置及び外部電子装置の動作方法を説明するためのフローチャートである。

本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ４４１で、例えばカメラモジュール２９１を用いて外部オブジェクトに対応する第１のイメージを獲得する。ステップ４４３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージを用いて第１のイメージのデータサイズよりも小さいサイズを有する第２のイメージを生成する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージよりもサイズが小さい第２のイメージを獲得する。ステップ４４５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第２のイメージを、例えば通信インターフェース１７０又は通信モジュール２２０を通じて外部電子装置４００に送信する。上述したように、第２のイメージは、第１のイメージよりもサイズが小さいため、相対的に短い時間で第２のイメージが外部電子装置４００に送信される。

ステップ４４７において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージに対するピクセル調整情報を獲得する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、イメージ領域の座標情報又は認識結果のうちの少なくとも一つを含む補正領域情報を図４Ａ及び図４Ｂに示すように生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、補正領域情報に基づいて第２のイメージ内のピクセルの各々に対する調整情報を獲得する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ピクセル座標（１００，１０１）、（１００，１０２）、（１０１，１０２）、（１０１，１０３）が歯であることを認識する。外部電子装置は、ピクセル座標（１００，１０１）、（１００，１０２）、（１０１，１０２）、（１０１，１０３）の色相を白色に処理するようにピクセル調整情報を生成する。ピクセル調整情報は、例えばピクセル別の明るさ、明度、カラー、又は色温度のうちの少なくとも一つの調整程度を含む。ピクセル調整情報は、第２のイメージに含まれるピクセルグループ別に設定される。例えば、ピクセル調整情報が、第１のピクセルグループ内のピクセルの明るさ、明度、カラー、又は色温度のうちの少なくとも一つの調整程度を含む。この場合、ピクセル調整情報のサイズが、全てのピクセル毎に調整情報が設定された場合よりも小さくなり、電子装置１０１がより迅速にピクセル調整情報を獲得することができる。ステップ４４９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ピクセル調整情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。ステップ４５１において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージに対してピクセル調整情報を適用し、それによって第１のイメージの各ピクセル別の明るさ、明度、カラー、又は色温度のうちの少なくとも一つを調整する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ＲＡＷ画像のピクセル座標（１００，１０１）、（１００，１０２）、（１０１，１０２）、（１０１，１０３）をホワイト処理する。

本発明の一実施形態によると、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、スモールＲＡＷ画像を、例えば通信インターフェース１７０又は通信モジュール２２０を通じて外部電子装置４００に送信し、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像を用いる第２のイメージ内のピクセル調整情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ＲＡＷ画像に対してピクセル調整情報を適用することによって、画質が改善された補正イメージを生成することができる。

図５は、本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。

本発明の一実施形態による電子装置５００（例えば、電子装置１０１又は電子装置２０１）は、イメージセンサ５０１、プロセッサ５１０、メモリ５２０、及びディスプレイ５３０を含む。外部電子装置５５０は、解凍（ｄｅｃｏｍｐｒｅｓｓｉｏｎ）モジュール５５１及び認識モジュール５５２を含む。解凍モジュール５５１及び認識モジュール５５２が実行する動作は、外部電子装置５５０のプロセッサにより実行される。

イメージセンサ５０１（例えば、カメラモジュール２９１）は、外部オブジェクトを撮影し、ＲＡＷ画像５０２を生成する。ＲＡＷ画像５０２は、メモリ５２０（例えば、ＤＲＡＭ）に一時的又は非一時的に格納される。プロセッサ５１０は、軽量イメージ生成及び圧縮モジュール５１１、ＩＳＰ５１２、圧縮モジュール５１３を含む。軽量イメージ生成及び圧縮モジュール５１１、ＩＳＰ５１２、及び圧縮モジュール５１３は、例えば論理モジュールであり、それによって軽量イメージ生成及び圧縮モジュール５１１、ＩＳＰ５１２、及び圧縮モジュール５１３が実行する動作は、プロセッサ５１０（例えば、プロセッサ１２０又は２１０）により実行される。他の実施形態よると、軽量イメージ生成及び圧縮モジュール５１１、ＩＳＰ５１２、又は圧縮モジュール５１３のうちの少なくとも一つがプロセッサ５１０内のハードウェアで実現される。軽量イメージ生成及び圧縮モジュール５１１は、イメージセンサ５０１から生成されたＲＡＷ画像５０２を受信し、ＲＡＷ画像５０２からスモールＲＡＷ画像５０３を生成する。軽量イメージ生成及び圧縮モジュール５１１は、スモールＲＡＷ画像５０３を圧縮し、圧縮されたスモールＲＡＷ画像５０３をメモリ５２０に格納する。スモールＲＡＷ画像５０３は、メモリ５２０に一時的又は非一時的に格納される。電子装置５００の通信モジュール（図示せず）（例えば、通信インターフェース１７０又は通信モジュール２２０）は、メモリ５２０に格納されたスモールＲＡＷ画像５０３を外部電子装置５５０に送信する。

外部電子装置５５０の解凍モジュール５５１は、スモールＲＡＷ画像５０３を受信する。上述のように、スモールＲＡＷ画像５０３は圧縮された状態であり、解凍モジュール５５１は、圧縮を解除し、これを認識モジュール５５２に送信する。認識モジュール５５２は、解凍されたスモールＲＡＷ画像を認識する。例えば、認識モジュール５５２は、スモールＲＡＷ画像に対してセグメンテーションを実行し、セグメンテーション結果によって少なくとも一つのイメージ領域を区分する。認識モジュール５５２は、多様な認識アルゴリズムに基づいてイメージ領域に対する認識を実行し、認識結果を獲得する。認識モジュール５５２は、イメージのシーン（ｓｃｅｎｅ）を分類し、イメージ分類情報、認識情報に対する信頼度を分析する。スモールＲＡＷ画像内の少なくとも一つのイメージ領域及び認識結果は、補正領域情報として電子装置５００に送信される。本発明の一実施形態よると、補正領域情報は、イメージ領域の位置（又は、座標）情報又はイメージ領域の認識結果のうちの少なくとも一つを含むイメージ領域に関する情報、イメージ分類情報、テクスチャ情報、又は信頼度情報のうちの少なくとも一つを含むように多様に構成され、これに対して更に詳細に後述する。

ＩＳＰ５１２は、ＲＡＷ画像５０２及び補正領域情報を用いて補正されたイメージ５０５を生成する。補正されたイメージ５０５は、例えばＹＵＶフォーマットを有し、補正されたイメージ５０５が有するフォーマットには制限がないことを当業者は容易に理解することができる。補正されたイメージ５０５は、例えばＶＲＡＭに格納され、ＶＲＡＭに格納された補正されたイメージ５０５は、ディスプレイ５３０上に表示される。ＩＳＰ５１２は補正されたイメージ５０５を圧縮モジュール５１３に送信する。圧縮モジュール５１３は、受信した補正されたイメージ５０５を圧縮し、圧縮されたイメージ５０４をメモリ５２０に格納する。圧縮モジュール５１３は、例えばＪＰＥＧで定義された方式で圧縮を実行するが、圧縮方式に制限がないことを当業者に容易に理解することができる。

本発明の実施形態によると、外部電子装置５５０は、ＩＳＰ（図示せず）のような処理回路を更に含む。この場合、外部電子装置５５０は、補正領域情報を利用し、スモールＲＡＷ画像５０３の少なくとも一つのピクセルに対するピクセル調整情報を生成する。外部電子装置５５０は、補正領域情報に対応する効果（例えば、チューニングポリシー（ｔｕｎｉｎｇｐｏｌｉｃｙ））によるピクセル調整情報を生成する。外部電子装置５５０は、ピクセル調整情報を電子装置５００に送信する。ＩＳＰ５１２は、ピクセル調整情報をＲＡＷ画像５０２に適用することによって補正されたイメージ５０５を生成する。この場合、ＩＳＰ５１２は、単にピクセル調整情報によって、ＲＡＷ画像５０２内の少なくとも一つのピクセルの明るさ、明度、カラー、又は色温度のうちの少なくとも一つを調整することによって補正されたイメージ５０５を生成することができる。

図６は、本発明の一実施形態による外部電子装置の動作を説明するためのフローチャートである。図６の実施形態は、図７Ａを参照して更に詳細に説明する。図７Ａは、本発明の一実施形態による補正領域情報の生成過程を説明するための概念図である。

ステップ６０１において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えば図７Ａに示すように、第２のイメージ７１０を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて獲得する。第２のイメージ７１０は、電子装置１０１でイメージセンサを通じて獲得された第１のイメージがダウンスケーリング又はダウンサンプリングされたイメージである。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えば図７Ａに示すようにスモールＲＡＷ画像である第２のイメージ７１０を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ７１０に対するメタデータ７１１を追加して受信する。メタデータ７１１は、焦点距離（ｆｏｃａｌｌｅｎｇｔｈ）、自動フォーカス領域（ａｕｔｏｆｏｃｕｓａｒｅａ）、撮影時左右回転関連情報（ｏｒｉｅｎｔａｔｉｏｎ）、色座標（ｃｏｌｏｒｓｐａｃｅ）、露出時間（ｅｘｐｏｓｕｒｅｔｉｍｅ）、絞り関連情報（Ｆ−ｎｕｍｂｅｒ）、撮影モード（ｅｘｐｏｓｕｒｅｐｒｏｇｒａｍ）（例えば、自動、絞り優先、シャッター優先、手動など）、ＩＳＯスピードレート、又はイメージ撮影日時を含む。或いは、図示していないが、メタデータ７１１は、イメージ撮影場所又は撮影時点の照度のようなイメージセンサ以外のセンサによって得られた情報を含む。メタデータ７１１の利用に関して、図９を参照してより詳細に説明する。

ステップ６０３において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ７１０に対してオブジェクトセグメンテーション及び認識を実行する。オブジェクトは、第２のイメージ７１０がセグメンテーションによって分けられる領域を意味し、イメージ領域と称される。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、図７Ａに示すように、セグメンテーションマップ７２０を獲得する。外部電子装置４００は、第２のイメージ７１０に対して、エッジ、ブロブ（ｂｌｏｂ）のような多様な特徴（ｆｅａｔｕｒｅ）に基づいて第２のイメージ７１０をオブジェクト（７２１、７２２、７２３、７２４）に区分する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、オブジェクト（７２１、７２２、７２３、７２４）の各々に対して認識アルゴリズムを適用し、認識結果を獲得する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は大量のデータベースをマシンラーニング又はディープラーニングに適用して獲得された認識アルゴリズムを利用してオブジェクト（７２１、７２２、７２３、７２４）の認識結果を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１のオブジェクト７２１が空であるという認識結果、第２のオブジェクト７２２がバルーンであるという認識結果、第３のオブジェクト７２３が人であるという認識結果、及び第４のオブジェクト７２４が草であるという認識結果を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、オブジェクト（７２１、７２２、７２３、７２４）の位置情報（又は、ピクセル座標情報）及び認識結果を含むセグメンテーションマップ７２０を獲得する。

ステップ６０５において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ７１０に対してテクスチャセグメンテーション及び認識を実行する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、図７Ａに示すように、テクスチャセグメンテーションマップ７３０を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えばテクスチャ認識されたオブジェクト（７２１、７２２、７２３、７２４）に対してテクスチャ認識を実行するか、或いはオブジェクト（７２１、７２２、７２３、７２４）のうちの少なくとも一つを部分に分割し、部分別にテクスチャ認識結果を獲得する。テクスチャは、予め定義された特定パターン又は質のテクスチャを示す成分を意味する。一つのオブジェクト内でも複数のテクスチャが含まれる。テクスチャ認識アルゴリズムも大量のデータベースにマシンラーニング又はディープラーニングを適用して獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、複数のテクスチャオブジェクト（７３１〜７３６）の位置情報（又は、ピクセル座標情報）及びテクスチャ認識結果を含むテクスチャセグメンテーションマップ７３０を獲得する。

ステップ６０７において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ７１０の認識結果に対する信頼度を判定する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）はテクスチャ認識結果に対する信頼度又はオブジェクト認識結果に対する信頼度のうちの少なくとも一つを判定する。

ステップ６０９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ７１０に対して分類情報を判定する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えば図７Ａに示すように分類情報７４０を獲得する。分類情報７４０は、第２のイメージ７１０が全体的にどのコンテンツであるかを示す情報である。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、イメージ分類アルゴリズムを第２のイメージ７１０に適用して分類情報７４０を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、オブジェクト認識結果又はテクスチャ認識結果のうちの少なくとも一つを利用して分類情報７４０を獲得する。或いは、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ７１０から直接分類情報７４０を獲得する。分類情報７４０は、例えば一般的な緑草（ｎｏｒｍａｌｇｒｅｅｎｇｒａｓｓ）を示す全体イメージ認識結果情報を含む。分類情報７４０は、オブジェクト情報（例えば、空、バルーン、草）、日付情報（例えば、２０１６．８．ｘｘ．２：００）、場所情報（例えば、ソウル、韓国）、シーズン情報（例えば、夏）、天気情報（晴れ）、露出関連情報（露出時間ｘｘ、ＩＳＯｘｘ）を含む。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、認識アルゴリズムの適用結果及びメタデータを用いて分類情報７４０を獲得する。

ステップ６１１において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、オブジェクト認識、テクスチャ認識、認識結果に対する信頼度、又は分類情報のうちの少なくとも一つを含む補正領域情報を生成する。例えば、図７Ｂに示すように、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、複数のレイヤで構成された補正領域情報を生成する。複数のレイヤで構成された補正領域情報は、セグメンテーションマップ７２０、テクスチャセグメンテーションマップ７３０、オブジェクト認識に対する信頼度を示すマップ７５０、及びテクスチャ認識に対する信頼度を示すマップ７６０を含む。複数のマップ（７２０、７３０、７５０、７６０）の各々のピクセルの座標は、相互に同一であり、ＲＡＷ画像のピクセルに対応する。従って、複数の情報（例えば、オブジェクト属性、テクスチャ属性、オブジェクト属性の正確度、テクスチャ属性の正確度）は、ＲＡＷ画像の一つのピクセルに対応する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、複数のレイヤで構成された補正領域情報を電子装置１０１に送信する。電子装置１０１は、ＲＡＷ画像に補正領域情報を適用して補正を実行する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、セグメンテーションマップ７２０のバルーンのオブジェクトのピクセル座標に対応するＲＡＷ画像のピクセルに対して、バルーンに対応する効果を適用する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、テクスチャセグメンテーションマップ７３０のエナメル（ｅｎａｍｅｌ）のテクスチャオブジェクトのピクセル座標に対応するＲＡＷ画像のピクセルに対してエナメルに対応する効果を適用する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、オブジェクト認識の信頼度又はテクスチャ認識の信頼度を考慮して適用する効果の程度を調整する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、イメージ分類結果（例えば、一般的な緑草）に基づいて室外環境に対応する効果をＲＡＷ画像全体に対して適用する。図７Ｂに示す複数のレイヤで構成された形態は、単に例示的なものである。補正領域情報は、１次元のテキスト情報で実現され、補正領域情報を示すデータタイプは制限されるものではない。図７Ｂの複数のレイヤの一部は失われ、他のマップが追加され得る。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、図６、図７Ａ、及び７Ｂを参照して説明したように、生成された補正領域情報に基づいて第２のイメージに対するピクセル調整情報を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ピクセル調整情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信し、電子装置１０１（例えば、プロセッサは２１０）は、単にピクセル調整情報によって、第１のイメージ内の少なくとも一つのピクセルの明るさ、明度、カラー、又は色温度のうちの少なくとも一つを調整することによって補正されたイメージを生成することができる。

図８は、本発明の一実施形態による補正領域情報の生成を説明するための概念図を示す。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像８０１を電子装置１０１から、例えば外部電子装置４００の通信インターフェース又は通信モジュールを介して受信する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、複数の認識モデル（８０２、８１１、８２１）を予め格納し、それによって認識モデルが相互に問題点を補完し、多様な情報を同時に獲得することが可能になる。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１の認識モデル８０２をスモールＲＡＷ画像８０１に適用する。第１の認識モデル８０２は、イメージの分類情報又はＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）のうちの少なくとも一つを判定する認識モデルである。第１の認識モデル８０２のスモールＲＡＷ画像８０１に対する適用結果によって複数の分類情報８０３のうちから“通りの人（ｐｅｏｐｌｅｉｎｔｈｅｓｔｒｅｅｔ）”の分類情報８０４が選択される。即ち、スモールＲＡＷ画像８０１全体の分類情報は、“通りの人”であると判定される。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、分類情報８０４をスモールＲＡＷ画像８０１にラベリングする（８０７）。例えば、第１の認識モデル８０２は、スモールＲＡＷ画像８０１の全体的な色分布、色領域が配置された相対的な位置関係を用いて分類情報８０４を選択し、この場合、スモールＲＡＷ画像８０１内の特定オブジェクトに対して認識を実行しなくても分類情報８０４を獲得する。例えば、第１の認識モデル８０２は、通りの代表色に類似する色相が画面全体に分布し、通りの代表色が分布する領域の一部に上下に延びる人の代表色に類似する色相が分布することを検出し、それによって当該イメージが通りの人の分類情報８０４を有すると判定する。上記実施形態は、単に例示的なものであり、多様な実施形態による第１の認識モデル８０２は、多様な分類情報獲得アルゴリズムを含む。他の実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、オブジェクト認識結果又はテクスチャ認識結果のうちの少なくとも一つを利用し、スモールＲＡＷ画像８０１の分類情報を獲得する。即ち、第１の認識モデル８０２が適用される順序には制限がない。第１の認識モデル８０２は、多様な方式のＲＯＩ検出方法に基づいてスモールＲＡＷ画像８０１からＲＯＩ８１０を検出する。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、セグメンテーション結果８０５からＲＯＩ８１０をクロップし（８０６）、クロップされた（８０６）ＲＯＩ８１０に第２の認識モデル８１１を適用する。第２の認識モデル８１１は、テクスチャ認識又はＲＯＩのうちの少なくとも一つを判定し、ＲＯＩ８１０内のオブジェクトを認識する。従って、第２の認識モデル８１１によってオブジェクト属性８１３が複数のオブジェクト属性８１２のうちの“高齢の女性”であることが確認される。第２の認識モデル８１１は、複数のオブジェクト属性８１２の各々に対する認識アルゴリズムを含む。外部電子装置４００は、ＲＯＩ８１０に対してオブジェクト属性８１３をラベリングする（８１６）。例えば、外部電子装置４００は、ＲＯＩ８１０に対して“高齢の女性”のオブジェクト属性８１３をラベリングする。

本発明の一実施形態によると、第２の認識モデル８１１は、ＲＯＩ８１０からテクスチャセグメンテーション結果８１４を判定し、テクスチャセグメンテーション結果８１４から他のＲＯＩ８２０を判定する。外部電子装置４００は、他のＲＯＩ８２０をクロップする（８１５）。外部電子装置４００は、他のＲＯＩ８２０に対して第３の認識モデル８２１を適用する。第３の認識モデル８２１は、テクスチャ認識を実行する。第３の認識モデル８２１は、他のＲＯＩ８２０に対するテクスチャ属性８２３が複数のテクスチャ属性８２２のうちの“短い白髪”であることを判定する。第３の認識モデル８２１は、複数のテクスチャ属性８２２の各々に対するテクスチャ認識アルゴリズムを含む。本発明の一実施形態によると、第２の認識モデル８１１による認識が失敗しても、第３の認識モデル８２１によるＲＯＩ８１０のうちの少なくとも一部に対するテクスチャセグメンテーション及びテクスチャ認識が実行される。本発明の一実施形態によると、第３の認識モデル８１１は、他のＲＯＩ８２０でなく、ＲＯＩ８１０を第１の認識モデル８０２から直接に受信する。第３の認識モデル８１１は、スモールＲＡＷ画像８０１の全体に対してテクスチャセグメンテーション及びテクスチャ認識を実行する。複数のモデル（８０２、８１１、８２１）は、従属的な関係でなく独立的に認識を実行する。例えば、第１の認識モデル８０２から分類情報８０４が獲得されない場合にも、第２の認識モデル８１１がスモールＲＡＷ画像８０１に対してテクスチャ認識を実行する。

外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、分類情報８０４、オブジェクト属性８１３、又はテクスチャ属性８２３のうちの少なくとも一つを含む補正領域情報を電子装置１０１に、例えば外部電子装置４００の通信インターフェース又は通信モジュールを介して送信する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、分類情報８０４、オブジェクト属性８１３、又はテクスチャ属性８２３のうちの少なくとも一つの正確度情報を補正領域情報に含めて電子装置１０１に、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて送信する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、補正領域情報に対応する効果をＲＡＷ画像に適用し、それによって画質が改善されたイメージを生成する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ＲＯＩ８１０に対応するＲＡＷ画像部分に対して“高齢女性”に対応する効果（例えば、明るさの増加）を処理する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、他のＲＯＩ８２０に対応するＲＡＷ画像部分に対して“短い白髪”に対応する効果（例えば、鮮明化及びホワイトニング）を処理する。例えば、電子装置１０１は、“通りの人”の分類情報８０４に基づいてＲＡＷ画像の全体に対して室外環境に対応する効果を処理する。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１の認識モデル８０２、第２の認識モデル８１１、又は第３の認識モデル８２１のうちの少なくとも一つをアップデートし、他の認識モデルを追加する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、アップデートされた複数の認識モデルを用いて補正領域情報を生成し、これを電子装置１０１に送信する。電子装置１０１のＩＳＰが交換又はアップグレードされなくても、電子装置１０１（例えば、プロセッサ１２０又は２１０）はアップデートされた認識モデルに基づいて画質が改善されたイメージを生成する。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、図８を参照して説明したように、生成された補正領域情報に基づいて、スモールＲＡＷ画像に対するピクセル調整情報を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ピクセル調整情報を電子装置１０１に、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて送信する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、単にピクセル調整情報によって、ＲＡＷ画像内の少なくとも一つのピクセルの明るさ、白黒、カラー、又は色温度のうち少なくとも一つを調整することによって補正されたイメージを生成することができる。

図９は、本発明の一実施形態による電子装置及び外部電子装置の動作を説明するためのフローチャートである。

本発明の一実施形態によると、電子装置１０１（例えば、プロセッサ２１０又は２１０）は、ステップ９０１において、イメージセンサを通して外部オブジェクトに対応する第１のイメージを、例えばカメラモジュール２９１を用いて獲得する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージに対するメタデータを生成する。上述したように、メタデータは、イメージセンサを通じて獲得される焦点距離（ｆｏｃａｌｌｅｎｇｔｈ）、オートフォーカス領域、撮影時の左右回転関連情報（ｏｒｉｅｎｔａｔｉｏｎ）、色座標（色空間）、露出時間などの情報を含む。メタデータは、イメージセンサと異なるセンサ（例えば、ＧＰＳセンサ）を通して獲得されるイメージを撮影した場所情報などを含む。例えば、メタデータは、第１のイメージが２０１７年３月２４日、午前９時３０分にソウルで撮影したことを示す情報を含む。ステップ９０３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージを用いて第１のイメージのデータサイズよりも小さいサイズを有する第２のイメージを生成する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージをダウンスケーリング又はダウンサンプリングしてサイズが第１のイメージよりも小さい第２のイメージを生成する。ステップ９０５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、外部電子装置４００で第２のイメージから識別された複数のイメージ領域又は分類情報のうちの少なくとも一つに基づいて補正領域情報を生成するように、第２のイメージ及びメタデータを、例えば通信インターフェース１７０又は通信モジュール２２０を介して外部電子装置４００に送信する。

本発明の一実施形態によると、ステップ９０７において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージから、例えばセグメンテーション又は認識を通して、少なくとも一つのイメージ領域を識別するか又はイメージ分類を識別する。ステップ９０８において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージ及びメタデータを利用して補正領域情報を生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージから、例えば第１の領域に空が位置するという認識情報を含む補正領域情報を生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、天気情報を提供するサーバに接続され、２０１７年３月２４日、午前９時３０分にソウルの天気情報（例えば、曇り）を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージの第１の領域のオブジェクト属性が“曇り空”を示す補正領域情報を生成する。ステップ９０９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、補正領域情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通して電子装置１０１に送信する。ステップ９１１において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、補正領域情報の少なくとも一部に基づいて、第１のイメージを用いて補正された第３のイメージを生成する。それによって、第１のイメージの第１の領域に対して“曇り空”に対応する効果を処理することで、第３のイメージを生成する。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、メタデータも利用して、生成された補正領域情報に基づいて、第２のイメージに対するピクセル調整情報を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ピクセル調整情報を電子装置１０１に、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通して送信する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、単にピクセル調整情報によって、第１のイメージ内の少なくとも一つのピクセルの明るさ、明度、カラー又は色温度のうちの少なくとも一つを調整することによって補正されたイメージを生成することができる。

図１０は、本発明の一実施形態によるイメージセンサを説明するためのブロック構成図である。

図１０に示すように、電子装置のイメージセンサ１０００は、ピクセルアレイ１０１０、読み出し回路１０２０、演算回路１０３０、及びメモリ１０４０を含む。ピクセルアレイ１０１０は、２次元（２Ｄ）に配列された複数のフォトダイオードを含む。複数のフォトダイオードの各々は、外部から受信した光をアナログの電気信号に変換する。読み出し回路１０２０は、例えばロウ（ｒｏｗ）ドライバ及びカラムドライバを含む。ロウドライバは、ピクセルアレイ１０１０を行単位で駆動する。例えば、ロウドライバは、ピクセルアレイ１０１０に含まれる複数のピクセルの伝送トランジスタを制御する伝送制御信号、リセットトランジスタを制御するリセット制御信号、又は選択トランジスタを制御する選択制御信号をピクセルアレイ１０１０に出力する。ロウドライバは、読み出し行を決定する。カラム読み出し回路は、ピクセルアレイ１０１０により生成されたアナログの電気信号を受信する。例えば、カラム読み出し回路は、ピクセルアレイ１０１０を構成する複数のカラムのうちから選択されたカラムラインからアナログの電気信号を受信する。カラム読み出し回路は、選択されたカラムラインから受信されたアナログの電気信号をピクセルデータ（又はデジタルの信号）に変換して出力するアナログ−デジタルコンバータ（ＡＤＣ）を含む。一方、カラム読み出し回路が、ピクセルアレイ１０１０からアナログの電気信号を受信し、受信されたアナログの電気信号を、ＡＤＣを用いてピクセルデータに変換して出力する動作は、‘読み出し（ｒｅａｄｏｕｔ）’と呼ばれる。カラム読み出し回路及びＡＤＣは、読み出しカラムを決定する。２ＤＲＡＷ画像は、読み出し回路１０２０によって読み出される。

本発明の一実施形態によると、メモリ１０４０は、読み出し回路１０２０から出力された電気信号を格納する。複数のフォトダイオードの各々から出力された電気信号は、２ＤＲＡＷ画像としてメモリ１０４０に格納される。或いは、ＲＡＷイメージは、メモリ１０４０に格納されずに、イメージセンサ１０００の外部に配置された電子装置１０１のメモリ１０５０に格納される。本発明の一実施形態によると、演算回路１０３０は、メモリ１０４０に格納されたＲＡＷ画像を利用してスモールＲＡＷ画像を生成する。演算回路１０３０は、メモリ１０４０に格納されたＲＡＷ画像をダウンスケーリング又はダウンサンプリングする。演算回路１０３０は、ＣＰＵ又はＧＰＵなどの処理ユニットで実現され、或いは論理ゲートアレイなどの比較的簡単な回路で実現される。本発明の一実施形態によると、演算回路１０３０は、読み出し回路１０２０から直接ＲＡＷ画像を受信し、受信されたＲＡＷ画像を利用してスモールＲＡＷ画像を生成してメモリ１０４０に格納するか又は外部のメモリ１０５０に出力する。或いは、演算回路１０３０は、生成されたスモールＲＡＷ画像を通信モジュール１０６０に直接出力する。電子装置１０１の通信モジュール１０６０は、イメージセンサ１０００から生成されたスモールＲＡＷ画像を上述のように外部電子装置４００に送信する。上述したように、本発明の一実施形態による電子装置１０１は、イメージセンサ１０００の外部に配置されたプロセッサ（例えば、プロセッサ１２０又は２１０）がスモールＲＡＷ画像を生成するか、或いは図１０で説明したようにイメージセンサ１０００が直接スモールＲＡＷ画像を生成する。

図１１Ａ及び図１１Ｂは、本発明の一実施形態による電子装置及び外部電子装置の動作方法を説明するためのフローチャートである。

図１１Ａを参照すると、本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ１１０１において、外部オブジェクトに対応する第１のイメージを、例えばカメラモジュール２９１を用いて獲得する。ステップ１１０３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は第１のイメージを用いて第１のイメージのデータサイズよりも小さいサイズを有する第２のイメージを生成する。ステップ１１０５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、外部電子装置４００が第２のイメージから識別された複数のイメージ領域に関連する情報又は分類情報のうちの少なくとも一つに基づいて補正領域情報を生成するように、第２のイメージを、例えば通信インターフェース１７０又は通信モジュール２２０を介して外部電子装置４００に送信する。ステップ１１０６において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージから少なくとも一つのイメージ領域を識別するか又はイメージ分類を識別する。ステップ１１０７において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は補正領域情報を生成する。ステップ１１０９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、補正領域情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。ステップ１１１１において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、補正領域情報の少なくとも一部に基づき、第１のイメージを利用して補正を実行し、それによって補正されたイメージである第３のイメージを生成する。ステップ１１１３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第３のイメージを表示又は格納するように制御する。

ステップ１１１５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のイメージを、例えば通信インターフェース１７０又は通信モジュール２２０を通じて送信する。図１１Ａの実施形態では、第１のイメージが第３のイメージの表示又は格納後に送信されることを示したが、これは単に例示的なものである。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ１１０５で第２のイメージを送信した後に、任意の時点で第１のイメージを、例えば通信インターフェース１７０又は通信モジュール２２０を通じて送信する。上述したように、第１のイメージのサイズが第２のイメージよりも大きいため、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、先ず迅速な補正領域情報の獲得のために第２のイメージを、例えば通信インターフェース１７０又は通信モジュール２２０を通じて送信し、送信が完了すると、その後の任意の時点で第１のイメージを、例えば通信インターフェース１７０又は通信モジュール２２０を通じて送信する。

本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ステップ１１１７において、第１のイメージを利用して他の補正情報を生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージよりも大きいサイズの第１のイメージを利用することによって、第２のイメージを利用した場合の補正領域情報とは異なる補正領域情報を生成する。これを‘拡張された補正領域情報’と称する。第１のイメージは、第２のイメージに比べて更に多くの情報を含むため、外部電子装置４００は、より詳細な補正領域情報を生成することができる。本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１のイメージから拡張された補正領域情報を生成する。或いは、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２のイメージを用いて生成された既存の補正領域情報及び第１のイメージを用いて拡張された補正領域情報を生成する。ステップ１１１９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、他の補正領域情報、即ち拡張された補正領域情報の少なくとも一部に基づき、第１のイメージを用いて補正されたイメージである第４のイメージを生成する。ステップ１１２１において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第４のイメージを、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。第４のイメージは、ＲＡＷ画像である第１のイメージが拡張された補正領域情報を用いる補正により得られたイメージであるため、超高解像度のイメージである。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、電子装置１０１がダウンロードを要請すると、ＷｉＦｉ通信が可能な状態であるか、或いは同期化要請が受信される場合に、第４のイメージを、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて送信する。ステップ１１２３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第４のイメージを表示又は格納するように制御する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第３のイメージ及び第４のイメージを共に格納するか、或いは第３のイメージを第４のイメージに交換して格納する。

図１１Ｂは、本発明の一実施形態による電子装置及び外部電子装置の動作方法を説明するためのフローチャートである。図１１Ｂにおけるステップ１１０１〜ステップ１１１７は、図１１Ａで説明したため、ここではその説明を省略する。

ステップ１１３１において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、異なる補正領域情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。ステップ１１３３において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、異なる補正領域情報を用いて補正を実行して第４のイメージを生成する。ステップ１１３５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、異なる補正領域情報、即ち拡張された補正領域情報を用いて第１のイメージから第５のイメージを生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第３のイメージ及び第５のイメージを共に格納するか、或いは第３のイメージを第５のイメージに交換して格納する。

図１２は、本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。

本発明の一実施形態による電子装置１２００（例えば、電子装置１０１）は、イメージセンサ１２０１、プロセッサ１２１０、メモリ１２２０、及びディスプレイ１２３０を含む。イメージセンサ１２０１は、ＲＡＷ画像１２０２を生成し、ＲＡＷ画像１２０２をメモリ１２２０に格納する。軽量イメージ生成及び圧縮モジュール１２１１は、ＲＡＷ画像１２０２を用いて軽量イメージ、即ちスモールＲＡＷ画像１２０３を生成し、これを圧縮する。圧縮されたスモールＲＡＷ画像１２０３は、メモリ１２２０に格納される。電子装置１２００の通信モジュール（図示せず）は、スモールＲＡＷ画像１２０３を外部電子装置１２５０の通信モジュール（図示せず）に送信する。解凍モジュール１２５１は、圧縮されたスモールＲＡＷ画像１２０３を受信し、受信されたスモールＲＡＷ画像１２０３を解凍する。認識モジュール１２５２は、解凍されたスモールＲＡＷ画像を用いて補正領域情報を生成する。補正領域情報は、通信モジュールを通じて電子装置１２００のＩＳＰ１２１２に送信し、ＩＳＰ１２１２は、ＲＡＷ画像１２０２及び補正領域情報を用いて補正されたイメージ１２０７（ＹＵＶ）を生成する。補正されたイメージ１２０７は、ＹＵＶフォーマットを有するが、これは単に例示的なものであり、補正されたイメージ１２０７のフォーマットは制限されるものではない。補正されたイメージ１２０７は、メモリ１２２０、例えばＶＲＡＭに格納されてディスプレイ１２３０に表示される。ＩＳＰ１２１２は、補正されたイメージ１２０７を圧縮モジュール１２１３に送信する。圧縮モジュール１２１３は、補正されたイメージを圧縮し、圧縮されたイメージ１２０４（ＪＰＥＧ１）を生成してメモリ１２２０に格納する。

圧縮モジュール１２１４は、ＲＡＷ画像１２０２を圧縮し、圧縮されたＲＡＷ画像１２０５をメモリ１２２０に格納する。圧縮されたＲＡＷ画像１２０５は、通信モジュールを通じて外部電子装置１２５０のＲＡＷ画像格納部１２５６に格納される。本発明の一実施形態によると、電子装置１０１は、ＲＡＷ画像１２０２を圧縮せずに外部電子装置４００に送信する。ＲＡＷ画像は、ＲＡＷ画像格納部１２５６に格納されたデータベース１２５７に含まれる。或いは、データベース１２５７は特徴ベクトル（ｆｅａｔｕｒｅｖｅｃｔｏｒ）を更に含み、特徴ベクトルは外部電子装置１２５０の解凍及びＩＳＰ１２５３による補正過程で使われる。例えば、解凍及びＩＳＰ１２５３は、データベース１２５７から特徴ベクトルを受信してセグメンテーション情報を用いて圧縮を解除したＲＡＷ画像に合成して超高画質イメージを生成する。更に、解凍及びＩＳＰ１２５３は、イメージの分類情報に対応する所定のチューニングポリシー（ｔｕｎｉｎｇｐｏｌｉｃｙ）（例えば、効果）をセグメンテーション情報によって適用して画質改善を実行する。特徴ベクトルは、人の髪のようなイメージ内のオブジェクトの一部であるか、人の顔や木の葉のようなオブジェクトの全体であるか、又はテクスチャのパッチ（ｐａｔｃｈ）、ベクトルフォント（ｖｅｃｔｏｒｆｏｎｔ）などを含む。解凍及びＩＳＰ１２５３は、補正領域情報のカテゴリーに対応する所定のチューニングポリシーをＲＡＷ画像に基づいて生成された既存の補正領域情報又はセグメンテーション情報によって適用される。解凍及びＩＳＰ１２５３は、特徴ベクトルを受信しない場合、カテゴリー情報に基づいて特徴ベクトルをレンダリング（ｒｅｎｄｅｒｉｎｇ）する。

本発明の一実施形態によると、圧縮されたＲＡＷ画像１２０５は、解凍されてデーベース１２５７に含まれる。データベース１２５７に含まれるＲＡＷ画像は、認識モジュール１２５２及び解凍及びＩＳＰ１２５３に送信される。認識モジュール１２５２は、ＲＡＷ画像に対する認識を実行する。認識モジュール１２５２は、ＲＡＷ画像に対する認識結果として拡張された補正領域情報を生成する。認識モジュール１２５２は、ＲＡＷ画像から拡張された補正領域情報を獲得するか、或いは生成された既存の補正領域情報及びＲＡＷ画像を共に用いて拡張された補正領域情報を生成する。解凍及びＩＳＰ１２５３は、圧縮されたＲＡＷ画像を解凍し、ＲＡＷ画像を補正し、補正されたたイメージを生成する。本発明の一実施形態によると、解凍及びＩＳＰ１２５３は、認識モジュール１２５２から受信した認識結果を利用して補正を実行する。圧縮モジュール１２５４は、解凍及びＩＳＰ１２５３から受信した補正されたイメージを、例えばＪＰＥＧ圧縮方式によって圧縮する。圧縮されたイメージ１２０６（ＪＰＥＧ２）は、圧縮されたイメージ（ＪＰＥＧ）格納部１２５５に格納される。図１２では、圧縮されたイメージ格納部１２５５を“ＪＰＥＧ格納部”と称するが、これは単に圧縮方式の例示であり、圧縮方式に従ってその用語は変更され得る。圧縮されたイメージ１２０６は、通信モジュールを通じて電子装置１２００のメモリ１２２０に格納される。外部電子装置１２５０の解凍及びＩＳＰ１２５３は、電子装置１０１のＩＳＰ１２１２に比べて高い演算能力又は高いリソースを有し、これによってより高容量の補正アルゴリズムを使用することができる。従って、外部電子装置１２５０によって補正されたイメージが圧縮されたイメージ１２０６は、電子装置１２００によって補正されたイメージ１２０７が圧縮されたイメージ１２０４に比べて更に画質が改善されたイメージである。その結果、電子装置１２００は、圧縮されたイメージ１２０４及び圧縮されたイメージ１２０６を両方とも格納するか、或いは圧縮されたイメージ１２０４を圧縮されたイメージ１２０６に交換して格納する。

図１３は、本発明の一実施形態による拡張された補正領域情報の生成を説明するための概念図を示す。

本発明の一実施形態による外部電子装置４００（例えば、外部電子装置１２５０）（例えば、外部電子装置４００のプロセッサ）は、図１２に示したように、ＲＡＷ画像格納部（例えば、図１２のＲＡＷ画像格納部１２５６）に圧縮されたＲＡＷ画像１３００（例えば、図１２の圧縮されたＲＡＷ画像１２０５）を格納する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ＲＡＷ画像格納部に格納された圧縮されたＲＡＷ画像１３００をローディングし、スモールＲＡＷ画像（例えば、図１２のスモールＲＡＷ画像１２０３）に基づいて獲得された既存の補正領域情報１３０１を用いて拡張された補正領域情報を獲得する。例えば、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、実行された既存の認識結果に基づいて認識しようとするＲＯＩをクロップする（１３０２）。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、圧縮されたＲＡＷ画像１３００からＲＯＩ１３０３をクロップする（１３０２）。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像で確認されたＲＯＩに対応するＲＡＷ画像１３００のＲＯＩ１３０３をクロップする。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２の認識モデル１３０４をＲＯＩ１３０３に適用する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２の認識モデル１３０４の適用結果、ＲＯＩ１３０３のオブジェクト属性１３０６が複数のオブジェクト属性１３０５のうちの“中年男性”に該当すると判断する。例えば、図８の実施形態のように、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像８０１のＲＯＩ８１０に対して、“高齢女性”のオブジェクト属性８１３を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像８０１よりも高画質である拡張されたＲＡＷ画像１３００のＲＯＩ１３０３に第２の認識モデル１３０４を適用することによって更に正確なオブジェクト属性１３０６を獲得することができる。本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）がスモールＲＡＷ画像８０１に認識を実行した結果とＲＡＷ画像１３００に認識を実行した結果とが同一であることもあるが、図８及び図１３のように、拡張されたＲＡＷ画像１３００に対する認識結果よりも更に正確なオブジェクト属性を獲得することができる。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、オブジェクト属性をオブジェクトの位置に対する情報と共にラベリングする（１３０８）。第２の認識モデル１３０４の認識結果ＲＯＩ１３０３内でテクスチャセグメンテーションが実行される。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、テクスチャセグメンテーション結果１３０７に基づいてもう一つのＲＯＩ１３１１をクロップする（１３１０）。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、もう一つのＲＯＩ１３１１に対して第３の認識モデル１３１２を適用する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、もう一つのＲＯＩ１３１１のテクスチャ属性１３１４が複数のテクスチャ属性１３１３のうちの“短い灰色の髪”であることを確認することができる。例えば、図８の実施形態と同様に、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像８０１のもう一つのＲＯＩ８２０に対して、“短い白髪”のテクスチャ属性８２２を獲得する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像８０１よりも高画質であるＲＡＷ画像１３００のもう一つのＲＯＩ１３１１に第３の認識モデル１３１２を適用することによって更に正確なオブジェクト属性１３１４を獲得することができる。本発明の一実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）がスモールＲＡＷ画像８０１に認識を実行した結果とＲＡＷ画像１３００に認識を実行した結果とが同一であることもあるが、図８及び図１３のように、ＲＡＷ画像１３００に対する認識結果よりも更に正確なテクスチャ属性が獲得されることもある。一方、図示していないが、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、拡張されたＲＡＷ画像１３００を利用して分類情報を獲得する。本発明の実施形態によると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、既存のスモールＲＡＷ画像に対するセグメンテーション又は認識結果を利用せずに、ＲＡＷ画像１３００のみを利用して、分類情報、オブジェクト属性、テクスチャ属性、又は信頼度情報のうちの少なくとも一つを獲得することができる。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、獲得された分類情報、オブジェクト属性、テクスチャ属性、又は信頼度のうちの少なくとも一つを含む拡張された補正領域情報を生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えば図７Ｂに示すように複数のレイヤフォーマットで拡張された補正領域情報を生成することができるが、拡張された補正領域情報のフォーマットに制限はない。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、上述した多様な方式で獲得された拡張された補正領域情報を用いてＲＡＷ画像１３００を補正し、補正されたイメージを生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、例えば補正されたイメージを圧縮して電子装置１０１に、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて送信する。或いは、外部電子装置４００は、獲得された拡張された補正領域情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、拡張された補正領域情報を利用して格納されたＲＡＷ画像を補正し、補正されたイメージを生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、拡張された補正領域情報に対応するピクセル調整情報を生成し、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通して電子装置１０１に送信し、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ピクセル調整情報をＲＡＷ画像に格納して補正されたイメージを生成する。ＲＡＷ画像に基づいて生成された拡張された補正領域情報は、スモールＲＡＷ画像に基づいて生成された補正領域情報よりもサイズが大きい。

図１４は、本発明の一実施形態による電子装置のＩＳＰ及び外部電子装置のＩＳＰを示すブロック構成図である。

本発明の一実施形態による補正領域情報１４１０は、オブジェクトセグメンテーション情報１４１１、テクスチャセグメンテーション情報１４１２、又は分類情報（又はシーン分類情報）１４１３のうちの少なくとも一つを含む。補正領域情報１４１０は、外部電子装置のＩＳＰ１４２０又は電子装置のＩＳＰ１４３０で利用される。外部電子装置は、例えばクラウドサーバで実現され、これによって外部電子装置のＩＳＰ１４２０は、クラウドＩＳＰと呼ばれる。外部電子装置のＩＳＰ１４２０は、オリジナルカラーマッピング１４２１、詳細再生（ｄｅｔａｉｌｒｅｇｅｎｅｒａｔｉｏｎ）１４２２、テキスト再構成１４２３、イメージ修復（ｉｎｐａｉｎｔｉｎｇ）１４２４、シーンベースのホワイトバランス（ＷＢ）／カラー調整１４２５、セグメンテーションベースのノイズ縮小（ＮＲ）／シャープン（ｓｈａｒｐｅｎ）１４２６、又はセグメンテーションベースの詳細拡張（ｅｎｈａｎｃｅｍｅｎｔ）１４２７のうちの少なくとも一つの補正を実行する。電子装置のＩＳＰ１４３０は、シーンベースのＷＢ／カラー調整１４３１、セグメンテーションベースのＮＲ／シャープン１４３２、又はセグメンテーションベースの詳細拡張１４３３のうちの少なくとも一つの補正を実行する。電子装置のＩＳＰ１４３０は、例えば人のヘアに該当する領域に対してシャープン及び詳細拡張を強く適用し、人の顔に対応する領域の場合にはノイズ縮小を強く適用する。外部電子装置のＩＳＰ１４２０は、電子装置のＩＳＰ１４３０に比べて高いリソース又は高い演算能力を有し、これによってオリジナルカラーマッピング１４２１、詳細再生１４２２、テクスチャ構成１４２３、イメージ修復１４２４のような補正を追加して更に実行することができる。外部電子装置のＩＳＰ１４２０は、例えば分類情報１４１３に対応する特徴ベクトルを生成し、オブジェクトのオリジナルカラーをマッピングするか、或いはオブジェクトの詳細を再生する。外部電子装置のＩＳＰ１４２０はテキスト認識を通じてテクスチャ構成を実行し、認識されたオブジェクトに対して削除された部分を満たすイメージ修復を実行する。従って、外部電子装置により補正されたＲＡＷ画像が電子装置により補正されたＲＡＷ画像よりも高画質になる。

図１５は、本発明の一実施形態によるイメージ分類を使用してＡＷＢ（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）の正確度の改善を説明するための概念図である。

ＡＷＢは、多様な光源で色恒常性（ｃｏｌｏｒｃｏｎｓｔａｎｃｙ）を維持するために、白色や灰色系列が含まれるポイントを推測し、当該ポイントが白色で表示されるように白色バランスを調整する過程である。電子装置によるイメージ撮影は、白熱灯のような色温度が低い照明環境、蛍光灯又はＬＥＤライトのような室内照明、又は晴れた日の陰のような室外環境のような多様な照明環境で実行される。イメージ撮影時の照度（明るさ）に従って室外、室内、及び夜間が簡略に区分されるにも拘らず、類似する明るさの環境、そして色温度が異なる照明が使われる環境ではＡＷＢの誤りの可能性が高くなる。これは、２つの異なるオブジェクトが異なるタイプの照明で撮影される場合、センサで出力されるＲＧＢの比が類似に現れるためである。室内照明での明るい木のオブジェクトは、白熱灯の下での白色物体と混同され得る。同様の例として、日陰の森や草が画面に広く分布する場合、蛍光灯の下で撮影した白色物体と混同される可能性がある。イメージ分類において、現在撮影中である状況が認識される場合、ＡＷＢで判別しなければならない色温度の範囲が減少し、ＡＷＢの誤りも減少するようになる。従来では、特定の照度で２８００Ｋ〜７０００Ｋの間の広い区間１５０１でホワイトの候補を選定しなければならず、ＡＷＢの誤り可能性があった。本発明の一実施形態によると、撮影したイメージが室内のオフィス環境に分類される場合、一般的なオフィスの照明環境（３５００Ｋ〜５５００Ｋの照明）が適用される従来の範囲よりも狭い区間１５０２でホワイト候補領域が選定され、ＡＷＢの正確度が向上する。

図１６Ａ及び図１６Ｂは、本発明の一実施形態によるイメージ画質改善を説明するためのイメージを示す。

図１６Ａは、イメージセンサにより獲得されたＲＡＷ画像である。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ＲＡＷ画像からスモールＲＡＷ画像を生成し、これを外部電子装置４００に、例えば通信インターフェース１７０又は通信モジュール２２０を通じて送信する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、スモールＲＡＷ画像から、例えば“室外環境”のイメージ分類情報と、第１の領域の認識結果が“空”であり、第２の領域の認識結果が“顔”であり、第２の領域のうちの第３の領域の認識結果が“歯”であり、第４の領域の認識結果が“服”というテクスチャ認識情報と、第４の領域のテクスチャ認識結果が“綿”というイメージ領域情報とを含む補正領域情報を生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、補正領域情報を電子装置１０１に、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通して送信し、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、補正領域情報を用いてＲＡＷ画像を補正する。図１６Ｂは、本発明の一実施形態による補正されたイメージを示す。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、例えば“室外環境”のイメージ分類情報に基づいてＲＡＷ画像の全体に対してホワイトバランス処理を実行する。電子装置１０１は、例えば第１の領域１６１１の認識結果である“空”に対応する補正（例えば、色相対比の調整）を通じて青色を濃くする。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、例えば第２の領域１６１２の認識結果である“顔”に対応する補正（例えば、欠点（ｂｌｅｍｉｓｈ）又はノイズの除去、明るさの増加）を実行する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、例えば第３の領域１６１３の認識結果である“歯”に対応する補正（例えば、カラーを白く処理）を実行する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、例えば第４の領域１６１４のテクスチャ認識結果である“綿”に対応する補正（例えば、鮮明度改善）を実行する。本発明の一実施形態よると、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、補正領域情報によるピクセル調整情報を生成し、ピクセル調整情報を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを通じて電子装置１０１に送信する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１の領域１６１１のピクセルに対するカラーコントラスト調整に対応する調整情報（例えば、青色の増加）、第２の領域１６１２のピクセルに対する欠点若しくはノイズ除去及び明るさの増加に対応する調整情報（例えば、ノイズ対応ピクセルのカラー値の調整及び明るさの増加）、第３の領域１６１３のピクセルに対するカラー処理に対応する調整情報（例えば、ホワイトニング）、第４の領域１６１４のピクセルに対する鮮明度改善に対応する調整情報（例えば、境界に対応するピクセルの一部を背景色に調整し、残りの部分をオブジェクトカラーに調整）するピクセル調整情報を生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、外部電子装置４００から受信したピクセル調整情報によってＲＡＷ画像のピクセルを調整し、それによって補正されたイメージを生成する。

図１７は、本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。

本発明の一実施形態によると、電子装置１７００（例えば、電子装置１０１）は、イメージセンサ１７０１、プロセッサ１７１０、メモリ１７２０、及びディスプレイ１７３０を含む。イメージセンサ１７０１はＲＡＷ画像１７０２を生成し、ＲＡＷ画像１７０２はメモリ１７２０に格納される。軽量イメージ生成及び向上したイメージ生成モジュール１７１１は、ＲＡＷ画像１７０２からスモールＲＡＷ画像１７０３を生成し、軽量イメージ圧縮モジュール１７１５は、スモールＲＡＷ画像１７０３を圧縮してメモリ１７２０に格納する。軽量イメージ生成及び向上したイメージ生成モジュール１７１１は、スモールＲＡＷ画像１７０３の生成中に失われた情報を補償するためのデータを生成する。これを向上したイメージ（ＲＡＷ）１７０４と称する。スモールＲＡＷ画像１７０３に向上したイメージ１７０４を適用してＲＡＷ画像１７０２と同一であるか又は類似したイメージを生成する。スモールＲＡＷ画像１７０３及び向上したイメージ１７０４の各々は、通信モジュールを通じて外部電子装置１７５０（例えば、外部電子装置４００）のスモールＲＡＷ画像格納部１７５１及び向上したイメージ（ＲＡＷ）格納部１７５７の各々に格納される。解凍モジュール１７５２は、スモールＲＡＷ画像を解凍して前処理モジュール１７５３に伝送する。前処理モジュール１７５３は、基本的な前処理を実行し、これを認識モジュール１７５４に伝送する。認識モジュール１７５４は、スモールＲＡＷ画像を認識して補正領域情報を生成し、これをＩＳＰ１７５５に伝送する。解凍モジュール１７５８は、向上したイメージを解凍して合成モジュール１７５６に伝送する。合成モジュール１７５６は、スモールＲＡＷ画像から向上したイメージを用いてＲＡＷ画像と同一のイメージ又はＲＡＷ画像と類似したイメージを合成し、合成されたイメージをＩＳＰ１７５５に伝送する。ＩＳＰ１７５５は、補正領域情報を用いて合成されたイメージを補正し、それによって補正されたイメージを生成する。圧縮モジュール１７５９は、補正されたイメージを指定された圧縮方式（例えば、ＪＰＥＧ圧縮方式）に基づいて圧縮し、通信モジュールを通じて圧縮されたイメージ１７０６（ＪＰＥＧ２）を電子装置１７００に送信する。圧縮されたイメージ１７０６は、メモリ１７２０に格納される。一方、電子装置１７００のＩＳＰ１７１３は、ＲＡＷ画像１７０２を用いて、補正されたイメージ１７０７（ＹＵＶ）を生成してメモリ１７２０に格納する。補正されたイメージ１７０７は、例えばＶＲＡＭに格納され、それによってディスプレイ１７３０に表示される。補正されたイメージ１７０７は、例えばＹＵＶフォーマットを有するが、フォーマットには制限がない。圧縮モジュール１７１４は、補正されたイメージ１７０７を指定された圧縮方式（例えば、ＪＰＥＧ方式）に基づいて圧縮し、圧縮されたイメージ１７０５（ＪＰＥＧ１）をメモリ１７２０に格納する。電子装置１７００は、圧縮されたイメージ１７０５及び圧縮されたイメージ１７０６を全て格納するか、或いは圧縮されたイメージ１７０５を圧縮されたイメージ１７０６に交換して格納する。

図１８Ａ〜図１８Ｃは、本発明の一実施形態によるスモールＲＡＷ画像及び向上したイメージ生成を説明するための概念図である。

図１８Ａを参照すると、電子装置１０１（例えば、電子装置１７００）（例えば、プロセッサ１２０又は２１０）は、ＲＡＷ画像の解像度を減少させるダウンサンプリング又はダウンスケーリングを用いてスモールＲＡＷ画像を生成する。電子装置１０１は、スモールＲＡＷ画像をＲＡＷ画像の解像度サイズにアップスケーリングし、アップスケーリングされたイメージと元のＲＡＷ画像との差に基づいて向上したイメージを生成する。図１８Ａに示すように、ＲＡＷ画像の伝送時間は、スモールＲＡＷ画像の伝送時間よりも大きい。図１８Ｂを参照すると、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、元のＲＡＷ画像をＤＣＴ又はウェーブェットなどを用いた変換後の低周波成分に基づいてスモールＲＡＷ画像を生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、高周波成分に基づいて向上したイメージを生成する。スモールＲＡＷ画像の伝送時間は、例えば向上したイメージの伝送時間よりも長いが、これは単に例示的なものである。図１８Ｃを参照すると、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、元のＲＡＷ画像の全体ビット深度（ｂｉｔｄｅｐｔｈ）のうちの上位ビット又はＭＳＢ（ＭｏｓｔＳｉｇｎｉｆｉｃａｎｔＢｉｔ）に対応するビットプレーンを用いてスモールＲＡＷ画像を生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、元のＲＡＷ画像の全体ビット深度のうちの下位ビット又はＬＳＢ（ＬｅａｓｔＳｉｇｎｉｆｉｃａｎｔＢｉｔ）に対応するビットプレーンを用いて向上イメージを生成する。スモールＲＡＷ画像の伝送時間は、例えば向上したイメージの伝送時間よりも短いが、これは単に例示的なものである。

図１９は、本発明の一実施形態による電子装置及び外部電子装置を示すブロック構成図である。

本発明の一実施形態による電子装置１９００（例えば、電子装置１０１）は、イメージセンサ１９０１、プロセッサ１９１０、メモリ１９２０、及びディスプレイ１９３０を含む。イメージセンサ１９０１は、外部オブジェクトを撮影してＲＡＷ画像１９０２を生成し、メモリ１９２０に格納する。軽量イメージ生成及び圧縮モジュール１９１１は、ＲＡＷ画像１９０２からスモールＲＡＷ画像１９０３を生成する。スモールＲＡＷ画像１９０３は、通信モジュールを通じて外部電子装置１９５０（例えば、外部電子装置４００）に送信される。解凍及び前処理モジュール１９５１は、スモールＲＡＷ画像を解凍し、前処理してこれを認識モジュール１９５２に送信する。認識モジュール１９５２は、補正領域情報を生成する。圧縮モジュール１９１２は、ＲＡＷ画像１９０２を圧縮し、圧縮されたＲＡＷ画像１９０４を生成してメモリ１９２０に格納する。圧縮されたＲＡＷ画像１９０４は、通信モジュールを通じて外部電子装置１９５０に送信される。外部電子装置１９５０のＲＡＷ画像格納部１９５４に、圧縮されたＲＡＷ画像１９０４が格納される。圧縮されたＲＡＷ画像のデータベース１９５５は、解凍及びＩＳＰ１９５３に伝送される。解凍及びＩＳＰモジュール１９５３は、圧縮されたＲＡＷ画像を解凍し、認識モジュール１９５２から受信された補正領域情報を利用して補正されたイメージを生成する。エンコーダ１９５７は、補正されたイメージを符号化し、符号化されたイメージ１９０５（ＹＵＶ）は、通信モジュールを通じて電子装置１９００に送信される。符号化されたイメージ１９０５は、メモリ１９２０、例えばＶＲＡＭに格納され、デコーダ１９１３は、ＶＲＡＭから符号化されたイメージ１９０５を復号化してディスプレイ１９３０に表示する。解凍及びＩＳＰモジュール１９５３から補正されたイメージは、圧縮モジュール１９５８に伝送される。圧縮モジュール１９５８は、例えばＪＰＥＧ圧縮方式で圧縮を実行して圧縮されたイメージを生成する。圧縮されたイメージは、圧縮されたイメージ（ＪＰＥＧ）格納部１９５９に格納され、通信モジュールを通じて電子装置１９５０に送信される。圧縮されたイメージ（ＪＰＥＧ）１９０６は、メモリ１９２０に格納される。上述したように、電子装置１９００がＩＳＰを含まなくてもイメージを補正して圧縮されたイメージを獲得することができる。

図２０は、本発明の一実施形態による複数のイメージセンサを含む電子装置を示すブロック構成図である。

本発明の一実施形態による電子装置２０００（例えば、電子装置１０１）は、複数のイメージセンサ（２００１、２００２）、プロセッサ２０１０、メモリ２０２０、及びディスプレイ２０３０を含む。複数のイメージセンサ（２００１、２００２）は、ＲＡＷ画像２００３を生成する。軽量イメージ生成及び圧縮モジュール２０１１は、ＲＡＷ画像２００３を用いてスモールＲＡＷ画像２００４を生成する。本発明の一実施形態による軽量イメージ生成及び圧縮モジュール２０１１は、複数のイメージセンサ（２００１、２００２）によって生成されたＲＡＷ画像２００３の全てに対応するスモールＲＡＷ画像２００４を生成してこれを圧縮するか、或いは生成されたＲＡＷ画像２００３のうちの一部のＲＡＷ画像からスモールＲＡＷ画像２００４を生成する。スモールＲＡＷ画像２００４は、通信モジュールを通じて外部電子装置２０５０（例えば、外部電子装置４００）に送信される。圧縮モジュール（２０１２、２０１４）は、ＲＡＷ画像２００３を圧縮し、圧縮されたＲＡＷ画像２００５を生成してメモリ２０２０に格納する。圧縮されたＲＡＷ画像２００５は、通信モジュールを通じて外部電子装置２０５０に送信されてＲＡＷ画像格納部２０５６に格納される。解凍モジュール２０５１は、スモールＲＡＷ画像２００４を解凍し、解凍されたイメージを認識モジュール２０５２に伝送する。認識モジュール２０５２は、スモールＲＡＷ画像から補正領域情報を生成し、通信モジュールを通じてこれをＩＳＰ（２０１３、２０１６）に伝送する。ＩＳＰ（２０１３、２０１６）は、補正領域情報を用いてＲＡＷ画像２００３を補正することによって、補正されたイメージ２００６（ＹＵＶ）を生成する。補正されたイメージ２００６は、例えばＶＲＡＭに格納され、ディスプレイ２０３０に表示される。補正されたイメージ２００６は、圧縮モジュール（２０１４、２０１７）に伝送され、指定された圧縮方式（例えば、ＪＰＥＧ方式）によって圧縮される。圧縮されたイメージ２００７（ＪＰＥＧ１）は、メモリ２０２０に格納される。解凍及びＩＳＰモジュール２０５４は圧縮されたＲＡＷ画像のデータベース２０５３を受信及び解凍する。解凍及びＩＳＰモジュール２０５４は、補正を実行し、補正されたイメージを圧縮モジュール２０５５に伝送する。圧縮モジュール２０５５は、圧縮されたイメージ２００８（ＪＰＥＧ２）を生成して圧縮されたイメージ（ＪＰＥＧ）格納部２０５７に格納する。圧縮されたイメージ２００８は、通信モジュールを通じて電子装置２０００に送信され、例えばメモリ２０２０に格納される。電子装置２０００は、圧縮されたイメージ２００７及び圧縮されたイメージ２００８を共に格納するか、或いは圧縮されたイメージ２００７を圧縮されたイメージ２００８に交換して格納する。本発明の一実施形態によると、電子装置２０００は、一つのイメージセンサ（例えば、２ＰＤ（ｄｕａｌ−ｐｈｏｔｏｄｉｏｄｅ）イメージセンサ）を含む。一つのイメージセンサは、複数の時点に対応する複数のＲＡＷ画像を生成する。この場合にも図２０に示すように複数のＲＡＷ画像を処理することができる。本発明の一実施形態によると、電子装置２０００は、複数のＲＡＷ画像を用いて深度（ｄｅｐｔｈ）マップを生成し、深度マップ又は深度マップをダウンサンプリングしたマップを外部電子装置２０５０に送信する。外部電子装置２０５０は、深度マップ又はダウンサンプリングしたマップを追加に利用して補正領域情報を生成する。

図２１は、本発明の一実施形態による電子装置及び外部電子装置の動作方法を説明するフローチャートである。図２１の実施形態は、図２２を参照して更に詳細に説明する。図２２は、本発明の一実施形態による他の動画像フレームの概念図を示す。

本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ２１０１で動画像撮影を開始する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、動画像撮影により複数のフレームをイメージセンサ、例えばカメラモジュール２９１を用いて獲得する。例えば、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、図２２に示すように複数のフレーム（２２０１〜２２０７）を獲得する。ステップ２１０３において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のフレーム２２０１に対応する第１の軽量イメージを生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のフレーム２２０１をダウンサンプリング又はダウンスケーリングして第１の軽量イメージ２２１１を生成する。ステップ２１０５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１の軽量イメージ２２１１を、例えば通信インターフェース１７０又は通信モジュール２２０を通じて、外部電子装置４００に送信する。

本発明の一実施形態による外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ステップ２１０７において、第１の補正領域情報２２１２を生成する。外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１の軽量イメージを認識し、少なくとも第１の軽量イメージの認識結果に基づいて第１の補正領域情報２２１２を生成する。ステップ２１０９において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第１の補正領域情報２２１２を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを介して電子装置１０１に送信する。

本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ２１１１において、第１の補正領域情報２２１２の少なくとも一部に基づいて第１のフレーム２２０１を含む動画像の第１の区間の複数のフレーム（２２０１、２２０２、２２０３、２２０４）を用いて第１の補正された複数のフレームを生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第１のフレーム２２０１だけでなく、第１のフレーム２２０１との類似度が指定された値以下であるフレーム（例えば、フレーム（２２０２、２２０３、２２０４））に対して第１の補正領域情報２２１２を用いて補正を実行する。

本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ２１１３において、フレーム間の差が予め指定された値を超えることを検出することにより、第１の区間の終了を検出する。例えば、第２のフレーム２２０５は、第１の区間のフレーム（２２０１、２２０２、２２０３、２２０４）との差が指定された値を超える。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、多様なイメージ比較方式によって、第２のフレーム２２０５と第１の区間のフレーム（２２０１、２２０２、２２０３、２２０４）との差が指定された値を超えることを検出する。ステップ２１１５において、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第２の区間の第２のフレーム２２０５に対応する第２の軽量イメージ２２２１を生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、第２のフレーム２２０５をダウンサンプリング又はダウンスケーリングして第２の軽量イメージ２２２１を生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ２１１７において第２の軽量イメージ２２２１を、例えば通信インターフェース１７０又は通信モジュール２２０を介して外部電子装置４００に送信する。

本発明の一実施形態による外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、ステップ２１１９において第２の補正領域情報２２２２を生成する。ステップ２１２１において、外部電子装置４００（例えば、外部電子装置４００のプロセッサ）は、第２の補正領域情報２２２２を、例えば外部電子装置４００の通信インターフェース又は通信モジュールを介して電子装置１０１に送信する。

本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ２１２３において、第２の補正領域情報２２２２の少なくとも一部に基づき、第２のフレーム２２０５を含む動画像の第２の区間の複数のフレーム（例えば、フレーム（２２０５、２２０６、２２０７））を用いて第２の補正された複数のフレームを生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ステップ２１２５において、第１の補正された複数のフレーム及び第２の補正された複数のフレームを用いて、圧縮された動画像ファイルを生成する。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、動画像の全てのフレームに対するスモールＲＡＷ画像を生成し、外部電子装置４００にアップロードしないか、或いは一部のフレームに対するスモールＲＡＷ画像を生成してアップロードする。電子装置１０１（例えば、プロセッサ１２０又は２１０）は、受信された補正領域情報を一つのＲＡＷ画像だけでなく他のＲＡＷ画像にも適用することができる。本発明の一実施形態によると、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、複数のフレームのうちの一部をスキップし、予め指定された割合で周期的にフレームに対するスモールＲＡＷ画像を外部電子装置４００に送信する。

本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、補正領域情報に基づいて区間別フレームを補正し、これをＶＲＡＭに格納する。それによって、電子装置１０１（例えば、プロセッサ１２０又は２１０）は、プレビュー過程でも画質が改善された動画像フレームを表示することができる。本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、動画像撮影中にライブビュー（ｌｉｖｅｖｉｅｗ）（又は、プレビュー）に表示される画面のうちの少なくとも一部を周期的又は持続的に送信し、受信された補正領域情報を利用してライブビューが含まれるフレームの少なくとも一部を補正することによって、補正されたイメージが含まれるライブビューを提供する。本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、ライブビューのうちの少なくとも一部を周期的又は持続的に外部電子装置に送信し、外部電子装置から受信した補正されたイメージを、ライブビューの少なくとも一部として表示する。本発明の一実施形態による電子装置１０１（例えば、プロセッサ１２０又は２１０）は、動画像撮影でない場合にも、外部電子装置から受信した補正領域情報を用いて補正されたイメージを表示するか、或いは外部電子装置から受信した補正されたイメージを表示する。

本発明の一実施形態による電子装置の動作方法は、外部オブジェクトに対応する第１のイメージを獲得するステップと、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成するステップと、外部電子装置が第２のイメージから識別されたイメージ領域に関連する情報に基づいて補正領域情報を生成するように、第２のイメージを外部電子装置に伝送するステップと、外部電子装置から生成された補正領域情報を受信するステップと、補正領域情報の少なくとも一部に基づき第１のイメージを用いて補正するステップと、を有する。

本発明の一実施形態によると、第２のイメージを生成するステップは、第１のイメージの解像度の調整、第１のイメージの複数の周波数帯域のうちの少なくとも一部の選択、又は第１のイメージの複数のビットプレーンレベルのうちの少なくとも一つの選択のうちの少なくとも一つを実行して第２のイメージを生成する。

本発明の一実施形態による電子装置の動作方法は、外部電子装置に補正領域情報及び第１のイメージを用いて他の補正領域情報を生成するように第１のイメージを外部電子装置に送信するステップを更に具備する。

本発明の一実施形態によると、電子装置の動作方法は、外部電子装置が他の補正領域情報を利用して第１のイメージを補正して、生成された第４のイメージを受信するか、或いは他の補正領域情報を受信するステップを更に有する。

本発明の一実施形態による少なくとも一つのイメージ領域に関連する情報は、第２のイメージ内に含まれる第１のオブジェクトの位置、第１のオブジェクトのオブジェクト認識結果、第１のオブジェクトのオブジェクト認識結果の信頼度、第２のイメージ内に含まれる第２のオブジェクトの位置、第２のオブジェクトのテクスチャ認識結果、又は第２のオブジェクトのテクスチャ認識結果の正確度のうちの少なくとも一つを含む。

本発明の一実施形態による外部電子装置から生成された補正領域情報を受信するステップは、外部電子装置からイメージ分類情報を更に含む補正領域情報を受信し、補正領域情報の少なくとも一部に基づき第１のイメージを用いて補正するステップは、イメージ分類情報又はイメージ領域に関する情報のうちの少なくとも一つを用いて第１のイメージを補正する。

本発明の一実施形態によると、電子装置の動作方法は、ディスプレイを通して補正されたイメージを表示するステップを更に有する。

本発明の一実施形態によると、電子装置の動作方法は、第１のイメージに関連するメタデータを外部電子装置に送信するステップと、外部電子装置により第２のイメージ及びメタデータを用いて生成された補正領域情報を受信するステップと、を更に有する。

本発明の一実施形態によると、補正領域情報の少なくとも一部に基づき第１のイメージを用いて補正するステップは、補正領域情報に含まれるオブジェクトの位置に対応する第１のイメージのピクセルに対するオブジェクトの認識結果に対応する第１の効果の適用、又は第１のイメージに対する分類情報に対応する第２の効果の適用のうちの少なくとも一つを実行するステップを含む。

本発明の一実施形態によると、補正領域情報の少なくとも一部に基づき第１のイメージを用いて補正するステップは、第１のイメージのフォーマット及び他のフォーマットを用いて補正された第１のイメージを生成する。

本発明の一実施形態による電子装置の動作方法は、第１のイメージを用いて第２のイメージ及び第２のイメージと共に第１のイメージを構成する第５のイメージを生成するステップと、外部電子装置が第２のイメージ及び第５のイメージと共に第１のイメージを構成して補正領域情報及び第１のイメージを用いて他の補正領域情報を生成するように、第５のイメージを外部電子装置に送信するステップと、を更に有する。

本発明の一実施形態による第５のイメージを生成するステップは、第１のイメージの複数の周波数帯域のうちの一部を選択して第２のイメージを生成し、複数の周波数帯域のうちの一部を選択して第５のイメージを生成するか、或いは第１のイメージの複数のビットプレーンのうちの一部を選択して第２のイメージを生成し、複数のビットプレーンのうちの他の一部を選択して第５のイメージを生成するか、又は第１のイメージをダウンスケーリングして第２のイメージを生成し、第２のイメージを第１のイメージの解像度にアップスケーリングし、アップスケーリングされたイメージ及び第１のイメージの差を獲得して第５のイメージを生成する。

本発明の一実施形態による電子装置の動作方法は、他の電子装置から第１のイメージを獲得するステップと、第１の画像認識に基づいて第１のイメージから少なくとも一つのイメージ領域を識別するステップと、少なくとも一つのイメージ領域に関連する情報に少なくとも基づいて第１のイメージに対応する補正領域情報を生成するステップと、補正領域情報を外部電子装置に送信するステップと、を有する。

本発明の一実施形態による電子装置の動作方法は、第２の画像認識に基づいて第１のイメージに対応する分類情報を生成するステップを更に有し、少なくとも一つのイメージ領域に関連する情報に少なく基づいて第１のイメージに対応する補正領域情報を生成するステップは、少なくとも一つのイメージ領域に関連する情報又は分類情報に少なくとも基づいて第１のイメージに対応する補正領域情報を生成する。

本発明の一実施形態によると、電子装置の動作方法は、外部電子装置から第１のイメージを受信するステップを更に有する。

本発明の一実施形態による補正領域情報を生成するステップは、少なくとも一つのイメージ領域からオブジェクトに対応する少なくとも一つの領域を確認するステップと、オブジェクトに関連する情報を用いて補正領域情報を生成するステップと、を有する。

本発明の一実施形態による補正領域情報を生成するステップは、少なくとも一つのイメージ領域からテクスチャに対応する少なくとも一つの領域を確認するステップと、テクスチャに関する情報を用いて補正領域情報を生成するステップと、を有する。

本発明の一実施形態による補正領域情報を生成するステップは、少なくとも一つのイメージ領域の分割又は分類に対応する少なくとも一つの信頼度を判定するステップと、少なくとも一つの信頼度を用いて補正領域情報を生成するステップと、を有する。

本発明の一実施形態によると、電子装置の動作方法は、外部電子装置から第１のイメージとサイズが異なる第２のイメージを受信するステップと、補正領域情報及び第２のイメージを用いて他の補正領域情報を生成するステップと、を更に有する。

本発明の一実施形態による電子装置の動作方法は、他の補正領域情報の少なくとも一部に基づき第２のイメージを用いて補正されたイメージを生成するステップを更に有する。

本発明の一実施形態による第２のイメージを用いて補正するステップは、他の補正領域情報の少なくとも一部に基づき、補正するための第２のイメージの第１の領域及び第２の領域を識別するステップと、第１の領域に対応して指定された第１の補正情報を用いて第１の領域の補正を実行するステップと、第２の領域に対応して指定された第２の補正情報を用いて第２の領域の補正を実行するステップと、を有する。

本発明の一実施形態による電子装置の動作方法は、外部オブジェクトに対応する第１のイメージを獲得するステップと、第１のイメージを用いて第１のイメージのデータよりも小さいサイズを有する第２のイメージを生成するステップと、外部電子装置が第２のイメージ内の少なくとも一部のピクセルの各々を調整するためのピクセル調整情報を生成するように、第２のイメージを外部電子装置に送信するステップと、外部電子装置から生成されたピクセル調整情報を受信するステップと、第１のイメージ内の少なくとも一部のピクセルの各々を受信されたピクセル調整情報を用いて調整することによって補正するステップと、を有する。

本発明の一実施形態による電子装置の動作方法は、外部オブジェクトに対応する第１のイメージを獲得するステップと、第１のイメージを用いて第１のイメージのデータよりも小さいサイズを有する第２のイメージを生成するステップと、第１のイメージ及び第２のイメージを外部電子装置に送信するステップと、外部電子装置から第２のイメージによって獲得された補正領域情報によって第１のイメージが補正された後に符号化された符号化イメージを受信するステップと、受信された符号化イメージを復号化してディスプレイに表示するステップと、送信に応答して外部電子装置から第１のイメージが補正された後に圧縮された圧縮イメージを受信するステップと、受信された圧縮イメージを格納するステップと、を有する。

本発明の一実施形態による電子装置の動作方法は、カメラを用いて動画像構成のための複数のイメージを獲得するステップと、複数のイメージのうちの第１の区間に含まれる第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第１の軽量イメージを生成するステップと、第１の軽量イメージを外部電子装置に送信するステップと、第１の軽量イメージに基づいて生成された第１の補正領域情報を受信するステップと、第１の補正領域情報に基づいて第１の区間に含まれるイメージを補正するステップと、複数のイメージのうちの第２の区間に含まれる第２のイメージを用いて第１のイメージのデータよりも小さいサイズを有する第２の軽量イメージを生成するステップと、第２の軽量イメージを外部電子装置に送信するステップと、第２の軽量イメージに基づいて生成された第２の補正領域情報を受信するステップと、第２の補正領域情報に基づいて第２の区間に含まれるイメージを補正するステップと、を有する。

本発明の一実施形態による第２の軽量イメージを送信するステップは、第１の区間のイメージとの差が指定されたしきい値を超えるイメージが検出された場合、第１の区間の終了を判定するステップと、差が指定されたしきい値を超えるイメージを第２の区間に分類し、第２の軽量イメージを送信するステップと、を有する。

上述した電子装置の構成要素の各々は、一つ以上の構成要素で構成され、当該構成要素の名称は電子装置のタイプに従って変わり得る。本発明の多様な実施形態による電子装置は、上記構成要素のうちの少なくとも一つを含んで構成され、一部構成要素は省略されるか、或いは追加的な他の構成要素を更に含み得る。電子装置の構成要素のうちの一部は、一つのエンティティに結合され、結合前の当該構成要素と同一の機能を実行する。

本発明で使用される用語“モジュール”は、ハードウェア、ソフトウェア、及びファームウェア、又はこれらの組合せのうちのいずれか一つを含むユニットを意味する。“モジュール”は、例えばユニット、ロジック、論理ブロック、部品、回路などの用語と互換して使用される。モジュールは、一つ以上の機能を実行する最小単位又はその一部であり得る。例えば、モジュールは、公知の又は将来に開発される一部動作を実行するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）チップ、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙｓ）、又はＰＬＡ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＡｒｒａｙｓ）のうちの少なくとも一つを含む。

本発明の一実施形態によると、装置（例えば、モジュール又はその機能）又は方法（例えば、動作）の少なくとも一部は、例えばプログラムモジュールの形態でコンピュータ読み取り可能な記録媒体に格納された命令（ｉｎｓｔｒｕｃｔｉｏｎ）として実現される。命令は、プロセッサ（例えば、プロセッサ１２０）により実行される場合、一つ以上のプロセッサが命令語に対応する機能を実行する。コンピュータ読み取り可能な記録媒体は、例えばメモリ１３０である。

コンピュータ読み取り可能な記録媒体は、ハードディスク、フロッピー（登録商標）ディスク、磁気メディア（例えば、磁気テープ）、光媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）（例えば、フロプティカルディスク）、ＲＯＭ、ＲＡＭ、フラッシュメモリのようなハードウェア装置を含む。プログラム命令語は、例として機械語だけでなくインタプリタを用いて多様な演算手段により実行される高級言語コードも含む。ハードウェア装置は、本発明の実施形態を実行するために一つ以上のソフトウェアモジュールとして動作するように構成され、その逆も同様である。

本発明の多様な実施形態によるモジュール又はプログラムモジュールは、上述した構成要素のうちの少なくとも一つ以上を含むか、その一部を省略するか、或いは追加的な他の構成要素を更に含むことができる。本発明の多様な実施形態によるモジュール、プログラムモジュール、又は他の構成要素により実行される動作は、順次に、並列に、反復的に、又はヒューリスティック（ｈｅｕｒｉｓｔｉｃ）に実行され得る。或いは、一部動作は、異なる順序で実行されるか、省略されるか、又は他の追加動作を含むこともできる。

本発明の一実施形態によると、命令語を格納する格納媒体において、命令語は、少なくとも一つのプロセッサによって実行される場合に少なくとも一つのプロセッサで少なくとも一つの動作を実行するように設定され、少なくとも一つの動作は、他の電子装置から第１のイメージを獲得するステップと、第１の画像認識に基づいて第１のイメージから少なくとも一つのイメージ領域を確認するステップと、少なくとも一つのイメージ領域に関連する情報に少なくとも基づいて第１のイメージに対応する補正領域情報を生成するステップと、補正領域情報を外部電子装置に送信するステップと、を有する。

少なくとも一つの動作は、他の電子装置から第１のイメージを獲得するステップと、第１の画像認識に基づいて第１のイメージから少なくとも一つのイメージ領域を確認するステップと、少なくとも一つのイメージ領域に関連する情報に少なくとも基づいて第１のイメージに対応する補正領域情報を生成するステップと、補正領域情報を外部電子装置に送信するステップと、を有する。

少なくとも一つの動作は、外部オブジェクトに対応する第１のイメージを獲得するステップと、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成するステップと、外部電子装置が第２のイメージ内の少なくとも一部のピクセルの各々を調整するためのピクセル調整情報を生成するように、第２のイメージを外部電子装置に送信するステップと、外部電子装置から生成されたピクセル調整情報を受信するステップと、第１のイメージ内の少なくとも一部のピクセルの各々を受信されたピクセル調整情報を用いて調整することによって補正するステップと、を有する。

少なくとも一つの動作は、外部オブジェクトに対応する第１のイメージを獲得するステップと、第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成するステップと、第１のイメージ及び第２のイメージを外部電子装置に送信するステップと、外部電子装置から第２のイメージによって獲得された補正領域情報によって第１のイメージが補正された後に符号化された符号化イメージを受信するステップと、受信された符号化イメージを復号化してディスプレイに表示するステップと、送信に応答して外部電子装置から第１のイメージが補正された後に圧縮された圧縮イメージを受信するステップと、受信された圧縮イメージを格納するステップと、を有する。

少なくとも一つの動作は、カメラを用いて動画像構成のための複数のイメージを獲得するステップと、複数のイメージのうちの第１の区間に含まれる第１のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第１の軽量イメージを生成するステップと、第１の軽量イメージを外部電子装置に送信するステップと、第１の軽量イメージに基づいて生成された第１の補正領域情報を受信するステップと、第１の補正領域情報に基づいて第１の区間に含まれるイメージを補正するステップと、複数のイメージのうちの第２の区間に含まれる第２のイメージを用いて第１のイメージのデータのサイズよりも小さいサイズを有する第２の軽量イメージを生成するステップと、第２の軽量イメージを外部電子装置に送信するステップと、第２の軽量イメージに基づいて生成された第２の補正領域情報を受信するステップと、第２の補正領域情報に基づいて第２の区間に含まれるイメージを補正するステップと、を有する。

以上、本発明の詳細な説明において、具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１００ネットワーク環境
１０１、２０１、５００、１２００、１７００、１９００、２０００電子装置
１０２、１０４第１、第２の外部電子装置
１０６サーバ
１１０バス
１２０、２１０、５１０、１２１０、１７１０、１９１０、２０１０プロセッサ
１３０、２３０、４２５、５２０、１０４０、１２２０、１７２０、１９２０、２０２０メモリ
１４０ソフトウェア及び／又はプログラム
１４１、３２０カーネル
１４３、３３０ミドルウェア
１４５、３６０アプリケーションプログラミングインターフェース（ＡＰＩ）
１４７、３７０アプリケーション（プログラム）
１５０入出力インターフェース
１６０、２６０、５３０、１２３０、１７３０、１９３０、２０３０ディスプレイ
１６２ネットワーク
１７０通信インターフェース
２２０、１０６０通信モジュール
２２１セルラーモジュール
２２３ＷｉＦｉモジュール
２２４加入者識別モジュール
２２５ブルートゥース（登録商標）モジュール
２２７ＧＮＳＳモジュール
２２８ＮＦＣモジュール
２２９ＲＦモジュール
２３２内蔵メモリ
２３４外部メモリ
２４０センサモジュール
２４０Ａジェスチャセンサ
２４０Ｂジャイロセンサ
２４０Ｃ気圧センサ
２４０Ｄ磁気センサ
２４０Ｅ加速度センサ
２４０Ｆグリップセンサ
２４０Ｇ近接センサ
２４０Ｈカラーセンサ
２４０Ｉ生体認識センサ
２４０Ｊ温度／湿度センサ
２４０Ｋ照度センサ
２４０ＭＵＶセンサ
２５０入力装置２５２タッチパネル
２５４ペンセンサ
２５６キー
２５８超音波入力装置
２６２パネル
２６４ホログラム装置
２６６プロジェクタ
２７０インターフェース
２７２ＨＤＭＩ（登録商標）
２７４ＵＳＢ
２７６光インターフェース
２７８Ｄ−ｓｕｂ
２８０オーディオモジュール
２８２スピーカ
２８４受話器
２８６イヤホン
２８８マイクロホン
２９１カメラモジュール
２９５電力管理モジュール
２９６バッテリ
２９７インジケータ
２９８モータ
３１０プログラムモジュール
３２１システムリソースマネージャ
３２３デバイスドライバ
３３５ランタイムライブラリ
３４１アプリケーションマネージャ
３４２ウィンドウマネージャ
３４３マルチメディアマネージャ
３４４リソースマネージャ
３４５パワーマネージャ
３４６データベースマネージャ
３４７パッケージマネージャ
３４８接続マネージャ
３４９通知マネージャ
３５０位置マネージャ
３５１グラフィックマネージャ
３５２セキュリティマネージャ
３７１ホーム
３７２ダイヤラ
３７３ＳＭＳ／ＭＭＳ
３７４ＩＭ（ＩｎｓｔａｎｔＭｅｓｓａｇｅ）
３７５ブラウザ
３７６カメラ
３７７アラーム
３７８コンタクト
３７９音声ダイヤル
３８０Ｅメール
３８１カレンダ
３９２メディアプレーヤ
３８３アルバム
３８４時計
４００、５５０、１２５０、１７５０、１９５０、２０５０外部電子装置
４２１、５０１、１０００、１２０１、１７０１、１９０１、２００１、２００２イメージセンサ
４２２ａ、５０２、１２０２、１７０２、１９０２、２００３ＲＡＷ画像
４２２ｂ、５０３、８０１、１２０３、１７０３、１９０３、２００４スモールＲＡＷ画像
４２３、４３３、５１２、１２１２、１４３０、１７１３、１７５５、２０１３、２０１６ＩＳＰ（イメージ信号プロセッサ）
４２４、５０５、１２０７、１７０７、２００６補正されたイメージ（ＹＵＶ）
４３１、５５２、１２５２、１７５４、１９５２、２０５２認識モジュール
４３２、１３０１、１４１０補正領域情報
４３４高解像度イメージ
４３５格納部
５０４、１９０６圧縮されたイメージ（ＪＰＥＧ）
５１１、１２１１、１９１１、２０１１軽量イメージ生成及び圧縮モジュール
５１３、、１２１３、１２１４、１２５４、１７１４、１７５９、１９１２、１９５８、２０１２、２０１４、２０１７、２０５５圧縮モジュール
５５１、１２５１、１７５２、１７５８、２０５１解凍モジュール
７１０第２のイメージ
７１１メタデータ
７２０セグメンテーションマップ
７２１〜７２４第１〜第４のオブジェクト
７３０テクスチャセグメンテーションマップ
７４０、８０３、８０４分類情報
７３１〜７３６テクスチャオブジェクト
７５０オブジェクト認識に対する信頼度を示すマップ
７６０テクスチャ認識に対する信頼度を示すマップ
８０２、８１１、８２１第１〜第３の認識モデル
８０５セグメンテーション結果
８１０、１３０３、１３１１ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）
８１２、８１３オブジェクト属性
８１４テクスチャセグメンテーション結果
８２０他のＲＯＩ
８２２、８２３テクスチャ属性
１０１０ピクセルアレイ
１０２０読み出し回路
１０３０演算回路
１０５０外部のメモリ
１２０４、１７０５、２００７圧縮されたイメージ（ＪＰＥＧ１）
１２０５、１３００、１９０４、２００５圧縮されたＲＡＷ画像
１２０６、１７０６、２００８圧縮されたイメージ（ＪＰＥＧ２）
１２５３解凍及びＩＳＰ
１２５５、１９５９、２０５７圧縮されたイメージ（ＪＰＥＧ）格納部
１２５６、１９５４、２０５６ＲＡＷ画像格納部
１２５７データベース
１３０４第２の認識モデル
１３０５、１３０６オブジェクト属性
１３０７テクスチャセグメンテーション結果
１３１２第３の認識モデル
１３１３、１３１４テクスチャ属性
１４１１オブジェクトセグメンテーション情報
１４１２テクスチャセグメンテーション情報
１４１３（シーン）分類情報
１４２０外部電子装置の（クラウド）ＩＳＰ
１４２１オリジナルカラーマッピング
１４２２詳細再生
１４２３テキスト再構成
１４２４イメージ修復
１４２５シーンベースのホワイトバランス（ＷＢ）／カラー調整
１４２６セグメンテーションベースのノイズ縮小（ＮＲ）／シャープン
１４２７セグメンテーションベースの詳細拡張
１４３１シーンベースのＷＢ／カラー調整
１４３２セグメンテーションベースのＮＲ／シャープン
１４３３セグメンテーションベースの詳細拡張
１６１１〜１６１４第１〜第４の領域
１７０４向上したイメージ（ＲＡＷ）
１７１１軽量イメージ生成及び向上したイメージ生成モジュール
１７１５軽量イメージ圧縮モジュール
１７５１スモールＲＡＷ画像格納部
１７５３前処理モジュール
１７５６合成モジュール
１７５７向上したイメージ（ＲＡＷ）格納部
１９０５符号化されたイメージ（ＹＵＶ）
１９１３デコーダ
１９５１解凍及び前処理モジュール
１９５３、２０５４解凍及びＩＳＰモジュール
１９５７エンコーダ
２０５３圧縮されたＲＡＷ画像のデータベース
２２０１〜２２０４第１の区間のフレーム
２２０５〜２２０７第２のフレーム
２２１１第１の軽量イメージ
２２１２第１の補正領域情報
２２２１第２の軽量イメージ
２２２２第２の補正領域情報

Claims

カメラと、
通信モジュールと、
前記カメラ及び前記通信モジュールに動作可能に結合されるプロセッサと、を備え、
前記プロセッサは、
前記カメラを用いて外部オブジェクトに対応する第１のイメージを獲得し、
前記第１のイメージを用いて前記第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成し、
前記通信モジュールを通じて前記第２のイメージを外部電子装置に送信し、
前記通信モジュールを通じて前記外部電子装置から補正領域情報を受信し、
前記補正領域情報の少なくとも一部に基づいて前記第１のイメージを用いて補正を実行するように設定され、
前記補正領域情報は、前記第２のイメージから識別されたイメージ領域に関連する情報に基づくことを特徴とする電子装置。
前記プロセッサは、前記第１のイメージの解像度の調整、前記第１のイメージの複数の周波数帯域のうちの少なくとも一部の選択、又は前記第１のイメージの複数のビットプレーンレベルのうちの少なくとも一つの選択のうちの少なくとも一つを実行して前記第２のイメージを生成するように設定されることを特徴とする請求項１に記載の電子装置。
前記プロセッサは、前記外部電子装置が前記第１のイメージ及び前記補正領域情報を用いて他の補正領域情報を生成するように、前記通信モジュールを通じて前記第１のイメージを前記外部電子装置に送信するように設定されることを特徴とする請求項１に記載の電子装置。
前記イメージ領域に関連する前記補正領域情報は、前記第２のイメージ内に含まれる第１のオブジェクトの位置、前記第１のオブジェクトのオブジェクト認識結果、前記第１のオブジェクトのオブジェクト認識結果の信頼度、前記第２のイメージ内に含まれる第２のオブジェクトの位置、前記第２のオブジェクトのテクスチャ認識結果、又は前記第２のオブジェクトのテクスチャ認識結果の正確度のうちの少なくとも一つを含むことを特徴とする請求項１に記載の電子装置。
前記プロセッサは、
前記通信モジュールを通じて前記外部電子装置からイメージ分類情報を含む前記補正領域情報を受信し、
前記イメージ分類情報、又は前記イメージ領域に関連する前記補正領域情報のうちの少なくとも一つを用いて前記第１のイメージを補正するように設定されることを特徴とする請求項１に記載の電子装置。
前記プロセッサは、
前記通信モジュールを通じて前記第１のイメージに関連するメタデータを前記外部電子装置に送信し、
前記通信モジュールを通じて、前記メタデータ及び前記第２のイメージを用いて前記外部電子装置により生成された前記補正領域情報を受信するように設定されることを特徴とする請求項１に記載の電子装置。
前記プロセッサは、前記補正領域情報に含まれるオブジェクトの位置に対応する前記第１のイメージのピクセルに対する前記オブジェクトの認識結果に対応する第１の効果の適用、又は前記第１のイメージに対する分類情報に対応する第２の効果の適用のうちの少なくとも一つを実行するように設定されることを特徴とする請求項１に記載の電子装置。
前記プロセッサは、
前記第１のイメージを用いて前記第２のイメージ及び前記第２のイメージと共に前記第１のイメージを構成する第５のイメージを生成し、
前記外部電子装置が前記第２のイメージ及び前記第５のイメージと共に前記第１のイメージを構成して前記補正領域情報及び前記第１のイメージを用いて他の補正領域情報を生成するように、前記通信モジュールを通じて前記第５のイメージを前記外部電子装置に送信するように設定されることを特徴とする請求項１に記載の電子装置。
電子装置を動作させる方法であって、
カメラを用いて外部オブジェクトに対応する第１のイメージを獲得するステップと、
前記第１のイメージを用いて前記第１のイメージのデータのサイズよりも小さいサイズを有する第２のイメージを生成するステップと、
前記第２のイメージを外部電子装置に送信するステップと、
通信モジュールを通じて前記外部電子装置から補正領域情報を受信するステップと、
前記補正領域情報の少なくとも一部に基づき前記第１のイメージを用いて補正するステップと、を有し、
前記補正領域情報は、前記第２のイメージから識別されたイメージ領域に関連する情報に基づくことを特徴とする方法。
前記第２のイメージを生成するステップは、前記第１のイメージの解像度の調整、前記第１のイメージの複数の周波数帯域のうちの少なくとも一部の選択、又は前記第１のイメージの複数のビットプレーンレベルのうちの少なくとも一つの選択のうちの少なくとも一つを実行して前記第２のイメージを生成するステップを有することを特徴とする請求項９に記載の方法。
前記第１のイメージを前記外部電子装置に送信するステップを更に有し、
前記第１のイメージ及び前記補正領域情報は、前記外部電子装置が前記第１のイメージ及び前記補正領域情報を用いて他の補正領域情報を生成するように、前記外部電子装置のために用いられることを特徴とする請求項９に記載の方法。
前記イメージ領域に関連する前記補正領域情報は、前記第２のイメージ内に含まれる第１のオブジェクトの位置、前記第１のオブジェクトのオブジェクト認識結果、前記第１のオブジェクトのオブジェクト認識結果の信頼度、前記第２のイメージ内に含まれる第２のオブジェクトの位置、前記第２のオブジェクトのテクスチャ認識結果、又は前記第２のオブジェクトのテクスチャ認識結果の正確度のうちの少なくとも一つを含むことを特徴とする請求項９に記載の方法。
前記外部電子装置から前記補正領域情報を受信するステップは、前記外部電子装置からイメージ分類情報を含む前記補正領域情報を受信するステップを有し、
前記補正領域情報の少なくとも一部に基づき前記第１のイメージを用いて補正するステップは、前記イメージ分類情報、又は前記イメージ領域に関連する前記補正領域情報のうちの少なくとも一つを用いて前記第１のイメージを補正するステップを有することを特徴とする請求項９に記載の方法。
前記補正領域情報の少なくとも一部に基づき前記第１のイメージを用いて補正するステップは、前記補正領域情報に含まれるオブジェクトの位置に対応する前記第１のイメージのピクセルに対する前記オブジェクトの認識結果に対応する第１の効果の適用、又は前記第１のイメージに対する分類情報に対応する第２の効果の適用のうちの少なくとも一つを実行するステップを含むことを特徴とする請求項９に記載の方法。
前記第１のイメージを用いて前記第２のイメージ及び前記第２のイメージと共に前記第１のイメージを構成する第５のイメージを生成するステップと、
前記外部電子装置が前記第２のイメージ及び前記第５のイメージと共に前記第１のイメージを構成して前記補正領域情報及び前記第１のイメージを用いて他の補正領域情報を生成するように、前記第５のイメージを前記外部電子装置に送信するステップと、を更に有することを特徴とする請求項９に記載の方法。