JP2022536327A - カメラ装置及びカメラ装置のイメージ生成方法 - Google Patents

Abstract

一実施例に係るカメラ装置は、第１解像度を有する第１ベイヤーデータを生成するイメージセンサー及び前記第１ベイヤーデータを利用して第２解像度を有する第２ベイヤーデータを出力するプロセッサを含むことができる。

Description

本発明は、カメラモジュール及びこれを含む移動端末装置、イメージ生成方法に関する発明であって、より具体的に深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）アルゴリズムを利用して低解像度のイメージを高解像度のイメージに生成する技術に関する発明である。

技術が発展するにつれカメラモジュールの小型化が可能になり、小型カメラモジュールは、スマートフォンをはじめとする携帯電話やＰＤＡなど様々なＩＴ機器に適用されて使われている。このようなカメラモジュールは、ＣＣＤやＣＭＯＳなどのイメージセンサーを主な部品で製作されていて、画像の大きさを調節するために焦点調整ができるように製造されている。

このようなカメラモジュールは、複数のレンズとアクチュエータ（Ａｃｔｕａｔｏｒ）を含んで構成されて、アクチュエータが、各レンズを移動させてその相対的な距離を変化させることによって光学的な焦点距離が調節される方式で対象体に対する物体を撮影することができる。

具体的にカメラモジュールは、外部から受信した光信号を電気信号に変換するイメージセンサーとイメージセンサーで光を集光させるレンズとＩＲ（Ｉｎｆｒａｒｅｄ）フィルター、これらを内部に含むハウジング、及びイメージセンサーの信号を処理する印刷回路基板をなどを含んでおり、アクチュエータは、ＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）アクチュエータまたはＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）アクチュエータなどのアクチュエータによってレンズの焦点距離が調節される。

一方、技術が発展によって解像度が高いイメージの実現が可能になるにつれ、遠くにある対象体を撮影したイメージを高解像度で実現することができる技術に対する要求も増えている。

一般にカメラは遠くにある対象体を撮影するためにズーム（Ｚｏｏｍ）機能が搭載されているが、ズーム機能は大きくカメラ内部の実際のレンズが移動して対象体を拡大する光学ズームと、対象体を撮影した画像データの一部画面をデジタル処理方式で拡大表示する効果を得るデジタルズーム方式で分けられる。

レンズの移動を利用して対象体に対するイメージを得る光学ズームの場合、比較的高い解像度を有するイメージを取得できるが、これはカメラ内部の構造が複雑になり部品追加によって費用が増加する問題が存在する。また、光学ズームを利用して対象体を拡大できる領域は限界があって、このような部分についてはソフトウェアで補正をする技術などが開発されている。

このような方法の他にも、ボイスコイルモーター（ＶＣＭ，Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）またはＭＥＭＳ（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）技術でセンサーを揺らすセンサーシフト（Ｓｈｉｆｔ）技術、レンズをＶＣＭなどで揺らしてピクセル情報を得るＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）技術、センサーとレンズとの間のフィルター（Ｆｉｌｔｅｒ）を揺らす技術などカメラ内部の部品を動かす方式でピクセル情報をより多く生成して高解像度イメージを実現する技術が存在する。

しかし、このような技術の短所は、多くの時差のデータを合成するため、動く物体を撮影した場合、モーションブラー（Ｍｏｔｉｏｎ Ｂｌｕｒ）や、アーチファクト（Ａｒｔｉｆａｃｔ）のような現象が発生する可能性があり、これによってイメージの画質を低下させる問題が発生する可能性がある。

また、これを実現するための複雑な装置が、カメラ内部に挿入されるにつれカメラモジュールの大きさが大きくなり、部品を揺らす方法で実現をするので、カメラが設置された車両では使うのが難しく、固定的な環境でだけ使用が可能な問題が存在する。

一方、ＴＶで一般に使われているソフトウェアアルゴリズムを利用した高解像度の実現技術は、シングルフレームＳＲ（Ｓｉｎｇｌｅ－Ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）またはマルチフレームＳＲ（Ｍｕｌｔｉ－ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）技術などが存在する。

このような技術の場合、アーチファクト（Ａｒｔｉｆａｃｔ）問題は発生することはないが、モバイル、車両、ＩｏＴなど小型カメラモジュールが適用されることができる装置には適用し難いアルゴリズムであり、またこのような技術を実現するためには、別途のイメージプロセッサが装着されるがなければ実現し難い問題点が存在する。

そこで、本発明は、前述した通り従来技術が有する問題点を解決するために考案された発明であって、モーションブラー（Ｍｏｔｉｏｎ Ｂｌｕｒ）や、アーチファクト（Ａｒｔｉｆａｃｔ）のような問題点が発生しないと共に、高解像度イメージを生成できるカメラモジュール及びこれを含んだ移動端末装置を提供する。

具体的に、ディープラーニング技術に基づいた高解像度の実現アルゴリズムが適用されたチップ（Ｃｈｉｐ）をオンザフライ（Ｏｎ Ｔｈｅ Ｆｌｙ）形態でカメラモジュールまたはカメラモジュールが装着されている移動端末装置に搭載してより効率よく高解像度イメージを生成できるカメラモジュール及びこれを含んだ移動端末装置を提供する。

一実施例に係るカメラ装置は、第１解像度を有する第１ベイヤーデータを生成するイメージセンサー及び前記第１ベイヤーデータを基にディープラーニングを行って前記第１解像度より高い第２解像度を有する第２ベイヤーデータを出力するプロセッサを含むことができる。

前記プロセッサは、前記第１ベイヤーデータを波長帯域別に配列した第１配列データを生成した後、生成された前記第１配列データを基にディープラーニングを行って前記第２配列データを生成することができる。

前記プロセッサは、前記第２配列データを基に前記第２ベイヤーデータを生成することができる。

前記プロセッサは、前記第２ベイヤーデータを基に前記第２解像度を有するイメージを生成することができる。

前記プロセッサは、前記第１ベイヤーデータを波長帯域別に配列した第１配列データを生成する第１データ整列部、前記第１配列データを基にディープラーニングを行って第２配列データを出力するディープラーニングプロセッサ及び前記第２配列データをベイヤーパターンで配列した第２ベイヤーデータを生成する第２データ整列部を含むことができる。

前記プロセッサは、前記第１ベイヤーデータをライン別に保存する少なくとも１つの第１ラインバッファー（Ｌｉｎｅ Ｂｕｆｆｅｒ）、前記第１ラインバッファーから出力される情報を受信して波長帯域別に配列した第１配列データを生成する第１データ整列部、前記第１配列データを基にディープラーニングを行って第２配列データを生成するディープラーニングプロセッサ、第２配列データをベイヤーパターンで配列した第２配列データを生成する第２データ整列部及び前記第２データ整列部から出力されたデータをライン別に保存する少なくとも１つの第２ラインバッファーを含むことができる。

他の実施例に係るカメラ装置のイメージ生成方法は、第１解像度を有する第１ベイヤーデータを生成する段階、前記第１ベイヤーデータを波長帯域別に分類した第１配列データを生成する段階、前記第１配列データを基にディープラーニングを行って第２配列データを生成する段階、前記第２配列データを基に前記第１解像度より高い第２解像度を有する第２ベイヤーデータを生成することができる。

前記第２ベイヤーデータを生成する段階は、前記第２配列データをベイヤーパターンで配列して生成する段階を含むことができる。

前記カメラ装置のイメージ生成方法は、前記第１ベイヤーデータは複数の行データを含み、前記第１配列データを生成する段階は、既設定されたＮ＋１個の行ラインを介して出力される前記第１ベイヤーデータを基に前記第１配列データを生成する段階を含むことができる。

前記既設定されたＮ＋１個の行ラインを介して出力される段階は、受信される前記第１ベイヤーデータの複数の行データのうちＮ個の行データを順に保存した後、前記Ｎ＋１番目の行を伝送する時、前記Ｎ個の行データを共に出力する段階を含むことができる。

高解像度を実現するためのディープラーニング基盤のアルゴリズムは、フレームバッファー（Ｆｒａｍｅ Ｂｕｆｆｅｒ）を使ったので、通常のＰＣ及びサーバーではリアルタイム駆動が難しかったが、一実施例に係るカメラモジュール及びこれを含む移動端末装置とイメージ生成方法は、いくつかのラインバッファー（Ｌｉｎｅ Ｂｕｆｆｅｒ）だけを使う方式で高解像度を実現して、ネットワーク構成は最適化させる方式で高解像度イメージを生成するので、比較的大きさが小さい小型チップ（Ｃｈｉｐ）で実現することができる長所が存在する。

また、本技術が適用されたチップは、小型の大きさで製作できるので、搭載される装置の使用目的に応じて多様な位置に多様な方式で搭載されることができて、設計の自由度が増加することができる。さらに、既存のディープラーニング方式のアルゴリズムを行うための高価なプロセッサが必要でなく、より経済的に高解像度イメージを生成することができる。

さらに、イメージセンサーモジュール、カメラモジュール、ＡＰモジュールのいずれの位置にも搭載可能な方式で本技術の実施ができるので、ズーム機能がないカメラモジュールまたは特定倍率に対する固定ズームだけ支援するカメラモジュールに本技術を適用させて連続ズーム機能を使うことができる。

さらに、特定倍率に対して光学的に連続ズームだけ支援するカメラモジュールでも本技術を適用させてより広い倍率区間で連続ズーム機能を活用できる効果が存在する。

さらに、高解像度のデータを生成するにあたり、ＲＧＢイメージでないロー（Ｒａｗ）データであるベイヤーデータの解像度を高めてデジタルズームを行うため、ＲＧＢイメージに対して解像度を高める場合より、情報量が多くて画質が高い高解像度イメージを取得することができる。さらに、高解像度のベイヤーデータを出力することによって、データの線形性を維持して後処理過程でのイメージプロセッシングに対する性能向上を得ることができる。

本発明の第１実施例に係るカメラモジュールの一部構成要素を図示したブロック図である。 本発明の第１実施例に係るイメージ生成部の一部構成要素を図示した図である。 本発明の第１実施例に係るディープラーニングトレーニングの実行過程を図示した図である。 本発明の第１実施例と違った実施例に係るディープラーニングトレーニングの実行過程を図示した図である。 ディープラーニングアルゴリズムが適用されたプロセッサに入力される情報とプロセッサを介して出力される出力情報を図示した図である。 プロセッサによって第１解像度枝は第１ベイヤーイメージが第２解像度を有する第２ベイヤーイメージに変換された姿を図示した図である。 プロセッサによって第１解像度枝は第１ベイヤーイメージが第２解像度を有する第２ベイヤーイメージに変換された姿を図示した図である。 本発明の第１実施例に係る移動端末装置の一部構成要素を図示したブロック図である。 本発明の第１実施例に係るカメラモジュールを含んでいる移動端末装置の一部構成要素を図示したブロック図である。 本発明の第１実施例の別の実施例に係るカメラモジュールを含んでいる移動端末装置の一部構成要素を図示したブロック図である。 本発明の第１実施例のさらに別の実施例に係るカメラモジュールを含んでいる移動端末装置の一部構成要素を図示したブロック図である。 本発明の第１実施例に係るイメージ生成方法の順序を図示したフローチャートである。 本発明の第２実施例に係るイメージ処理装置のブロック図である。 本発明の第２実施例に係るイメージ処理装置に含まれるカメラモジュールのブロック図である。 本発明の第２実施例に係るイメージ処理装置の構成が適用されたモバイル装置のブロック図である。 本発明の第２実施例の別の実施例に係るイメージ処理装置のブロック図である。 本発明の第２実施例の別の実施例に係るイメージ処理装置の構成が適用されたモバイル装置のブロック図である。 本発明の第２実施例に係るイメージ処理装置でイメージを処理する過程を説明するための図である。 本発明の第２実施例のさらに別の実施例に係るイメージ処理装置のブロック図である。 本発明の第２実施例に係るイメージ処理方法のフローチャートである。 本発明の第２実施例の他の実施例に係るイメージ処理方法のフローチャートである。

本明細書に記載された実施例と図面に図示された構成は、開示された発明の好ましい一例であり、本出願の出願時点において、本明細書の実施例と図面を代替できる様々な変形例があり得る。

また、本明細書で使った用語は、実施例を説明するために使われたもので、開示された発明を制限及び／または限定しようとする意図ではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。

本明細書で、“含む”、“備える”または“有する”等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするのであって、１つまたはそれ以上の別の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性を予め排除することなく、本明細書で使った“第１”、“第２”等のように序数を含む用語は、多様な構成要素を説明するのに使われることができるが、前記構成要素は、前記用語によって限定されない。

以下では、添付した図面を参考にして本発明の実施例について本発明が属する技術分野において通常の知識を有する者が容易に実施することができるように詳細に説明する。そして図面で本発明を明確に説明するために説明と関係ない部分は省略する。

図１～図１２は、本発明で図２１は、本発明の第２実施例に係るイメージ処理装置及びイメージ処理方法に関する図である。

図１は、本発明の第１実施例に係るカメラモジュール１００の一部構成要素を図示したブロック図であり、図２は、第１実施例に係るイメージ生成部２００の一部構成要素を図示した図で、図３は、第１実施例によりプロセッサ２２０が行うディープラーニング過程の一例を図示した図である。

図１を参照すると、一実施例に係るカメラモジュール１００は、外部対象体に対するイメージを取得するイメージセンサー１１０と、イメージセンサー１１０が取得したイメージをイメージ生成部２００に伝送する伝送部１２０を含んでいて、イメージ生成部２００は、伝送部１２０が送信したイメージを受信してこれをプロセッサ２２０に送信する受信部２１０、受信部２１０から受信したイメージをディープラーニングトレーニングを行った結果導き出されたアルゴリズムを適用させて、受信したイメージの解像度と異なる解像度を有するイメージを生成するプロセッサ２２０、及びプロセッサ２２０が生成したイメージを受信して外部装置に送信する出力部２３０等を含むことができる。ここで、ディープラーニングトレーニングを行った結果導き出されたアルゴリズムは、前述した畳み込みニューラルネットワークであり得る。プロセッサ２２０は、ディープラーニング基盤アルゴリズムを利用して学習されたプロセッサであり得る。パイプラインプロセッサ（ｐｉｐｅｌｉｎｅｄ ｐｒｏｃｅｓｓｏｒ）を含みことができ、第１ベイヤーデータから第２ベイヤーデータを生成するように学習された畳み込みニューラルネットワークを含むことができる。

具体的に、イメージセンサー１１０は、カメラモジュールのレンズ１２０を介して入ってくる光を電気信号に変化するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のようなイメージセンサーを含むことができる。

伝送部１２０は、イメージセンサー１１０が取得したイメージをイメージ生成装置２００の受信部２１０に伝送することができる。図１では、伝送部１２０とイメージセンサー１１０を区別される構成要素として図示したが、これに限定されず後述する伝送部１２０の役割をイメージセンサー１１０が同時に行うこともできる。

具体的に、伝送部１２０は、イメージセンサー１１０が取得したイメージからベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）の情報を抽出した後、これに対する情報を受信部２１０に伝送することができる。

イメージ生成部２００は、伝送部１２０が送信したイメージを受信して、これをプロセッサ２２０に送信する送信部２１０、送信部２１０から受信したイメージをディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）トレーニングによって生成されたアルゴリズムを利用してより高い解像度を有するイメージを生成するプロセッサ２２０、及びプロセッサ２２０が生成したイメージを受信して外部に送信する出力部２３０等を含むことができる。

具体的に、プロセッサ２２０は、受信部２１０から第１解像度を有するベイヤーイメージを受信した後、ディープラーニングトレーニングによって生成されたアルゴリズムを利用して、第２解像度を有するベイヤーイメージを生成した後、生成された第２ベイヤーイメージを出力部２３０に伝送することができる。ここで、第２解像度は、第１解像度とは異なる解像度値を有する解像度を意味して、具体的に第１解像度よりもさらに高いか低い解像度を意味することがある。第２解像度が有することができる解像度値は、使用者の目的に応じて使用者が自由に設定変更することができる。

従って、一実施例に係るカメラモジュール１００は、図面には図示しなかったが第２解像度に対する情報の入力を受ける入力部をさらに含むことができて、使用者はこれにより所望の解像度に対する情報をカメラモジュール１００に入力することができる。

例えば、使用者は、解像度が高いイメージを得ようとする場合、第２解像度を第１解像度とは差が大きく存在する解像度に設定することができて、比較的早期に新しいイメージを取得したい場合、第１解像度と解像度との差が大きく出なかった解像度で第２解像度値を自由に設定することができる。

また、プロセッサ２２０は、プロセッサを介して行われる少なくとも１つのプログラム命令が保存されたメモリー（Ｍｅｍｏｒｙ、図示せず）を介して実現されることができる。

具体的に、メモリーは、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリーを含むことができる。但し、これに限定されず、場合に基づいでメモリーはフラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非揮発性メモリーを含んでもよい。

通常のカメラ装置あるいはカメラモジュールは、イメージセンサーからベイヤーパターンの伝達を受けて、色をつける過程（色補間過程、Ｃｏｌｏｒ ＩｎｔｅｒｐｏｌａｔｉｏｎあるいはＤｅｍｏｓａｉｃｉｎｇ）を経てイメージ形態のデータを出力するが、一実施例に係る伝送部１２０は、イメージセンサー１１０から受信したイメージからベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）情報を含んでいる情報を抽出して、抽出された情報を外部に送信することができる。

ここで、ベイヤーパターンは、カメラ装置またはカメラモジュール１００に含まれた光信号を電気信号に変換するイメージセンサー１１０が出力する加工されなかったデータ（Ｒａｗ Ｄａｔａ）を含むことができる。

これについて具体的に説明すると、カメラモジュール１００に含まれたレンズ１２０を介して伝達される光信号は、Ｒ、Ｇ、Ｂの色を検出できるイメージセンサーに配置された各画素を介して電気信号に変換されることができる。

仮にカメラモジュール１００の仕様が５００万画素とするならば、Ｒ、Ｇ、Ｂの色を感知できる画素が５００万個含まれたイメージセンサーが含まれていると考えることができる。画素数が５００万個であるが、実際に各色（ｃｏｌｏｒ）を感知するのではなく、白黒の明るさだけを感知する単色（ｍｏｎｏｃｈｒｏｍｅ）画素がＲ、Ｇ、Ｂフィルターのいずれかと結合された形態で見ることができる。

即ち、イメージセンサーは、画素数だけ配列された単色画素セル上にＲ、Ｇ、Ｂのカラーフィルターが特定のパターンをもって配置されている。従って、Ｒ、Ｇ、Ｂの色パターンが使用者（即ち、人）の視覚特性により交差して配置され、これをベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）と呼ぶ。

一般にベイヤーパターンは、イメージ形態のデータよりデータ量が小さい。従って、高仕様のプロセッサを有しないカメラモジュールが装着された装置であっても、イメージ形態のデータより比較的早くベイヤーパターンのイメージ情報を伝送して受信できて、これに基づいて多様な解像度を有するイメージに変換させることができる長所が存在する。

一例として、カメラモジュールが車両に搭載されて、カメラモジュールが１００Ｍｂｉｔ／ｓの全二重（Ｆｕｌｌ－ｄｕｐｌｅｘ）伝送速度を有する低電圧差別信号方式（ＬＶＤＳ）が利用される環境内でもイメージ処理をするのに多くのプロセッサが必要でなく過負荷がかからなくて車両を利用する運転者または運転者の安全の危害にならない。

また、車両内通信網によって伝達されるデータの大きさを減らすことができて、自律走行車両に適用しても車両に配置された複数のカメラの作動に係る通信方式、通信速度などにより発生する問題を除去できる効果が存在する。

また、伝送部１２０は、受信部２１０にベイヤーパターンのイメージ情報を送信するにあたり、ベイヤーパターン形態のフレームをイメージセンサー１１０から受信した後、１／ｎの大きさにダウンサンプリングした後の情報を送信することができる。

具体的に、伝送部１２０は、ダウンサンプリング以前に受信されたベイヤーパターンのデータに対してガウシアンフィルター（Ｇａｕｓｓｉａｎ Ｆｉｌｔｅｒ）等によるスムージング（ｓｍｏｏｔｈｉｎｇ）を行った後、ダウンサンプリングを行うことができる。その後、ダウンサンプリングされた映像データを基盤にフレームパケットを生成した後、完成されたフレームパケットを受信部２１０に送信することができる。但し、このような機能は、伝送部１２０ではなくプロセッサ２２０で一度にまとめて行ってもよい。

また、伝送部１２０は、低電圧差動シグナリング方式（ＬＶＤＳ）のようなシリアル通信方式でベイヤーパターン情報を送信するためにベイヤーパターンを直列データに変換するシリアライザ（Ｓｅｒｉａｌｉｚｅｒ、図示せず）を含むことができる。

シリアライザは、通常的にデータを一時的に保存するバッファー及び送信されるデータの周期を形成する位相同期ループ（ＰＬＬ）を含むか共に実現されることができる。

これまで一実施例に係るカメラモジュール１００の一般的な構成要素について記載した。以下、プロセッサ２２０に適用されるアルゴリズムの生成方法及び特徴について記載する。

一実施例に係るカメラモジュール１００のプロセッサ２２０に適用されるアルゴリズムは、入力されたイメージの解像度よりさらに高い解像度を有するイメージを生成するアルゴリズムであって、ディープラーニングトレーニングを繰り返し行って生成された最適なアルゴリズムを意味することがある。ディープラーニングトレーニングによって生成されるアルゴリズムである畳み込みニューラルネットワークは、第１解像度を有する第１ベイヤーデータを受信して第２解像度を有する第２ベイヤーデータを生成するように学習されることができる。

ディープラーニングとは、深層学習と表現されるが、多くの非線形転換器法の組み合わせにより高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎｓ、多量のデータや複雑な資料の中から核心的な内容または機能を要約する作業）を試みる機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）に関するアルゴリズムの集合を意味する。

具体的に、ディープラーニングは、ある学習データをコンピュータが理解できる形態（例えば、イメージの場合はピクセル（Ｐｉｘｅｌ）情報を列ベクトルで表現するなど）で表現（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）してこれを学習に適用するために多くの研究（どうすればより良い表現技法を作るか、またどのようにこれらを学習するモデルを作るか）に対する学習手法で、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）及びＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ）などの学習手法を含むことができる。

一例として、ディープラーニングは、まず周辺環境を認知して、現在の環境状態をプロセッサに伝達することができる。プロセッサは、これに合う行動（Ａｃｔｉｏｎ）を行って、環境はさらにその行動に係る補償値をプロセッサに知らせる。そして、プロセッサは補償値を最大にする行動を選ぶことになる。このような過程に介して学習過程が繰り返し進行されることができる。

先述した通り、ディープラーニングを行いながら利用される学習データは、実際の解像度が低いベイヤーイメージを解像度が高いベイヤーイメージに変換しながら得た結果であってもよく、シミュレーションにより得た情報であってもよい。

仮に、シミュレーション過程を行う場合、シミュレーションの環境に合わせて（イメージの背景、色の種類など）調整することによってさらに速くデータを取得することができる。以下、図３と図４において一実施例に係るプロセッサ２２０に適用されるアルゴリズムが生成される方法に対して具体的に記載する。

図３は、一実施例に係るディープラーニングトレーニングの実行過程を図示した図で、図４は別の実施例に係るディープラーニングトレーニングの実行過程を図示した図である。

図３のディープラーニングは、深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）アルゴリズムが適用されたディープラーニングであって、ＤＮＮアルゴリズムが適用されることにより新しい解像度を有するイメージを生成する過程を図示した図である。

深層ニューラルネットワーク（ＤＮＮ）は、入力層（ｉｎｐｕｔ ｌａｙｅｒ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）との間に多重の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）が存在する深層（ｄｅｅｐ）ニューラルネットワーク、動物の視覚皮質の構造と類似するニューロンの間の連結パターンを形成する畳み込み（ｃｏｎｖｏｌｕｔｉｏｎａｌ）ニューラルネットワーク、時間に応じて毎瞬間毎にニューラルネットワークを積み上げる再帰（ｒｅｃｕｒｒｅｎｔ）ニューラルネットワークで具体化されることができる。畳み込みニューラルネットワークは、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、Ｕ－Ｎｅｔ、ＭｏｂｉｌｅＮｅｔ、ＲＤＮ（Ｒｅｓｉｄｕａｌ Ｄｅｎｓｅ Ｎｅｔｗｏｒｋ）、及びＲＣＡＮ（Ｒｅｓｉｄｕａｌ Ｃｈａｎｎｅｌ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ）中少なくとも１つのモデルであり得る。その他にも多様なモデルを利用できることは当然である。

具体的にＤＮＮは畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）とサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を繰り返してデータの量を減らし、歪曲させてニューラルネットワークを分類する。即ち、ＤＮＮは、特徴抽出と分類行為により部類結果を出力するが、主にイメージを分析するのに使われて、畳み込みは映像フィルタリングを意味する。

図３を参照してＤＮＮアルゴリズムが適用されたプロセッサ２２０が行う過程を説明すると、プロセッサ２２０は、受信部２１０から受信した第１解像度を有するベイヤーイメージ１０を基に倍率を高めようとする領域に対して畳み込みとサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行う。

倍率を高めるとは、イメージセンサー１１０が取得したイメージの中で特定の部分だけを拡大するのを意味する。従って、使用者によって選択されなかった部分は、使用者が関心がない部分であるから解像度を高める過程を行う必要がないため、使用者によって選択された部分に対してのみ畳み込みとサブサンプリング過程を行うことができる。

サブサンプリングは、映像の大きさを減らす過程を意味する。一例として、サブサンプリングは、マックス－プール（Ｍａｘ Ｐｏｏｌ）方法を使うことができる。マックス－プールは、該当領域で最大値を選択する技法であって、ニューロンが最も大きい信号に反応するのと類似している。サブサンプリングは、ノイズを減少させて、学習の速度を増加させることができる長所が存在する。

畳み込みとサブサンプリングが行われると、図３に図示されたように複数のイメージ２０が出力されることができる。その後、出力されたイメージを基にアップスケール（Ｕｐ Ｓｃａｌｅ）方式で利用して互いに異なる特徴を有する複数のイメージを出力させることができる。アップスケール方式は、互いに異なるｒ^２個のフィルターを利用してイメージをｒ＊ｒ倍にスケールを高めるのを意味する。

アップスケールにより複数のイメージが図３に図示されたように出力されると（３０）、プロセッサ２２０は、このようなイメージを基に組み替えて最終的に第２解像度を有する第２ベイヤーイメージ４０を出力することができる。

図４のディープラーニングは、図３のディープラーニングと異なる方式でディープラーニングを行う方法を図示した図面であり、具体的に反復的学習によって形成されるアルゴリズムの生成過程について説明した図である。

図４に係るディープラーニングの場合、互いに異なる解像度を有する第１サンプルデータ（Ｘ）と第２サンプルデータ（Ｚ）の入力を受けた後、これに基づいてディープラーニングトレーニングを行うことができる。

具体的に、図４に係るディープラーニングは、第１サンプルデータ（Ｘ）を入力データとして、ディープラーニングトレーニングを行った出力データ（Ｙ）と第２サンプルデータ（Ｚ）を比較して分析して生成されたパラメータを基により高い解像度を有するイメージを生成するアルゴリズムを生成することができる。

ここで、出力データ（Ｙ）は、実際のディープラーニングのより出力されたデータで、第２サンプルデータ（Ｚ）は、使用者が入力するデータであって、第１サンプルデータ（Ｘ）をアルゴリズムに入力した時、最も理想的に出力され得るデータを意味してもよい。

従って、図４に係るアルゴリズムは、出力結果として最も理想的な第２サンプルデータ（Ｚ）と実際の出力データである第１出力データ（Ｙ）を比較して分析して差異点を引き出した後、差異点を相殺する方向にアルゴリズムにフィードバックを与えることができる。

具体的に、出力データに影響を与えるパラメータを分析した後、パラメータを変更したり削除または新しいパラメータを生成する方式でフィードバックを与えて理想的な出力データである第２サンプルデータ（Ｚ）と実際の出力データである第１出力データ（Ｙ）の差が無いようにすることができる。

一例として、図４に図示しらようにアルゴリズムに影響を与えるレイヤーが計３個で（Ｌ１、Ｌ２、Ｌ３）、各レイヤーに計８個のパラメータ（Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２２、Ｐ３１、Ｐ３２）が存在すると仮定する。

かかる場合にＰ２２パラメータの値を増加させる方向でパラメータを変更したところ、実際出力されたデータである第１出力データ（Ｙ）と最も理想的な出力データである第２サンプルデータ（Ｚ）の差が増加するならば、フィードバックは、Ｐ２２パラメータを減少させる方向でアルゴリズムを変更することができる。

これとは逆に、Ｐ３３パラメータの値を増加させる方向でパラメータを変更したところ、実際出力されたデータである第１出力データ（Ｙ）と最も理想的な出力データである第２サンプルデータ（Ｚ）の差が減少したとすると、フィードバックは、Ｐ３３パラメータを増加させる方向でアルゴリズムを変更することができる。

即ち、このような方法によりディープラーニングが適用されたアルゴリズムは、実際出力される第１出力データ（Ｙ）が、最も理想的な出力データである第２サンプルデータ（Ｚ）と類似するように出力されるようにすることができる。

そしてこの場合、第２サンプルデータ（Ｚ）の解像度は、第１出力データ（Ｙ）の解像度と同じか高く、第２サンプルデータ（Ｚ）の解像度は、第１出力データ（Ｙ）の解像度と同じであってもよい。

一般に、ディープラーニングをすることができるプロセッサを小型のチップで実現するためには、ディープラーニングのプロセスとメモリーゲート（ｇａｔｅ）数が最小化されなければならないが、ここでゲート数に最も大きく影響を与える要素は、アルゴリズム複雑度とクロック（Ｃｌｏｃｋ）当たり処理されるデータ量であり、プロセッサが処理するデータの量は入力解像度により変わる。

従って、一実施例に係るプロセッサ２２０は、ゲートの数を減らすために入力解像度を減らした後に、後ほどアップスケーリング（Ｕｐ Ｓｃａｉｌｉｎｇ）という方式で高倍率のイメージを生成するので、より速くイメージを生成できる長所が存在する。

例えば、入力解像度が８Ｍｐ（Ｍｅｇａ Ｐｉｘｅｌ）のイメージを２倍ズームしようとすると、１／４領域（２Ｍｐ）を基に横と縦をそれぞれ２倍ずつアップスケーリング（Ｕｐ ｓｃａｉｌｉｎｇ）して２倍ズームをする。そして、１／４領域（２Ｍｐ）を１／４ダウンスケーリング（ｄｏｗｎ ｓｃａｌｉｎｇ）して解像度が０．５Ｍｐであるイメージをディープラーニング処理入力データで使った後、生成されたイメージを基に横と縦をそれぞれ４倍ずつアップスケーリング（Ｕｐ ｓｃａｉｌｉｎｇ）する方式で４倍ズームをすると、２倍ズームをしたのと同じ領域のズーム映像を生成することができる。

従って、一実施例に係るカメラモジュール１００及びイメージ生成方法は、入力解像度損失による性能低下を防止するために、ディープラーニングが解像度損失に対応する倍率だけ学習をさせてイメージを生成するので、性能低下を最小化できる長所が存在する。

また、高解像度のイメージを実現するためのディープラーニング基盤のアルゴリズムは、一般にフレームバッファー（Ｆｒａｍｅ Ｂｕｆｆｅｒ）を使うが、フレームバッファーの場合、通常のＰＣ及びサーバーではその特性上リアルタイム駆動が難しいことがある。

しかし、一実施例に係るプロセッサ２２０は、ディープラーニングによりすでに生成されているアルゴリズム適用するので、低仕様カメラモジュール及びこれを含む多くの装置で簡単に適用が可能で、このようなアルゴリズムを具体的に適用することにおいていくつかのラインバッファー（Ｌｉｎｅ Ｂｕｆｆｅｒ）だけを使う方式で高解像度を実現するので、比較的大きさが小さい小型チップ（Ｃｈｉｐ）でプロセッサを実現することができる効果も存在する。

図５は、一実施例に係るプロセッサ２２０の一部構成要素を図示したブロック図である。

図５を参照すると、一実施例に係るプロセッサは、第１ベイヤーデータを受信する複数のラインバッファー１１、ラインバッファーを介して出力された第１ベイヤーデータを波長帯域別に配列する第１配列データを生成する第１データ整列部２２１、予め設定されているアルゴリズムによりディープラーニングを行うディープラーニングプロセッサ２２２、ディープラーニングプロセッサ２２２を介して出力された第２配列データをベイヤーパターンで配列して第２ベイヤーデータを生成する第２データ整列部２２３、及び第２データ整列部２２３を介して出力された第２ベイヤーデータを出力する複数のラインバッファー１２を含むことができる。

第１ベイヤーデータは先述したベイヤーパターンを含んでいる情報として、図５でベイヤーデータとして記述したが、ベイヤーイメージまたはベイヤーパターンで定義されてもよい。

また、図５では、第１データ整列部２２１と第２データ整列部２２３を便宜上別個の構成要素で図示したが、これに限定されず、ディープラーニングプロセッサ２２２が後述する例では、第１データ整列部２２１と第２データ整列部２２３が行う機能を一緒に行うこともできる。

図５を参考にすると、イメージセンサー１１０により受信された第１解像度を有する第１ベイヤーデータは、使用者によって選択された領域に対するイメージ情報をＮ＋１個のラインバッファー（１１ａ、１１ｂ、～１１ｎ、１１ｎ＋１）に転送されることができる。先述した通り、使用者によって選択された領域に対してのみ第２解像度を有するベイヤーイメージを生成するので、使用者によって選択されなかった領域に対するイメージ情報はラインバッファー１１に送信されない。

具体的に、第１ベイヤーデータは、複数の行データを含み、このような複数の行データは、複数のラインバッファー１１を介して第１データ整列部２２１に送信されることができる。

例えば、ディープラーニングプロセッサ２２２によりディープラーニングを行うべき領域が３×３領域ならば計３つのラインが第１データ整列部２２１またはプロセッサ２２０に同時に送信されてからディープラーニングを行うことができる。従って、３つのライン中最初のラインに対する情報は、第１ラインバッファー１１ａに送信された後、第１ラインバッファー１１ａに保存されて、３つのライン中二つ目のラインに対する情報は、第２ラインバッファー１１ｂに送信された後、第２ラインバッファー１１ｂに保存されることができる。

その後三つ目のラインの場合、以後で受信されるラインに対する情報がないため、ラインバッファー１１に保存されずすぐにプロセッサ２２０または第１データ整列部２２１に送信されることができる。

この時第１データ整列部２２１またはプロセッサ２２０は、３つのラインに対する情報を同時に受信しなければならないので、第１ラインバッファー１１ａと第２ラインバッファー１１ｂに保存されている最初のラインに対する情報と二つ目のラインに対する情報も同時にプロセッサ２２０または第１イメージ整列部２１９に送信されることができる。

これとは逆に、ディープラーニングプロセッサ２２２にてディープラーニングを行わなければならない領域が（Ｎ＋１）×（Ｎ＋１）領域であるなら、総Ｎ＋１個のラインが第１データ整列部２２１またはプロセッサ２２０に同時に送信されてからディープラーニングを行うことができる。従って、（Ｎ＋１）個のライン中最初のラインに対する情報は第１ラインバッファー１１ａに送信された後、第１ラインバッファー１１ａ保存されて、（Ｎ＋１）個のライン中二つ目のラインに対する情報は、第２ラインバッファー１１bに送信された後、第２ラインバッファー１１ｂに保存され、（Ｎ＋１）個のライン中Ｎ番目のラインに対する情報は、第Ｎラインバッファー１１ｎに送信された後、第Ｎラインバッファー１１ｎに保存されることができる。

その後（Ｎ＋１）番目のラインの場合、以後で受信されるラインに対する情報がないため、ラインバッファー１１に保存されずすぐにプロセッサ２２０または第１データ整列部２２１に送信されて、先述した通りこの時第１データ整列部２２１またはプロセッサ２２０は、Ｎ＋１個のラインに対する情報を同時に受信しなければならないので、ラインバッファー１１ａ～１１ｎに保存されている最初のラインからＮ番目のラインに対する情報も同時にプロセッサ２２０または第１イメージ整列部２１９に送信されることができる。

第１イメージ整列部２１９は、ラインバッファー１１からベイヤーデータを受信した後、ベイヤーデータを波長帯域別に配列して第１配列データを生成した後、生成された第１配列データをディープラーニングプロセッサ２２２に送信することができる。

第１イメージ整列部２１９は、受信した情報を特定波長または特定色別（ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）に分類して配列した第１配列データを生成してもよい。

その後、ディープラーニングプロセッサ２２２は、第１イメージ整列部２１９を介して受信した第１配列データを基にディープラーニングを行って第２配列データを生成することができる。

具体的に、ディープラーニングを行うことは、先に図３と図４により説明した通り、最適なアルゴリズムを生成するために推論または反復的学習によりアルゴリズムを生成する過程を意味することもあるが、同時にこのような過程によって生成されたアルゴリズムを実行することもディープラーニングを行うと見ることができる。

従って、ディープラーニングプロセッサ２２２は、第１イメージ整列部２１９を介して受信した第１配列データを基にディープラーニングを行って、第１解像よりも高い解像度を有する第２解像度を有する第２配列データを生成することができる。

例えば、先述した通り３×３領域に対して、第１配列データを受信したら３×３領域に対してディープラーニングを行って、（ｎ＋１）×（ｎ＋１）領域に対して第１配列データを受信したら（ｎ＋１）×（ｎ＋１）領域に対してディープラーニングを行うことができる。

その後、ディープラーニングプロセッサ２２２により生成された第２配列データは、第２データ整列部２２３に送信されて、第２データ整列部２２３は、第２配列データをベイヤーパターンを有する第２ベイヤーデータに変換させることができる。

その後、変換された第２ベイヤーデータは、複数のラインバッファー１２ａを介して外部に出力されて、出力された第２ベイヤーデータは、さらに別の過程によって第１解像よりも高い解像度である第２解像度を有しているイメージで生成されることができる。

図６と図７は、プロセッサ２２０によって、第１解像度イメージを有する第１ベイヤーイメージが第２解像度を有する第２ベイヤーイメージに変換された様子を図示した図である。

第１解像度を有するベイヤーイメージ１０で使用者が特定領域を選択した場合、その領域に対してプロセッサ２２０は、イメージ変換過程を行うことができ、行った結果、図６と図７に図示されたように第２解像度を有するベイヤーイメージ４０が生成されることができる。

図８は、一実施例に係る移動端末装置４００の一部構成要素を図示したブロック図である。

図８を参照すると、一実施例に係る移動端末装置４００は、フィルター１１０、レンズ１２０、イメージセンサー１３０、送信部１４０、ドライバーＩＣ１５０、アクチュエータ１６０、受信部２１０、プロセッサ２２０、出力部２３０及びＩＳＰ３１０を含んでいるＡＰ３００を含むことができる。

イメージセンサー１３０、送信部１４０、受信部２１０、プロセッサ２２０及び出力部２３０は、図１と図２で説明した構成と同じ役割をする構成要素であるため、これに対する説明は省略する。

フィルター１１０は外部から流入される光を選択的に遮断する役割をして、通常レンズ１２０の上部に位置することができる。

レンズ１２０は、ガラスのような透明な物質の面を球面のように綺麗に磨いて物体から来る光を集めたり発散させて光学的像を結ぶようにする装置であって、カメラモジュール１００に使われる通常のレンズ１２０は、複数の互いに異なる特徴を有するレンズを備えることができる。

ドライバーＩＣ１５０（Ｄｒｉｖｅｒ ＩＣ）は、画面に文字や映像イメージが表示されるように、パネルに駆動信号及びデータを電気信号で提供する半導体（ＩＣ）を意味し、後述するがドライバーＩＣは、移動端末装置４００の多様な位置に配置されることができる。また、ドライバーＩＣ（１５０ｍ Ｄｒｉｖｅｒ ＩＣ）は、アクチュエータ１６０を駆動することができる。

アクチュエータは、レンズまたはレンズを含む鏡筒の位置を調節して焦点を調節することができる。例えば、アクチュエータ１６０は、ＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）方式であり得る。レンズ１２０は、可変焦点レンズを含んでもよい。可変焦点レンズを含む場合、ドライバーＩＣは、可変焦点レンズを駆動することができる。例えば、レンズは液体を含む液体レンズを含むことができ、この場合ドライバーＩＣは、液体レンズの液体を調節して焦点を調節することができる。

ＡＰ３００（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）は、モバイル用メモリーチップに移動端末装置４００で各種アプリケーシヨン作動とグラフィック処理を担当する核心半導体を意味する。ＡＰ３００は、コンピュータの中央処理装置（ＣＰＵ）の機能とメモリー、ハードディスク、グラフィックカードなどその他装備の連結を制御するチップセットの機能のいずれも含んでいるＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）形態で実現されることができる。

映像信号処理部（ＩＳＰ、Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）３００は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）通信を利用してプロセッサ２２０が生成した第２ベイヤーイメージを受信して映像信号処理過程を行うことができる。

映像信号処理部３００は、映像信号を処理しながら複数のサブ過程を含むことができる。例えば、受信した映像に対してガンマ値補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、色彩補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ ｃｏｒｒｅｃｔｉｏｎ）、自動ホワイト値補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）過程のうちで１つ以上を含むことができる。図９～図１１は、移動端末装置４００内部でドライバーＩＣ１５０とプロセッサ２２０が配置されることができる様々な実施例をブロック図で表示した図である。

図９～図１１に図示されたそれぞれの構成要素は先に説明したので、これ以上説明せずドライバーＩＣ１５０とプロセッサ２２０が配置されることができる位置を中心に説明する。

一実施例で、ドライバーＩＣ１５０とプロセッサ２２０は、図７に図示されたようにカメラモジュール１００中でそれぞれ別個のモジュールで独立的に実現されることができる。

具体的に、プロセッサ２２０はチップ形態で実現されてイメージ生成部２００に含まれて、ドライバーＩＣ１５０は、イメージ生成部２００及びプロセッサ２２０と独立的に別個のチップで実現されることができる。

図９では、イメージ生成部２００が、受信部２１０、プロセッサ２２０、出力部２３０をそれぞれ含むと図示したが、これに限定されずイメージ生成部２００がプロセッサ２２０だけを含んでいて、プロセッサ２２０が先述した受信部２１０と出力部２３０を役割を同時に行ってもよい。

図９のような形態でドライバーＩＣ１５０とプロセッサ２２０が実現される場合、イメージ生成部２００が実現されたチップを既存カメラモジュールに挿入する方式で本技術を適用させることができて、既存カメラモジュールが持っている構造と関係なく本技術を実施できる効果が存在する。

別の実施例で、ドライバーＩＣ１５０とプロセッサ２２０は、図８に図示されたようにカメラモジュール１００に含まれているイメージ生成部２００内で１つのモジュールで共に実現されることができる。

具体的に、イメージ生成部２００は１つのチップで実現されるが、かかる場合イメージ生成部２００がドライバーＩＣ１５０及びプロセッサ２２０がするの役割を同時に行うことができる。

図１０では、イメージ生成部２００が、受信部２１０、プロセッサ２２０、出力部２３０をそれぞれ含むと図示したが、これに限定されずイメージ生成部２００が、プロセッサ２２０とドライバーＩＣ１５０だけを含んでいて、プロセッサ２２０が先述した受信部２１０と出力部２３０及びドライバーＩＣ１５０の役割を同時に行ってもよい。

図１０のような形態でドライバーＩＣ１５０とプロセッサ２２０が実現される場合、１つのチップを利用してドライバーＩＣ１５０がする役割とプロセッサ２２０がする役割を同時に行うことができるので、より経済的にカメラモジュール１００を製作できる効果が存在する。

さらに別の実施例で、ドライバーＩＣ１５０とプロセッサ２２０は、図９に図示されたようにドライバーＩＣ１５０は、カメラモジュール１００の内部に装着されて、プロセッサ２２０は、カメラモジュール１００と別個に移動端末装置４００の内部に配置されることができる。

具体的に、プロセッサ２２０は、チップ形態で実現されてイメージ生成部２００に含まれて、ドライバーＩＣ１５０は、イメージ生成部２００及びプロセッサ２２０と独立的に実現されながらカメラモジュール１００の内部に配置されることができる。

図１１では、イメージ生成部２００が、受信部２１０、プロセッサ２２０、出力部２３０をそれぞれ含むと図示したが、これに限定されずイメージ生成部２００が、プロセッサ２２０だけを含んでいて、プロセッサ２２０が先述した受信部２１０と出力部２３０を役割を同時に行ってもよい。

図１１のような形態でドライバーＩＣ１５０とプロセッサ２２０が実現される場合、イメージ生成部２００が実現されたチップを既存カメラモジュールに挿入する方式で本技術を実施できて、既存カメラモジュールが持っている構造と関係なく本技術を実施できる長所が存在する。さらに、高イメージセンサーに比べてモジュール自体の厚さを減らすことができる効果が存在する。

図１２は、一実施例に係るイメージ生成方法の順序を図示したフローチャートである。

図１２を参照すると、イメージセンサー１１０から第１解像度を有する第１ベイヤーイメージを受信することができる（Ｓ１１０）。

その後、使用者から第２解像度に対する情報を受信することができる。図面には図示しないが、使用者から別途の入力装置を介して第２解像度に対する情報を受信することができる（Ｓ１２０）。

使用者から第２解像度に対する情報を受信したら、その後使用者が設定した第２解像度を有するベイヤーイメージを生成するようにディープラーニングを介して生成されたアルゴリズムを利用して第２ベイヤーイメージを生成することができる（Ｓ１３０、Ｓ１４０）。

これまで図面を基にカメラモジュール１００及びこれを含む移動端末装置４００とイメージ生成方法について調べた。

高解像度を実現するためのディープラーニング基盤のアルゴリズムの場合、フレームバッファー（Ｆｒａｍｅ Ｂｕｆｆｅｒ）を使うと、一般ＰＣ及びサーバーではリアルタイム駆動が難しい問題が存在する。しかし、一実施例に係るカメラモジュール及びこれを含む移動端末装置とイメージ生成方法は、いくつかのラインバッファー（Ｌｉｎｅ Ｂｕｆｆｅｒ）だけを使う方式で高解像度を実現するので、比較的大きさが小さい小型チップ（Ｃｈｉｐ）で実現することができる長所が存在する。

また、本技術が適用されたチップは、小型の大きさで製作されることができて、搭載される装置の使用目的に応じて多様な位置に多様な方式で搭載されることができ、設計の自由度が増加して、ディープラーニングによって生成されたアルゴリズムが適用されたプロセッサを利用して高価なプロセッサが必要でなく、より経済的に高解像度イメージを生成できる長所が存在する。

また、簡単なチップをカメラモジュールに搭載する方式で本技術の実施が可能であるため、ズーム機能がないカメラモジュールまたは特定倍率に対する固定ズームだけ支援するカメラモジュールに対して本技術を適用させて連続ズーム機能を使うことができる。

また、特定倍率に対して光学的に連続ズームだけ支援するカメラモジュールにも本技術を適用させてさらに広い倍率区間で連続ズーム機能を活用できる効果が存在する。また、学習された畳み込みニューラルネットワークを利用して出力された第１ベイヤーデータは、映像信号処理部に入力される。ＡＰの映像信号処理部のデモザイク（ｄｅｍｏｓａｉｃ、ＲＧＢ変換）を行ってＲＧＢイメージを生成することができる。

第１ベイヤーデータから第２ベイヤーデータを生成するプロセッサは、映像信号処理部前段（ＡＰのソフトウェアロジック、即ちＩＳＰ前段前処理ロジック）で実現されたり、別途のチップで実現されたり、カメラモジュール内に実現されることができる。

ロー（ｒａｗ）データであるベイヤーデータは、ビット解像度（ｂｉｔ ｒｅｓｏｌｕｔｉｏｎ）が１０ビット（ｂｉｔ）以上である一方、ＩＳＰのイメージ処理過程を経たＲＧＢデータの場合、ＩＳＰでＮｏｉｓｅ／Ａｒｔｉｆａｃｔ Ｒｅｄｕｃｔｉｏｎ ａｎｄ Ｃｏｍｐｒｅｓｓｉｏｎのようなデータ損失が発生して、ＲＧＢデータは、８ビット（ｂｉｔ）で含んでいる情報が相当減る。また、ＩＳＰは、トーンマッピング（Ｔｏｎｅ ｍａｐｐｉｎｇ）のような非線形処理を含んでいて、イメージ復元（Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ）を処理するのが難しくなるが、ベイヤーデータは。光に比例する線形性を有していて、イメージ復元を処理しやすくなる。また、信号対ノイズ比（ＰＳＮＲ）もベイヤーデータを利用するものであるＲＧＢデータを利用することに比べて同じアルゴリズムを利用する場合、２～４ｄＢ程度高まるようになり、これによりＡＰで行われるｍｕｌｔｉ－ｆｒａｍｅ Ｄｅ－ｎｏｉｓｅやＳＲなどが効果的に処理されることができる。即ち、ベイヤーデータを利用することによって、高解像度変換の性能が向上することができて、ベイヤーデータを出力するため、ＡＰの追加的なイメージ処理性能も向上することができる。

前記のように、図１～図１２を参照して本発明の第１実施例に係るカメラ装置及びカメラ装置のイメージ生成方法について説明した。以下、図１３～図１８を参照して、本発明の第２実施例に係るイメージ処理装置及びイメージ処理方法について説明する。本発明の第２実施例に係るイメージ処理装置及びイメージ処理方法に対する詳細な説明は、本発明の第１実施例に係るイメージング過程、カメラモジュール、イメージ生成部、イメージング装置、移動端末装置、カメラ装置、及びイメージング方法と、名称、用語、及び機能において、各実施例に対する詳細な説明に基づいて、互いに同じか異なることがある。

図１３は、本発明の第２実施例に係るイメージ処理装置１１３０のブロック図である。本発明の第２実施例に係るイメージ処理装置１１３０は、カメラモジュール１１１０及びＡＰモジュール１１２０で構成され、ＡＰモジュール１１２０は、第１処理部１１２１及び第２処理部１１２２で構成される。また、１つ以上のプロセッサをさらに含んでもよく、１つ以上のメモリーまたは通信部をさらに含んでもよい。イメージ処理装置１１３０は、イメージを処理する機能を含む装置を意味し、イメージを処理するモジュールからイメージ処理部を含む移動端末のように、電子装置のうちのいずれかを意味する。

カメラモジュール１１１０はイメージセンサーを含む。

より具体的に、カメラモジュール１１１０は、イメージセンサーから第１解像度のベイヤーデータを出力する。カメラモジュール１１１０は、図１４のようにレンズ１１１１、イメージセンサー１１１２、イメージセンサー１１１２が実装されるセンサーボード１１１３、及び外部とデータを送受信するコネクター１１１４で構成されることができる。前記構成が１つのモジュールで形成されてもよい。即ち、カメラモジュール以外の構成と区別される１つの独立的な装置で、他のモジュールとはデータを送受信する形態で実現されることができる。

レンズ１１２０は、ガラスのような透明な物質の面を球面のように綺麗に磨いて物体から来る光を集めたり発散させて光学的像を結ぶようにする装置であって、カメラモジュール１１１０に使われる通常のレンズ１１１１は、複数の互いに異なる特徴を有するレンズを備えることができる。レンズ１１１１の上部には、外部から流入する光を選択的に遮断する役割をするフィルターが形成されることができる。

イメージセンサー１１１２は、カメラモジュールのレンズを通して入ってくる光を電気信号に変化するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のようなイメージセンサーを含むことができる。イメージセンサー１１１２は、取得したイメージをカラーフィルターを介してベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）の情報を含むベイヤーデータを生成することができる。ベイヤーデータは、イメージセンサー１１１２のスペックまたは該当イメージを生成時設定されたズーム倍率により第１解像度を有することができる。イメージセンサー１１１２は、センサーボード１１１３上に形成されることができる。レンズ１１１１もセンサーボード１１１３上に形成されることができる。

レンズ１１１１を介して伝達される光信号は、Ｒ、Ｇ、Ｂ色を検出できるイメージセンサー１１１２に配置された各画素を介して電気信号に変換されることができる。仮にカメラモジュール１１１０の仕様が５００万画素だとすると、Ｒ、Ｇ、Ｂ色を感知できる画素が５００万個含まれたイメージセンサー１１１２が含まれていると考えられる。画素数が５００万個であるが、実際に各色（ｃｏｌｏｒ）を感知するのではなく白黒の明るさだけを感知する単色（ｍｏｎｏｃｈｒｏｍｅ）画素がＲ、Ｇ、Ｂフィルターののいずれかと結合された形態で見ることができる。即ち、イメージセンサー１１１２は、画素数だけ配列された単色画素セル上にＲ、Ｇ、Ｂ色フィルターが特定のパターンをもって配置されている。従って、Ｒ、Ｇ、Ｂ色パターンが使用者（即ち、人）の視覚特性により交差して配置され、これをベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）と呼ぶ。一般にベイヤーパターンは、イメージ形態のデータよりもデータの量が小さい。従って、高仕様のプロセッサを有していなかったカメラモジュール１１１０が装着された装置であってもイメージ形態のデータよりも比較的速くベイヤーパターンのイメージ情報を伝送して受信できて、これに基づいて多様な解像度のイメージに変換させることができる長所が存在する。

一例として、カメラモジュール１１１０が車両に搭載されて、カメラモジュール１１１０が１００Ｍｂｉｔ／ｓの全二重（Ｆｕｌｌ－ｄｕｐｌｅｘ）伝送速度を有する低電圧差別信号方式（ＬＶＤＳ）が利用される環境内でもイメージ処理をするのに多くのプロセッサが必要でなく過負荷がかからず車両を利用する運転者または運転者の安全の危害にならない。また、車両内通信網によって伝達されるデータの大きさを減らすことができて。自律走行車両に適用しても車両に配置された複数のカメラの作動に係る通信方式、通信速度などにより発生する問題を除去できる効果が存在する。

また、イメージセンサー１１１２は、第１処理部１１２１にベイヤーパターンのベイヤーデータを送信するにあたり、ベイヤーパターン形態のフレームを１／ｎの大きさにダウンサンプリングした後のデータを送信することができる。ダウンサンプリング以前に受信されたベイヤーパターンのデータに対してガウシアンフィルター（Ｇａｕｓｓｉａｎ Ｆｉｌｔｅｒ）等を介したスムージング（ｓｍｏｏｔｈｉｎｇ）を行った後、ダウンサンプリングを行うことができる。以後、ダウンサンプリングされた映像データを基盤にフレームパケットを生成した後、完成されたフレームパケットを第１処理部１１２１に送信することができる。但し、このような機能は、イメージセンサーでなく第１処理部１１２１で実行されてもよい。

また、イメージセンサー１１１２は、低電圧差動シグナリング方式（ＬＶＤＳ）のようなシリアル通信方式でベイヤーデータを送信するためにベイヤーパターンを直列データに変換するシリアライザ（Ｓｅｒｉａｌｉｚｅｒ、図示せず）を含むことができる。シリアライザは、通常、データを一時的に保存するバッファー及び送信されるデータの周期を形成する位相同期ループ（ＰＬＬ）を含むか共に実現されることができる。

コネクター１１１４は、カメラモジュール１１１０で生成されたデータを外部に出力したり、外部からデータを受信する。コネクター１１１４は、通信部で形成されることができて、通信ラインまたはデータラインで形成されることができる。コネクター１１１４は、イメージセンサー１１１２で生成されて出力されるベイヤーデータを第１処理部１１２１に伝達することができる。ここで、外部と連結されるラインで形成されるコネクター１１１４は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）で実現されることができる。ＭＩＰＩは、モバイル機器を構成する各構成要素の間のインターフニースであり、再使用性及び互換性が強化されたインターフニースとしてＤＳＩ（ＤＩＳＰｌａｙ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）及びＣＳＩ（Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）等を含む。カメラモジュール１１１０のコネクター１１１４は、ＣＳＩで実現されることができる。

カメラモジュール１１１０は、ドライバーＩＣ及びアクチュエータをさらに含むことができる。

ドライバーＩＣ（Ｄｒｉｖｅｒ ＩＣ）は、画面に文字や映像イメージが表示されるようにパネルに駆動信号及びデータを電気信号で提供する半導体（ＩＣ）を意味して、移動端末装置の多様な位置に配置されることができる。さらに、ドライバーＩＣは、アクチュエータを駆動することができる。アクチュエータは、レンズまたはレンズを含む鏡筒の位置を調節して焦点を調節することができる。例えば、アクチュエータは、ＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）方式であり得る。この時、レンズは可変焦点レンズを含んでもよい。可変焦点レンズを含む場合、ドライバーＩＣは、可変焦点レンズを駆動することができる。例えば、レンズは液体を含む液体レンズを含むことができ、この場合ドライバーＩＣは、液体レンズの液体を調節して焦点を調節することができる。

ＡＰモジュール１１２０は、カメラモジュール１１１０から出力される第１出力データを受信する。

より具体的に、ＡＰモジュール１１２０は、イメージセンサー１１１２から出力される第１ベイヤーデータをカメラモジュール１１１０から受信する。ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）１２０は、モバイル用メモリーチップでイメージ処理装置１１３０がモバイル装置である場合、モバイル装置での各種アプリケーシヨン作動とグラフィック処理を担当する核心半導体を意味する。ＡＰモジュール１１２０は、コンピュータの中央処理装置（ＣＰＵ）の機能とメモリー、ハードディスク、グラフィックカードなどその他の装備の連結を制御するチップセットの機能を全て含んでいるＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）形態で実現されることができる。

ＡＰモジュール１１２０は、第１処理部１１２１及び第２処理部１１２２を含む。

第１処理部１１２１は、第１解像度の前記第１ベイヤーデータを利用して第２解像度の第２ベイヤーデータを生成する。

より具体的に、第１処理部１１２１は、イメージセンサー１１１２で生成されて出力されるイメージデータであるベイヤーデータの解像度を高める。即ち、第１解像度の第１ベイヤーデータから第２解像度の第２ベイヤーデータを生成する。ここで、第２解像度は、第１解像度と異なる解像度値を有する解像度を意味し、第２解像度は、第１解像度よりも高いこともある。第１解像度は、カメラモジュール１１１０が出力するベイヤーデータの解像度であってもよく、第２解像度は使用者の設定により変わるか、予め設定された解像度であり得る。ここで、イメージセンサー１１１２は、ＲＧＢイメージセンサーであり得る。

イメージ処理装置１１３０は、使用者から解像度に対する情報の入力を受ける入力部（図示せず）をさらに含むことができる。使用者は、入力部を介して第１処理部１１２１で生成しようする第２解像度に対する情報を入力することができる。例えば、使用者は、解像度が高いイメージを得たい場合、第２解像度を第１解像度と差が大きい解像度に設定することができ、比較的早期に新しいイメージを取得したい場合、第１解像度と差が大きく出なかった解像度に第２解像度を設定することができる。

第１処理部１１２１は、スーパーレゾリューション（ＳＲ，Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）を行うために、第１解像度の第１ベイヤーデータから第２解像度の第２ベイヤーデータを生成することができる。スーパーレゾリューションは、低解像度イメージに基づいて高解像度イメージを生成する過程であり、物理的な光学ズームでなくイメージ処理を介して低解像度イメージから高解像度イメージを生成するデジタルズームの機能をする。スーパーレゾリューションは、圧縮またはダウンサンプリングされたイメージの品質を改善するのに利用されるか、装置的限界による解像度のイメージの品質を向上させるのに利用されることができる。その他にも多様な分野でイメージの解像度を高めるのに利用されることができる。

スーパーレゾリューションのように、解像度を高める過程を行うにあたり、ＲＧＢイメージでなくベイヤーデータを利用して解像度を高める過程を行うことによって、解像度を高めた結果の品質を高めることができる。ベイヤーデータは、イメージセンサー１１１２が生成して出力したロー（Ｒａｗ）データであるため、イメージ処理を行って生成されたＲＧＢイメージに比べて多くの情報を含んでいる。

ＲＧＢデータも１０－ｂｉｔ以上で処理する可能性もあるが、現在はディスプレイなどにだけ適用されていて、既存ＲＧＢデータを利用する場合、各チャネル当たり８－ｂｉｔのデータを有している。また、ＩＳＰ端で行われるｄｅｍｏｓａｉｃなどにより情報が失われることもある。しかし、これに対して、ベイヤーデータは、加工されなかった現在モバイルで使われるフォーマット上で１０－ｂｉｔデータを有している。１２－ｂｉｔまたは１４－ｂｉｔ形態のベイヤーデータも可能である。このように、ベイヤーデータを利用する場合、スーパーレゾリューションに使われる入力の情報量がＲＧＢデータ対比多くなるので、ベイヤーデータを利用して解像度を高めることが、ＲＧＢイメージを利用して解像度を高めることに比べて処理品質が優秀である。

第１処理部１１２１は、ベイヤーデータだけでなくＩＲデータの解像度を高めることもできる。イメージセンサー１１１２が、ＴｏＦセンサーである場合、ＴｏＦセンサーが生成してカメラモジュール１１１０が出力する第３解像度のＩＲデータを利用して、第４解像度のＩＲデータを生成することができる。第３解像度は、ＴｏＦセンサー１１２０が出力するＩＲデータの解像度であってもよく、第４解像度は、使用者の設定により変わるか、予め設定された解像度であり得る。第４解像度は、第２解像度と同じ解像度値を有する解像度であり得る。ＩＲデータから生成されるＩＲイメージを利用して、ベイヤーデータから生成されるＲＧＢイメージの画質を改善する場合、ＩＲイメージとＲＧＢイメージの大きさ、即ち解像度が同じになるようにＩＲデータが有する第４解像度が、第２ベイヤーデータが有する第２解像度と同じになるようにＩＲデータを生成することができる。

第２処理部１１２２は、第１処理部１１２１から出力される第２出力データを受信してイメージ処理を行う。

より具体的に、第２処理部１１２２は、第１処理部１１２１から出力される第２出力データに対するイメージ信号処理（ＩＳＰ，Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）を行ってイメージを生成する。第２処理部１１２２は、ＩＳＰプロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であり得る。ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）通信を利用して、第１処理部１１２１が出力した第２出力データを受信して、イメージ信号処理過程を行うことができる。

第２処理部１１２２は、第２出力データが第２ベイヤーデータの時、第２ベイヤーデータからＲＧＢイメージを生成することができる。この時、第２処理部１１２２は、映像信号を処理しながら複数のサブ過程を行うことができる。例えば、受信した映像に対してガンマ値補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、色彩補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ ｃｏｒｒｅｃｔｉｏｎ）、自動ホワイト値補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）過程のうちいずれか１つ以上を行うことができる。

第１処理部１１２１が、ベイヤーデータだけでなくＩＲデータを出力する場合、第２処理部１１２２は、第１処理部１１２１の第２出力データであるベイヤーデータから生成されるＲＧＢイメージ及びＩＲデータから生成されるＩＲイメージを演算して画質が改善されたＲＧＢイメージを生成することができる。低照度環境でベイヤーデータだけで生成されるＲＧＢイメージは、明るさが低いか、ノイズが酷く画質が非常に低下する。ベイヤーデータだけでＲＧＢイメージを生成するに発生し得る画質低下を改善するために、ＩＲイメージを利用することができる。即ち、ＲＧＢイメージ及びＩＲイメージを演算して画質が改善された第２ＲＧＢイメージを生成することができる。ＲＧＢイメージセンサー及びＴｏＦイメージセンサーを含むカメラモジュール１１１０を利用して、各データの解像度を高めるズーム機能だけでなく高解像度ＩＲデータを利用して、ＲＧＢイメージの低照度を改善することができる。ベイヤーデータまたはＩＲデータは、解像度を高める過程を介して高解像度ＲＧＢイメージ、高解像度ＩＲイメージ、及び高解像度深さイメージを生成することができる。また、ＩＲイメージは、ＲＧＢイメージよりも解像度が非常に低いので（１１Ｍｐ以下）、ＩＲデータを高解像度で処理する処理部は、チップ（ｃｈｉｐ）形態での実現に適する。小型化チップを作るためには、アルゴリズムロジック（ｌｏｇｉｃ）と演算時必要なデータメモリーを最小化することが重要であるが、カメラ装置の解像度がメモリーと演算量に直結するためである。ＩＲデータの解像度を高める過程は、ベイヤーデータの解像度を高める第１処理部１１２１のチップを利用してもよい。第１処理部１１２１チップの一部を使いながら、ＩＲデータの解像度を高めるように学習されたｗｅｉｇｈｔ値だけスイッチングすれば良い。このように解像度が改善されたＩＲイメージを利用して、低照度状況でのＲＧＢイメージを改善するようになると、さらに高い改善効果が現れることができて、深さ映像と演算（ｆｕｓｉｏｎ）を介して多様なアプリケーシヨン（例えば、顔認識、物体認識、大きさ認識など）に適用すれと認識率が向上する。

第１処理部１１２１は、前記第１ベイヤーデータから前記第２ベイヤーデータを生成することができる。ここで、ディープラーニングを行うとの意味は、ディープラーニングを介して導き出された畳み込みニューラルネットワークを利用して、第２ベイヤーデータを生成することを意味する。ディープラーニング以外の解像度を高めるアルゴリズムを利用して、第１ベイヤーデータから第２ベイヤーデータを生成してもよい。スーパーレゾリューション（ＳＲ）に利用される様々なアルゴリズムを利用できることは当然である。第１処理部１１２１が第１出力データの解像度を高める過程は、以後図１８及び図３～図７を参照して詳しく説明する。

第１処理部１１２１は、第２処理部１１２２と区分されるチップ形態で実現されることができる。第１ベイヤーデータから第２ベイヤーデータを生成する第１処理部１１２１とイメージ信号処理を行う第２処理部１１２２を別途のチップで実現することができる。第１処理部１１２１を小型チップで形成してＡＰモジュール上に適用することによって、ＩＳＰである第２処理部１１２２のようなＡＰモジュールの既存構成を変更せずに、ベイヤーデータの解像度を高める構成だけをＡＰモジュール上に追加することができる。

図１５のように、イメージ処理装置１１３０がモバイル装置である場合、カメラモジュール１１１０は、モバイル装置に含まれるカメラ装置であって、モバイル装置の各種アプリケーシヨンを処理するＡＰモジュール１１２０が形成されて、第１処理部１１２１はＡＰモジュール上にＩＳＰプロセッサである第２処理部１１２２と区分される別途のチップ形態で実現されることができる。

カメラモジュール１１１０で生成されて出力される第１出力データであるベイヤーデータは、加工されなかったロー（Ｒａｗ）データであり、この時、ベイヤーデータは、ベイヤーローデータ（Ｂａｙｅｒ ｒａｗ ｄａｔａ）で表すことができる。ベイヤーデータは、ＭＩＰＩ通信を介してＡＰモジュール上にチップ形態で形成される第１処理部１１２１が受信する。第１処理部１１２１は、ディープラーニングを行って学習された畳み込みニューラルネットワークを利用して第１ベイヤーデータから第２ベイヤーデータを生成する。第１処理部１１２１は、ディープラーニングネットワークチップ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ Ｃｈｉｐ）で表すことができる。第１処理部１１２１が、低解像度ベイヤーローデータを受信して処理することによって、ＭＩＰＩ帯域幅に対する考慮やカメラモジュールとの別途の制御信号に対する追加的な作業が必要でない。従って、既存の装置をそのままで利用できて、互換性が高く、設計の自由度も高くなる。

第１処理部１１２１は、第１ベイヤーデータを利用して第２ベイヤーデータを生成して、第１処理部１１２１で出力される第２出力データは、第２処理部１１２２が受信してイメージ信号処理を行ってイメージを生成する。

第１処理部１１２１は、前記ＡＰモジュール上に前記第２処理部と区分されるＩＰブロック形態で実現されてもよい。

ＩＰ（ｉｎｔｅｌｌｅｃｔｕａｌ ｐｒｏｐｅｒｔｙ）ブロックとは、再使用可能なロジックユニット、セル、または、チップレイアウト設計を称して、特定当事者の知的財産として考慮されるブロックを意味する。ＩＰブロックは、ＩＰコアであり得る。ＩＰブロックは、設計に存在するライセンスされた及び／または自身所有の知的財産（例えば、特許、ソースコード著作権、営業秘密、ノウハウなど）を有する当事者によってＩＣ設計内でビルディングブロックとして使われることができる。ＩＰブロックは、ＡＰモジュールのようなチップの設計のために、該当チップに適用されることができる設計ブロックで、ＩＰブロックを利用することによって、チップ設計を容易にすることができる。複数のＩＰブロックを利用することによってＳｏＣのようなチップ設計をすることができる。

ＡＰモジュールにはモバイル装置で機能を行う様々なアプリケーシヨンのＩＰブロックを含む。ＬＴＥ ｍｏｄｅｍ、ＧｒＡＰｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）、ｗｉ－ｆｉ、ＤＩＳＰｌａｙ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＤＰＵ）、Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＶＰＵ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｈｅｘａｇｏｎ Ｖｅｃｔｏｒ ｅＸｔｅｎｓｉｏｎｓ（ＨＶＸ）、Ａｌｌ－Ｗａｙｓ Ａｗａｒｅ、Ａｕｄｉｏ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、Ｌｏｃａｔｉｏｎ、Ｓｅｃｕｒｉｔｙなどモバイル装置に必要な機能を行うアプリケーシヨンのＩＰブロックとカメラ装置から受信するイメージ信号に対してイメージ信号処理を行う第２処理部１１２２に該当するＣａｍｅｒａ Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＩＳＰ）を含むことができる。

第１処理部１１２１及び第２処理部１１２２は、図１６のように、ＡＰモジュールのＩＰブロックで実現されることができる。第２処理部１１２２は、イメージ信号処理（ＩＳＰ）ＩＰブロックであり得る。第１ベイヤーデータから第２ベイヤーデータを生成する第１処理部１１２１をＩＰブロックで構成して、ＡＰモジュールの既存チップ上に追加することができる。この時、第１処理部１１２１のＩＰブロックは、第２処理部であるイメージ信号処理ＩＰブロックと区分されるように形成されることができる。

第１処理部１１２１が前記ＡＰモジュール上に第２処理部と区分されるＩＰブロック形態で形成される場合、図１７のように、カメラモジュール１１１０から出力される第１出力データであるベイヤーデータは、ＡＰモジュールのＩＰブロックで形成された第１処理部１１２１が受信する。以後、第１処理部（１１２１）ＩＰブロックで第１ベイヤーデータを利用して第２ベイヤーデータを生成して、第１処理部（１１２１）ＩＰブロックで出力される第２出力データは、第２処理部（１１２２）ＩＰブロックが受信してイメージ信号処理を行ってイメージを生成する。

第１処理部１１２１は、図１８のように、第１解像度の第１ベイヤーデータから第２解像度のベイヤーデータを生成するディープラーニングネットワーク（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）１２１－１を含み、第１解像度の第１ベイヤーデータから第２解像度のベイヤーデータを生成するのに利用されるディープラーニングパラメータであるベイヤーパラメータ１１２１－２を保存することができる。ディープラーニングパラメータ１１２１－２は、メモリー上に保存されていることができる。第１処理部１１２１は、チップ（ｃｈｉｐ）の形態で実現されて第１ベイヤーデータから第２ベイヤーデータを生成することができる。

第１処理部１１２１は、１つ以上のプロセッサを含むことができ、プロセッサを介して行われる少なくとも１つのプログラム命令は、１つ以上のメモリーに保存されることができる。メモリーは、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリーを含むことができる。但し、これに限定されず、場合によってメモリー１１１５は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非揮発性メモリーを含んでもよい。

通常のカメラ装置あるいはカメラモジュール１１１０は、イメージセンサーからベイヤーパターンの伝達を受けて色をつける過程（色補間過程、Ｃｏｌｏｒ ＩｎｔｅｒｐｏｌａｔｉｏｎあるいはＤｅｍｏｓａｉｃ）を経てイメージ形態のデータを出力するが、イメージからベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）情報を含んでいる情報を抽出して、抽出された情報を含むデータを外部に送信することができる。ここで、ベイヤーパターンは、カメラ装置またはカメラモジュール１１１０に含まれた光信号を電気信号に変換するイメージセンサーが出力する加工されなかったデータ（Ｒａｗ Ｄａｔａ）を含むことができる。

第１処理部１１２１に適用されるディープラーニングアルゴリズム（モデル）は、入力されたイメージデータの解像度よりもさらに高い解像度のイメージデータを生成するアルゴリズムであって、ディープラーニングトレーニング（ｔｒａｉｎｉｎｇ）を介して学習を繰り返し行って生成された最適なアルゴリズムを意味することがある。

ディープラーニングとは、深層学習とも表現されるが、多くの非線形転換手法の組み合わせによって高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎｓ、多量のデータや複雑な資料の中で核心的な内容または機能を要約する作業）を試みる機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）に関するアルゴリズムの集合を意味する。

具体的に、ディープラーニングは、ある学習データをコンピュータが理解できる形態（例えば、イメージの場合はピクセル（Ｐｉｘｅｌ）情報を列ベクトルで表現するなど）で表現（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）して、これを学習に適用するためのモデルを導き出す（どのようにすればより良い表現手法を作り、またどのようにこれらを学習するモデルを作るかに対する）学習手法で、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）及びＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ）などの学習手法を含むことができる。

第１処理部１１２１は、第１ベイヤーデータから第２ベイヤーデータを生成する。第１解像度の第１ベイヤーデータから第２解像度の第２ベイヤーデータを生成する方法の一例として、図３のディープラーニングモデルを利用することができる。

図３のディープラーニングモデルは、深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）アルゴリズムが適用されたディープラーニングモデルであって、ＤＮＮアルゴリズムが適用されることにより新しい解像度のデータを生成する過程を図示した図である。

深層ニューラルネットワーク（ＤＮＮ）は、入力層（ｉｎｐｕｔ ｌａｙｅｒ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）との間に多重の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）が存在する深層（ｄｅｅｐ）ニューラルネットワーク、動物の視覚皮質の構造と類似するようにニューロンの間の連結パターンを形成する畳み込み（ｃｏｎｖｏｌｕｔｉｏｎａｌ）ニューラルネットワーク、時間により瞬間毎にニューラルネットワークを積み上げる再帰（ｒｅｃｕｒｒｅｎｔ）ニューラルネットワークで具体化されることができる。

具体的に、ＤＮＮは畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）とサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を繰り返してデータの量を減らし、歪曲させてニューラルネットワークを分類する。即ち、ＤＮＮは、特徴抽出と分類行為を介して分類結果を出力するが、主にイメージを分析するのに使われて、畳み込みは映像フィルタリングを意味する。

図３を参照してＤＮＮアルゴリズムが適用された第１処理部１１２１がディープラーニングを行う過程を説明すると、第１処理部１１２１は、第１解像度のベイヤーデータ１１０を基に倍率を高めようとする領域に対して畳み込みとサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行う。

倍率を高めるとは、第１ベイヤーデータの中で特定の部分だけを拡大することを意味する。従って、使用者によって選択されなかった部分は、使用者が関心がない部分であるため、解像度を高める過程を行う必要がないため使用者によって選択された部分についてのみ畳み込みとサブサンプリング過程を行うことができる。これにより、不要な演算を行わないことで、演算量を減らすことができて処理速度を高めることができる。

サブサンプリングは、イメージの大きさを減らす過程を意味する。この時、サブサンプリングは、マックス－プール（Ｍａｘ Ｐｏｏｌ）方法などを使うことができる。マックス－プールは、該当領域で最大値を選択する手法であって、ニューロンが最も大きい信号に反応するのと似ている。サブサンプリングは、ノイズを減少させて、学習の速度を増加させることができる長所が存在する。

畳み込みとサブサンプリングが行われると、図３に図示されたように複数のイメージデータ１２０が出力されることができる。ここで、複数のイメージデータ１２０は、特徴マップであり得る。その後複数のイメージデータを基にアップスケール（Ｕｐ Ｓｃａｌｅ）方式で利用して互いに異なる特徴を有する複数のイメージデータを出力させることができる。アップスケール方式は、互いに異なるr＾２個のフィルターを利用してイメージをｒ＊ｒ倍にスケールを高めることを意味する。

アップスケールにより複数のイメージデータが、図３に図示されたように出力されると１３０、第１処理部１１２１はこのようなイメージデータを基に再組み合わせをして最終的に第２解像度の第２ベイヤーデータ１４０を出力することができる。

第１処理部１１２１がディープラーニングを行って第１ベイヤーデータから第２ベイヤーデータを生成するのに利用するディープラーニングパラメータは、ディープラーニングトレーニングを介して導き出されることができる。

ディープラーニングは、トレーニング（Ｔｒａｉｎｉｎｇ）とインファレンス（ｉｎｆｅｒｅｎｃｅ）に分けることができる。トレーニングは、入力データを介してディープラーニングモデルを学習する過程を意味して、インファレンスは、学習されたディープラーニングモデルでイメージ処理などを行う過程を意味する。即ち、トレーニングを介して導き出されるディープラーニングモデルのパラメータを適用したディープラーニングモデルを利用してイメージを処理する。

ディープラーニングを行って第１ベイヤーデータから第２ベイヤーデータを生成するために、ベイヤーデータ処理に必要な第１ディープラーニングパラメータをトレーニングを介して導き出さなければならない。トレーニングを介して第１ディープラーニングパラメータが導き出されると、該当ベイヤーパラメータを適用したディープラーニングモデルを利用してディープラーニングを行うことによって第１ベイヤーデータから第２ベイヤーデータを生成するインファレンスを行うことができる。従って、ディープラーニングを行うためのパラメータを導き出すためのトレーニング過程が行われるべきである。

ディープラーニングトレーニング過程は、図４のように反復的な学習を介して行われることができる。互いに異なる解像度を有する第１サンプルデータ（Ｘ）と第２サンプルデータ（Ｚ）の入力を受けた後、これを基にディープラーニングトレーニングを行うことができる。

具体的に、第１サンプルデータ（Ｘ）を入力データとして、ディープラーニングトレーニングを行った第１出力データ（Ｙ）と第２サンプルデータ（Ｚ）を比較して分析して生成されたパラメータを基にさらに高い解像度のベイヤーデータを生成するアルゴリズムを生成することができる。

ここで、第１出力データ（Ｙ）は、実際のディープラーニングを行って出力されたデータであり、第２サンプルデータ（Ｚ）は、使用者が入力するデータであって、第１サンプルデータ（Ｘ）をアルゴリズムに入力した時、最も理想的に出力されることができるデータを意味することがある。ここで、第１サンプルデータ（Ｘ）は、第２サンプルデータ（Ｚ）をダウンサンプリングして解像度を低くしたデータであり得る。この時、ダウンサンプリング程度は、ディープラーニングを介して拡大する比率、即ちデジタルズームを行うズーム比率により異なることがある。例えば、ディープラーニングを介して行われるズーム比率が３倍で、第２サンプルデータ（Ｚ）の解像度が９ＭＰ（Ｍｅｇａ Ｐｉｘｅｌ）の場合、第１サンプリングデータ（Ｘ）の解像度が１ＭＰであってこそ、ディープラーニングを行って解像度が３倍大きくなった第１出力データ（Ｙ）の解像度９ＭＰになるので、９Ｍの第２サンプルデータ（Ｚ）を１／９にダウンサンプリングして１ＭＰの第１サンプルデータ（Ｙ）を生成することができる。

第１サンプルデータ（Ｘ）の入力に係るディープラーニングを行って出力される第１出力データ（Ｙ）と第２サンプルデータ（Ｚ）を比較して分析して、二つのデータ間差を算出して、二つのデータ間差を減らす方向でディープラーニングモデルのパラメータにフィードバックを与えることができる。この時、二つのデータ間差は損失関数の中の１つである平均自乗誤差であるＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）方式により算出されることができる。この他にＣＥＥ（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｅｒｒｏｒ）等多様な損失関数を利用することができる。

具体的に、出力データに影響を与えるパラメータを分析した後、パラメータを変更したり削除または新しいパラメータを生成する方式でフィードバックを与えて第２サンプルデータ（Ｚ）と実際の出力データである第１出力データ（Ｙ）の差が無いようにすることができる。

図４に図示されたように、アルゴリズムに影響を与えるレイヤーが計３個で（Ｌ１、Ｌ２、Ｌ３）、各レイヤーに計８個のパラメータ（Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２２、Ｐ３１、Ｐ３２）が存在すると仮定することができる。かかる場合、Ｐ２２パラメータの値を増加させる方向でパラメータを変更したところ、第１出力データ（Ｙ）と第２サンプルデータ（Ｚ）の差が増加するなら、フィードバックはＰ２２パラメータを減少させる方向でアルゴリズムを変更することができる。これとは逆に、Ｐ３３パラメータの値を増加させる方向でパラメータを変更したところ、第１出力データ（Ｙ）と第２サンプルデータ（Ｚ）の差が減少したなら、フィードバックはＰ３３パラメータを増加させる方向でアルゴリズムを変更することができる。

即ち、このような方法によりディープラーニングが適用されたアルゴリズムは、第１出力データ（Ｙ）が第２サンプルデータ（Ｚ）と似ているように出力されるように、パラメータを導き出すことができる。この時、第２サンプルデータ（Ｚ）の解像度は、第１出力データ（Ｙ）の解像度と同じか高くなり、第２サンプルデータ（Ｚ）の解像度は、第１出力データ（Ｙ）の解像度と同じであり得る。

ディープラーニングトレーニングは、図４のように、出力結果と比較対象が存在して、比較対象との比較により学習を行う場合だけでなく、補償値を利用してトレーニングを行うこともできる。この場合、まず周辺環境を認知して現在の環境状態をディープラーニングトレーニングを行うプロセッサに伝達することができる。プロセッサは、これに合う行動（Ａｃｔｉｏｎ）を行って、環境はさらにその行動に係る補償値をプロセッサに知らせる。そしてプロセッサは補償値を最大にする行動を選ぶようになる。このような過程に介して学習を繰り返し進めることによって、トレーニングを行うことができる。その他にも多様なディープラーニングトレーニング方法を利用してディープラーニングトレーニングを行うことができる。

一般に、ディープラーニングができるプロセッサを小型のチップで実現するためには、ディープラーニングのプロセスとメモリーゲート（ｇａｔｅ）数が最小化されなければならないが、ここでゲート数に最も大きく影響を与える要素はアルゴリズム複雑度とクロック（Ｃｌｏｃｋ）当たり処理されるデータ量であり、プロセッサが処理するデータの量は入力解像度により異なる。

従って、一実施例に係るプロセッサ１２２０は、ゲートの数を減らすために入力解像度を減らした後、後でアップスケーリング（Ｕｐ Ｓｃａｉｌｉｎｇ）する方式で高配率のイメージを生成するので、より速くイメージを生成できる長所が存在する。

例えば、入力解像度が８Ｍｐ（Ｍｅｇａ Ｐｉｘｅｌ）のイメージを２倍ズームをするとすると、１／４領域（２Ｍｐ）を基に横と縦を各々２倍ずつアップスケーリング（Ｕｐ ｓｃａｉｌｉｎｇ）して２倍ズームをする。そして１／４領域（２Ｍｐ）を１／４ダウンスケーリング（ｄｏｗｎ ｓｃａｌｉｎｇ）して解像度が０．５Ｍｐであるイメージをディープラーニング処理入力データとして使った後、生成されたイメージを基に横と縦を各々４倍ずつアップスケーリング（Ｕｐ ｓｃａｉｌｉｎｇ）する方式で４倍ズームをすると、２倍ズームをしたのと同じ領域のズーム映像を生成することができる。

従って、入力解像度損失に係る性能低下を防止するために、ディープラーニングが解像度損失に対応する倍率だけ学習をさせてイメージを生成するので、性能低下を最小化できる長所が存在する。

また、高解像度のイメージを実現するためのディープラーニング基盤のアルゴリズムは、一般にフレームバッファー（Ｆｒａｍｅ Ｂｕｆｆｅｒ）を使うが、フレームバッファーの場合、通常のＰＣ及びサーバーでは、その特性上リアルタイム駆動が難しいこともある。

しかし、本発明の第２実施例に係る第１処理部１１２１は、ディープラーニングを介してすでに生成されているアルゴリズム適用するので、低仕様カメラモジュール及びこれを含む色々な装置で簡単に適用が可能で、このようなアルゴリズムを具体的に適用することにおいていくつかのラインバッファー（Ｌｉｎｅ Ｂｕｆｆｅｒ）だけを使う方式で高解像度を実現するので、比較的大きさが小さい小型チップ（Ｃｈｉｐ）でプロセッサを実現することができる効果も存在する。

第１処理部１１２１は、前記第１ペイトデータをライン別に保存する少なくとも１つのラインバッファーを含み、前記ラインバッファーに所定個数ラインの第１ベイヤーデータが保存された場合、前記ラインバッファーに保存された第１ベイヤーデータに対する第２ベイヤーデータ生成を行うことができる。第１処理部１１２１は、第１ベイヤーデータをライン別に分けて受信するが、ライン別に受信する第１ベイヤーデータをラインバッファーに保存する。第１処理部１１２１はすべてのラインの第１ベイヤーデータを受信した後、第２ベイヤーデータを生成せずに、一定個数ラインの第１ベイヤーデータが保存された場合、前記ラインバッファーに保存された第１ベイヤーデータに対する第２ベイヤーデータ生成を行うことができる。解像度を９倍即ち、３倍ズームに該当する解像度を高めようとする場合、３つのラインの第１ベイヤーデータがラインバッファーに保存された場合、保存された３つのラインの第１ベイヤーデータに対する第２ベイヤーデータを生成する。ラインバッファーが形成される具体的な構成は図５を参照して説明する。

図５を参照すると、第１処理部１２１は、第１ベイヤーデータを受信する複数のラインバッファー１１、ラインバッファーを介して出力された第１ベイヤーデータを波長帯域別に配列する第１配列データを生成する第１データ整列部２２１、ディープラーニングを行うディープラーニングプロセッサ２２２、ディープラーニングプロセッサ２２２を介して出力された第２配列データをベイヤーパターンで配列して第２ベイヤーデータを生成する第２データ整列部２２３及び第２データ整列部２２３を介して出力された第２ベイヤーデータを出力する複数のラインバッファー１２を含むことができる。

第１ベイヤーデータは、先述したベイヤーパターンを含んでいる情報として、図５でベイヤーデータで記述したが、ベイヤーイメージまたはベイヤーパターンと定義されてもよい。

また、図５では、第１データ整列部２２１と第２データ整列部２２３を便宜上別個の構成要素で図示したが、これに限定されず、ディープラーニングプロセッサ２２２が後述する第１データ整列部２２１と第２データ整列部２２３が行う機能を行ってもよい。

図５を参考にすると、第１解像度の第１ベイヤーデータは、使用者によって選択された領域に対するイメージ情報を（ｎ＋１）個のラインバッファー１１a、１１b、～１１ｎ、１１ｎ＋１に転送されることができる。先述した通り、使用者によって選択された領域に対してのみ第２解像度のベイヤーイメージを生成するので、使用者によって選択されなかった領域に対するイメージ情報は、ラインバッファー１１に送信されない。

具体的に、第１ベイヤーデータは、複数の行データを含んでいて、このような複数の行データは、複数のラインバッファー１１を介して第１データ整列部２２１に送信されることができる。

例えば、ディープラーニングプロセッサ２２２によってディープラーニングを行うべき領域が３×３領域であるない、計３つのラインが第１データ整列部２２１またはディープラーニングプロセッサ２２２で同時に送信されてこそディープラーニングを行うことができる。従って、３つのラインのうち最初のラインに対する情報は、第１ラインバッファー１１ａに送信された後、第１ラインバッファー１１ａに保存されて、３つのラインのうち二番目のラインに対する情報は、第２ラインバッファー１１ｂに送信された後、第２ラインバッファー１１ｂに保存されることができる。

その後三番目のラインの場合、以後受信されるラインに対する情報がないために、ラインバッファー１１に保存されず直ちにディープラーニングプロセッサ２２２または第１データ整列部２２１に送信されることができる。

この時、第１データ整列部２２１またはディープラーニングプロセッサ２２２は、３つのラインに対する情報を同時に受信しなければならないため、第１ラインバッファー１１ａと第２ラインバッファー１１ｂに保存されている最初のラインに対する情報と二番目のラインに対する情報も同時にディープラーニングプロセッサ２２２または第１イメージ整列部２１９に送信されることができる。

これとは逆に、ディープラーニングプロセッサ２２２によってディープラーニングを行うべき領域が（Ｎ＋１）×（Ｎ＋１）領域なら、総（Ｎ＋１）個のラインが第１データ整列部２２１またはディープラーニングプロセッサ２２２に同時に送信されてこそディープラーニングを行うことができる。従って、（Ｎ＋１）個のラインのうち最初のラインに対する情報は、第１ラインバッファー１１ａに送信された後、第１ラインバッファー１１ａに保存されて、（Ｎ＋１）個のラインのうち二番目のラインに対する情報は、第２ラインバッファー１１ｂに送信された後、第２ラインバッファー１１ｂに保存されて、（Ｎ＋１）個のラインのうちＮ番目のラインに対する情報は、第Ｎラインバッファー１１ｎに送信された後、第Ｎラインバッファー１１ｎに保存されることができる。

その後、（Ｎ＋１）番目のラインの場合、以後で受信されるラインに対する情報がないために、ラインバッファー１１に保存されず直ちにディープラーニングプロセッサ２２２または第１データ整列部２２１に送信されて、先述した通りこの際、第１データ整列部２２１またはディープラーニングプロセッサ２２２は、（Ｎ＋１）個のラインに対する情報を同時に受信しなければならないので、ラインバッファー１１ａ～１１ｎに保存されている最初のラインからＮ番目のラインに対する情報も同時にディープラーニングプロセッサ２２２または第１イメージ整列部２１９に送信されることができる。

第１イメージ整列部２１９は、ラインバッファー１１からベイヤーデータを受信した後、ベイヤーデータを波長帯域別に配列して、第１配列データを生成した後、生成された第１配列データをディープラーニングプロセッサ２２２に送信することができる。

第１イメージ整列部２１９は、受信した情報を特定波長または特定色別（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）に分類して配列した第１配列データを生成してもよい。

その後、ディープラーニングプロセッサ２２２は、第１イメージ整列部２１９を介して受信した第１配列データを基にディープラーニングを行って、第２配列データを生成することができる。

従って、ディープラーニングプロセッサ２２２は、第１イメージ整列部２１９を介して受信した第１配列データを基にディープラーニングを行って、第１解像よりも高い解像度の第２解像度の第２配列データを生成することができる。

例えば、先述した通り、３×３領域に対して第１配列データを受信すると、３×３領域に対してディープラーニングを行って、（ｎ＋１）×（ｎ＋１）領域に対して第１配列データを受信すると、（ｎ＋１）×（ｎ＋１）領域に対してディープラーニングを行うことができる。

その後、ディープラーニングプロセッサ２２２によって生成された第２配列データは、第２データ整列部２２３に送信されて、第２データ整列部２２３は、第２配列データをベイヤーパターンを有する第２ベイヤーデータに変換させることができる。

その後変換された第２ベイヤーデータは、複数のラインバッファー１２ａを介して外部に出力されて、出力された第２ベイヤーデータはさらに他の過程のよつて第１解像度よりも高い解像度である第２解像度を有しているベイヤーデータで生成することができる。

図６及び図７は、第１処理部１１２１によって第１解像度の第１ベイヤーデータのイメージが第２解像度の第２ベイヤーデータに変換されたイメージを図示した図である。

第１解像度のベイヤーデータ１０で使用者が特定領域を選択した場合、その領域に対して第１処理部１１２１は、解像度を変換して、その結果として図６及び図７に図示されたように第２解像度のベイヤーデータ４０が生成されることができる。

第１処理部１１２１は、前記第２ベイヤーデータを前処理することができる。第１処理部１１２１は、第１解像度の第１ベイヤーデータを利用して第２解像度の第２ベイヤーデータを生成して、生成された第２ベイヤーデータに対する前処理を行うことができる。この時、第１処理部１１２１は、ホワイトバランス（ｗｈｉｔｅ ｂａｌａｎｃｅ）、デノイジング（ｄｅ－ｎｏｓｉｎｇ）、デフォーカス（ｄｅ－ｆｏｃｕｓ）、デブラー（ｄｅ－ｂｌｕｒ）、デモザイク（ｄｉ－ｍｏｓａｉｃ）中少なくとも１つ以上を行うことができる。その他にも、前処理に該当する様々な前処理を行うことができる。

第１処理部１１２１でベイヤーデータの解像度を高めるスーパーレゾリューションだけでなく、第２処理部１１２２で処理できるイメージ前処理を行うことによって、第２処理部１１２２の演算量を減らすことができる。即ち、第２処理部１１２２の前処理機能を第１処理部１１２１が行って機能を分担して、ＩＳＰの負担を減らすことができる。第１処理部１１２１は、前処理を行う前処理部をさらに含んでもよい。

この時、第１処理部１１２１は、ディープラーニングを行って学習された畳み込みニューラルネットワークを利用して、前記第２ベイヤーデータを前処理することができる。第１処理部１１２１が行う前処理過程のうちベイヤーデータの解像度を高める過程と同じディープラーニングネットワークを利用して処理できる前処理過程がある場合、該当前処理過程に対するディープラーニングパラメータを保存して、該当ディープラーニングパラメータを利用して前処理過程を行うことができる。１つ以上の前処理過程に対する別途のディープラーニングネットワーク及び該当ディープラーニングパラメータを保存するメモリーを含んでもよい。

第１処理部１１２１は、前記第２ペイトデータを前処理してＲＧＢイメージまたはｙｃｂｃｒイメージを生成することができる。第２解像度を有する第２ベイヤーデータに対して前処理を行うことによって前処理された第３ベイヤーデータを生成し、さらに、前処理を介してＲＧＢイメージまたはＲＧＢイメージで変換されたｙｃｂｃｒイメージを生成することができる。第１処理部１１２１は、複数の前処理過程を行うが、行われる前処理過程により多様なデータを出力することができる。即ち、第２ベイヤーデータからＲＧＢイメージ以前に該当する第３ベイヤーデータを生成することができる。第３ベイヤーデータは、ＲＧＢイメージではないか、ホワイトバランスのような前処理を介して、ホワイトバランスが行われたたベイヤーデータである第３ベイヤーデータを生成することができる。または、第２ベイヤーデータに対してＲＧＢイメージを生成するための前処理過程を行って、ＲＧＢイメージを生成することができる。さらに、前記のように生成されたＲＧＢイメージをｙｃｂｃｒ変換を介してｙｃｂｃｒイメージを生成することができる。ＲＧＢイメージからｙｃｂｃｒイメージに変換した場合、ディスプレイ上に直ちにｙｃｂｃｒイメージを表示することができる。

第１処理部１１２１で行われた前処理過程は、使用者の設定、使用環境、または、第２処理部１１２２のＩＳＰの作業状態により異なることがある。第１処理部１１２１は、前処理を行って第２処理部１１２２のＩＳＰの機能を分担して、これは使用者の設定によりどのような前処理過程を第１処理部１１２１で行うのか設定されることができる。または、使用環境や、ＩＳＰの現在の作業状況によりＩＳＰ機能の分担が必要な場合、第１処理部１１２１でどのような前処理過程を行うのか設定されることができる。これは、１つ以上のプロセッサで環境情報を受信して第１処理部１１２１での前処理実行設定値を決めることができる。または、ルックアップテーブル（ＬＵＴ）で環境情報などに係る設定値を保存して、第１処理部１１２１での前処理実行設定値を適用することができる。

本発明の他の実施例に係るイメージ処理装置２１００は、図１９のように、カメラモジュール２１１０、ベイヤーデータ処理モジュール２１２０、及びＡＰモジュール２１３０で構成されることができる。図１３または図１６のイメージ処理装置１１３０の第１処理部１１２１をＡＰモジュール内でない別途のモジュールであるベイヤーデータ処理モジュール２１２０で構成することができる。ベイヤーデータ処理モジュール２１２０をＡＰモジュール２１３０と別途のモジュールで実現する以外には図１９のイメージ処理装置２１００で行われるイメージ処理過程は、図１３のイメージ処理装置１１３０で行われるイメージ処理過程と対応するが、以下、図１９のイメージ処理装置２１００について図１３のイメージ処理装置１１３０で行われるイメージ処理過程と重複する説明は省略して簡略に説明する。

カメラモジュール２１１０はイメージセンサーを含み、ベイヤーデータ処理モジュール２１２０は、カメラモジュール２１１０から出力される第１解像度の第１ベイヤーデータを利用して、第２解像度の第２ベイヤーデータを生成する。ベイヤーデータ処理モジュール２１２０は、ＡＰモジュール２１３０と区分される別途のチップ形態で実現されることができる。

ベイヤーデータ処理モジュール２１２０は、前記第１ベイヤーデータから前記第２ベイヤーデータを生成できて、ベイヤーデータ処理モジュール２１２０は、前記第２ベイヤーデータを前処理する前処理部を含むことができる。この時、前処理部は、前記第２ベイヤーデータを前処理することによって、第３ベイヤーデータ、ＲＧＢイメージ、またはｙｃｂｃｒイメージのいずれかを生成することができる。

ＡＰモジュール２１３０は、ベイヤーデータ処理モジュール２１２０から出力される出力データを受信してイメージ処理を行う。

本発明のさらに他の実施例に係るイメージ処理装置は、第１解像度の第１ベイヤーデータを利用して第２解像度の第２ベイヤーデータを生成する第１処理部を含むが、前記第１処理部は、ＡＰモジュールに形成されるイメージ信号処理部と区分されて形成されることができる。ここで、第１処理部１１２１は、図１３または図１６のイメージ処理装置１１３０の第１処理部１１２１、図１９のイメージ処理装置２１００のベイヤーデータ処理モジュール２１２０に対応する構成で、本発明のさらに他の実施例に係るイメージ処理装置は、第１処理部を含むことができ、第１処理部は、前記第１ベイヤーデータから前記第２ベイヤーデータを生成できて、前記第２ベイヤーデータを前処理する前処理部を含むことができる。この時、前処理部は、前記第２ベイヤーデータを前処理することによって、第３ベイヤーデータ、ＲＧＢイメージ、またはｙｃｂｃｒイメージのいずれかを生成することができる。

図２０は、本発明の第２実施例に係るイメージ処理方法のフローチャートで、図２１は、本発明の他の実施例に係るイメージ処理方法のフローチャートである。図２０及び図２１の各段階に対する詳細な説明は、図１３～図１９のイメージ処理装置に対する詳細な説明に対応するため、以下、重複する説明は省略する。

本発明の第２実施例に係るイメージ処理方法は、１つ以上のプロセッサを含むイメージ処理装置でイメージを処理する方法に関するものである。

Ｓ１１段階で、第１解像度を有する第１ベイヤーデータを受信して、Ｓ１２段階でディープラーニングを行って学習された畳み込みニューラルネットワークを利用してＳ１３段階で第２解像度を有する第２ベイヤーデータを生成する。

Ｓ１３段階以後、Ｓ２１段階で第２ベイヤーデータに対して前処理を行うことができ、前処理を行った後、Ｓ２２段階で第３ベイヤーデータ、ＲＧＢイメージまたはｙｃｂｃｒイメージのいずれかを生成する段階をさらに含むことができる。以後、イメージ信号処理を介し得ディスプレイに出力されることができるイメージを生成できる段階をさらに含むことができる。

本実施例に係る変形例は、図１～図１２を参照して説明した第１実施例の一部構成と図１３～図２１を参照して説明した第２実施例の一部構成を共に含むことができる。即ち、変形例は、図１～図１２を参照して説明した実施例を含むが、図１～図１２を参照して説明した実施例の一部構成が省略されて対応する図１３～図２１を参照して説明した実施例の一部構成を含むことができる。または、変形例は、図１３～図２１を参照して説明した実施例の一部構成が省略されて対応する図１～図１２を参照して説明した実施例の一部構成を含むことができる。

以上で実施例に説明された特徴、構造、効果などは少なくとも１つの実施例に含まれて、必ず１つの実施例にだけ限定されない。さらに、各実施例で例示された特徴、構造、効果などは、実施例が属する分野の通常の知識を有する者によって他の実施例に対しても組み合わせまたは変形されて実施可能である。従って、このような組み合わせと変形に関係する内容は、実施例の範囲に含まれると解釈されなければならない。

一方、本発明の実施例は、コンピュータで読み込むことができる記録媒体にコンピュータが読み込むことができるコードで実現することができる。コンピュータが読み込むことができる記録媒体は、コンピュータシステムによって読み込まれることができるデータが保存されるすべての種類の記録装置を含む。

コンピュータが読み込むことができる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、さらに、コンピュータが読み込むことができる記録媒体は、ネットワークに連結されたコンピュータシステムに分散して、分散方式でコンピュータが読み込むことができるコードが保存されて行われることができる。そして本発明を実現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されることができる。

これまで実施例が、たとえ限定された実施例と図面によって説明されたが、該当技術分野で通常の知識を有する者なら、前記記載から多様な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合または組み合わせたり、他の構成要素または均等物に代わったり、置換されても適切な結果が達成されることができる。従って、他の実施例及び特許請求範囲と均等なものなども後述する特許請求範囲の範囲に属する。

Claims (10)

1. 第１解像度を有する第１ベイヤーデータを生成するイメージセンサーと、
   前記第１ベイヤーデータを利用して第２解像度を有する第２ベイヤーデータを出力するプロセッサと、を含むカメラ装置。
2. 前記プロセッサは、
   第１ベイヤーデータを利用して、第２解像度を有する第２ベイヤーデータを出力するように学習された畳み込みニューラルネットワークを含む請求項１に記載のカメラ装置。
3. 前記畳み込みニューラルネットワークのトレーニングセットは、
   第１解像度を有する第１ベイヤーデータ及び第２解像度を有する第２ベイヤーデータを含む請求項２に記載のカメラ装置。
4. 前記第２解像度は、前記第１解像度より高い請求項１に記載のカメラ装置。
5. 前記第２ベイヤーデータをＩｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒで出力する請求項１に記載のカメラ装置。
6. 前記プロセッサは、
   前記第１ベイヤーデータを受信する受信部と、
   前記第１ベイヤーデータを利用して、第２解像度を有する第２ベイヤーデータを出力する畳み込みニューラルネットワークと、を含む請求項１に記載のカメラ装置。
7. 第１解像度を有する第１ベイヤーデータの入力を受ける段階と
   学習された畳み込みニューラルネットワークを利用して、前記第１ベイヤーデータから第２解像度を有する第２ベイヤーデータを出力する段階と、を含む方法。
8. 前記第１ベイヤーデータは、イメージセンサーから出力されるデータである請求項７に記載の方法。
9. 前記畳み込みニューラルネットワークのトレーニングセットは、
   第１解像度を有する第１ベイヤーデータ及び第２解像度を有する第２ベイヤーデータを含む請求項７に記載の方法。
10. 前記第２ベイヤーデータをＩｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒで出力する請求項７に記載の方法。

Images