JP2013545198A - 複数のプロセッサを使用した並列画像処理 - Google Patents

Abstract

複数のプロセッサを使用した並列画像処理のための電子機器を開示する。電子機器は、画像データを提供する複数のイメージセンサを備える。電子機器はまた、セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する複数のプロセッサを備える。各プロセッサは、イメージセンサのうちの１つに専用である。マルチプルプロセッサインターフェースもまた備わっている。マルチプルプロセッサインターフェースは、画像データをプロセッサにマッピングし、画像データをセグメントに区分して、セグメントに区分された画像データを生成し、セグメントに区分された画像データをプロセッサのクロックレートに同期させる。
【選択図】 図１

Description

本開示は、一般的に、電子機器に関する。さらに詳細には、本開示は、複数のプロセッサを使用した並列画像処理に関する。

背景

過去数十年、電子機器の使用は、一般的になってきた。特に、電子技術の進歩は、ますます複雑化し有用性を増している電子機器のコストを削減してきた。コストの削減および消費者の需要は、電子機器が現在の社会において事実上ユビキタスになるように電子機器の使用を激増させた。電子機器の使用が拡大するにつれ、電子機器の新しい改善された特徴に対する需要も拡大した。より詳細には、より迅速に、より効率的に、またはより高い品質で機能を実行する電子機器が、求められることが多い。

いくつかの機能は、所望の時間量で完了するために、大量の処理リソースを必要とするデータ集中型（例えば、画像処理）であるかもしれない。しかしながら、テレビジョン、スマートフォン、コンピュータ、カメラ、および音楽プレーヤーのような電子機器は、それらが、ある機能をいかに速く実行できるかを決定する処理制約を有している。さらに、移動電話機またはデジタルカメラのようなこれらの電子機器のうちのいくつかは、それらがバッテリーに記憶している電力の量によって制限されている。より高い品質のデータ集中機能を提供しながら、処理効率を向上させ、電力消費を減少させる電子機器を経済的に設計して製造することは難しいかもしれない。

先の議論からわかるように、電子機器の処理能力および／または効率を向上させるのは有益であるかもしれない。電子機器の能力および／または効率を向上させるシステムおよび方法をここでは開示する。

概要

複数のプロセッサを使用した並列画像処理のための電子機器が開示されている。電子機器は、画像データを提供する複数のイメージセンサと、セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する複数のプロセッサとを備える。複数のプロセッサの各プロセッサは、複数のイメージセンサのうちの１つに専用である。電子機器はまた、マルチプルプロセッサインターフェースを備える。マルチプルプロセッサインターフェースは、画像データを複数のプロセッサにマッピングし、画像データをセグメントに区分してセグメントに区分された画像データを生成し、セグメントに区分された画像データを複数のプロセッサのクロックレートに同期させる。

電子機器は、処理された、セグメントに区分された画像データを結合して、処理された画像を生成する結合モジュールも備え得る。複数のプロセッサのうちの少なくとも１つのプロセッサは、少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理し得る。マルチプルプロセッサインターフェースは、複数のプロセッサから、画像データの処理のためにプロセッサを動的に追加し得る。画像データの処理のためにプロセッサを動的に追加することは、作業負荷に基づき得る。

マルチプルプロセッサインターフェースは、画像データをセグメントに区分するのが有益であるか否かを決定し得る。各プロセッサは、マルチプルプロセッサインターフェースが、画像データをセグメントに区分するのは有益でないと決定した場合に、各プロセッサに専用であるイメージセンサからの画像データのみを処理し得る。マルチプルプロセッサインターフェースは、セグメントに区分されているなら、画像データをより速く処理できる場合に、画像データをセグメントに区分するのが有益であると決定し得る。マルチプルプロセッサインターフェースは、複数のプロセッサのうちの少なくとも１つが、画像データを各個で処理する能力がない場合に、画像データをセグメントに区分するのは有益であると決定し得る。マルチプルプロセッサインターフェースは、セグメントに区分されているなら、画像データをより少ない電力を使用して処理できる場合に、画像データをセグメントに区分するのは有益であると決定し得る。

マルチプルプロセッサインターフェースは、画像データを複数のプロセッサにマッピングするためのマッピングを決定し得る。マルチプルプロセッサインターフェースは、画像データの区分け（segmentation）を決定し得る。複数のプロセッサのうちの少なくとも１つは、複数のプロセッサのうちの別のものとは異なる能力を有し得る。複数のイメージセンサのうちの少なくとも１つは、複数のイメージセンサのうちの別のものとは異なる能力を有し得る。

複数のプロセッサは、画像データを各個で処理する能力がないかもしれない。セグメントに区分された画像データのセグメントは、オーバーラップし得る。複数のプロセッサは、セグメントに区分された画像データを、リアルタイムで並列に処理し得る。電子機器は、ワイヤレス通信デバイスであり得る。複数のプロセッサは、イメージシグナルプロセッサ（ＩＳＰ）であり得る。電子機器は、画像データが処理の前に記憶されないように、画像データをストリーミングし得る。結合モジュールは、出力バッファを備え得る。結合モジュールは、出力インターフェースおよび出力バッファを備え得る。

複数のプロセッサを使用した並列画像処理のための方法もまた、開示されている。方法は、複数のイメージセンサを使用して、画像データを電子機器に提供することと、画像データを複数のプロセッサにマッピングすることとを含む。各プロセッサは、複数のイメージセンサのうちの１つに専用である。方法はまた、画像データをセグメントに区分して、セグメントに区分された画像データを生成することと、セグメントに区分された画像データを複数のプロセッサのクロックレートに同期させることと、セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成することとを含む。

複数のプロセッサを使用した並列画像処理のためのコンピュータプログラム製品もまた、開示されている。コンピュータプログラム製品は、非一過性のコンピュータ読取可能媒体上に命令を有している。命令は、複数のイメージセンサを使用して、画像データを提供するためのコードと、画像データを複数のプロセッサにマッピングするためのコードとを含む。各プロセッサは、複数のイメージセンサのうちの１つに専用である。命令は、さらに、画像データをセグメントに区分して、セグメントに区分された画像データを生成するためのコードと、セグメントに区分された画像データを複数のプロセッサのクロックレートに同期させるためのコードと、セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成するためのコードとを含む。

複数のプロセッサを使用した並列画像処理のための装置もまた、開示されている。装置は、複数のイメージセンサを使用して、画像データを提供する手段と、画像データを複数のプロセッサにマッピングする手段とを備える。各プロセッサは、複数のイメージセンサのうちの１つに専用である。装置は、さらに、画像データをセグメントに区分して、セグメントに区分された画像データを生成する手段と、セグメントに区分された画像データを複数のプロセッサのクロックレートに同期させる手段と、セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する手段とを備える。

図１は、複数のプロセッサを使用した並列画像処理のためのシステムおよび方法を実現し得る、電子機器の１つのコンフィギュレーションを図示したブロック図である。 図２は、複数のプロセッサを使用して、画像を並列処理するための方法の１つのコンフィギュレーションを図示したフロー図である。 図３は、複数のプロセッサを使用した並列画像処理のための方法のより詳細なコンフィギュレーションを図示したフロー図である。 図４は、複数のプロセッサを使用した並列画像処理の１つの例を図示したブロック図である。 図５は、複数のプロセッサを使用した並列画像処理の別の例を図示したブロック図である。 図６は、マルチプルプロセッサインターフェースの１つのコンフィギュレーションに関するさらなる詳細を図示したブロック図である。 図７は、画像データは区分けの１つの例を図示した図である。 図８は、電子機器で利用され得るさまざまなコンポーネントを図示する。 図９は、ワイヤレス通信デバイス中で利用され得るさまざまなコンポーネントを図示する。

詳細な説明

先に論じたように、電子機器に関する向上した能力は、有益であり、望ましい。特に、より高いフレーム／秒（ＦＰＳ）処理および／またはより大きなメガピクセル（ＭＰ）センサをサポートを有するイメージセンサモジュールは、有益である。例えば、より大きなＭＰセンサは、より高い解像度またはより精細なディテールを有する画像を取り込むことができる。さらに、電子機器におけるより高いＦＰＳサポートは、よりスムーズなビデオの取り込みを可能にする。しかしながら、より大きなＭＰセンサおよび／またはより高いＦＰＳサポートは、より大きな処理スループットを必要とするかもしれない。例えば、イメージシグナルプロセッサ（ＩＳＰ）に関する処理スループットは、１２ＭＰセンサのための３０ＦＰＳ出力レートをサポートするためにかなり増加する必要があるかもしれない。

処理スループットのかなりの増加を伴うイメージシグナルプロセッサ（ＩＳＰ）の設計は、時間がかかり、非常にコストもかかる。しかしながら、ここで開示するシステムおよび方法は、所望のスループットを達成するために、２つ以上の“標準品の（off-the-shelf）”イメージシグナルプロセッサ（ＩＳＰ）モジュールの組み合わせにより、並列に処理できるようになる。２つ以上のイメージシグナルプロセッサ（ＩＳＰ）モジュールが、いくつかの電子機器で既に使用されていることから、ここで開示するシステムおよび方法は特に有益であるかもしれない。これらの電子機器のうちのいくつかは、ステレオ（例えば、３次元（３Ｄ））ビデオのために、または、メインカメラと補助的なカメラとが含まれるテレビ会議アプリケーションのために、使用される、各カメラ用のイメージシグナルプロセッサ（ＩＳＰ）を有する２つのカメラを備えていてもよい。大きな処理スループットを達成するために、ここで開示するシステムおよび方法を使用して、これらの異なるカメラモジュールを組み合わせることができる。すなわち、ここで開示するシステムおよび方法を実現する電子機器は、並列処理のために、画像データを動的におよび任意に区分（partition）してもよい。このアプローチの１つの利点は、既存のイメージシグナルプロセッサ（ＩＳＰ）コアを使用して、より大きなスループットパイプラインを再設計する必要なく、所望の性能を達成できるということである。例えば、１つのコンフィギュレーションでは、Ｎ個のプロセッサを使用して、Ｍ個のセンサの出力を処理するように、ここで開示するシステムおよび方法が適用されてもよく、ここで、Ｍ＜Ｎである。

“結合する”、“結合”、“結合された”という用語、または、ここで使用されるような単語“結合”の他のバリエーションは、間接的な接続または直接的な接続のいずれかを示してもよいことに留意すべきである。例えば、第１のコンポーネントが第２のコンポーネントに“結合されている”場合に、第１のコンポーネントは、第２のコンポーネントに間接的に接続されるか、または、第２のコンポーネントに直接的に接続されるかのいずれかであってもよい。ここで使用されるような、“複数の”という用語は、２つ以上のことを指す。例えば、複数のコンポーネントは、２つ以上のコンポーネントを示す。

さまざまなコンフィギュレーションは、ここで図を参照して説明する。これらの図では、同一の参照番号は、機能的に類似したエレメントを示してもよい。ここでの図において概して説明し、図示するシステムおよび方法は、幅広いさまざまなコンフィギュレーションで配置および設計できる。したがって、図に表すような、いくつかのコンフィギュレーションについての以下のより詳細な説明は、特許請求の範囲に記載された範囲を制限することを意図したものではなく、単にシステムおよび方法を表したものにすぎない。

図１は、複数のプロセッサを使用した並列画像処理のためのシステムおよび方法を実現し得る、電子機器１０２の１つのコンフィギュレーションを図示したブロック図である。電子機器１０２は、１つ以上のイメージセンサ１０４ａ〜ｎと、２つ以上のプロセッサ１２０ａ〜ｎとを備える。電子機器１０２は、同じ数または異なる数のイメージセンサ１０４ａ〜ｎとプロセッサ１０２ａ〜ｎとを備え得る。イメージセンサ１０４ａ〜ｎの例は、電荷結合素子（ＣＣＤ）センサと相補形金属酸化膜半導体（ＣＭＯＳ）センサとを含む。プロセッサ１２０ａ〜ｎの例は、専用イメージシグナルプロセッサ（ＩＳＰ）と、プロセッサのソフトウェア実現とを含む。例えば、プロセッサＡ １２０ａは、イメージセンサＡ １０４ａに専用であり、プロセッサＢ １２０ｂは、イメージセンサＢ １０４ｂに専用である。すなわち、イメージセンサＡ １０４ａおよびプロセッサＡ １２０ａは、センサ−プロセッサ専用(sensor-processor dedication)Ａ １０６ａを共有し、イメージセンサＢ １０４ｂおよびプロセッサＢ １２０ｂは、センサ−プロセッサ専用Ｂ １０６ｂを共有し、イメージセンサＮ １０４ｎとプロセッサＮ １２０ｎとによって共有されるセンサ−プロセッサ専用Ｎ １０６ｎまで続く。センサ−プロセッサ専用１０６ａ〜ｎは、本システムおよび方法が使用されないときに、各プロセッサ１２０ａ〜ｎが、特定のイメージセンサ１０４ａ〜ｎからの画像データのみを処理すること、あるいは、各プロセッサ１２０ａ〜ｎが、特定のイメージセンサ１０４ａ〜ｎからの画像データを処理するように設計されたことを示すかもしれない。例えば、イメージセンサＡ １０４ａおよびプロセッサＡ １２０ａは、電子機器１０２で使用するための単一のモジュールとして、製造および／またはパッケージ化されてもよい。この組み合わされたイメージセンサ１０４／プロセッサ１２０モジュールは、“標準品の”パッケージであってもよく、ここで、１つ以上のプロセッサ１２０ａ〜ｎは、１つ以上のイメージセンサ１０４ａ〜ｎに専用である１０６。

ここで使用するような、“専用プロセッサ”または、“センサ−プロセッサ専用”を有するプロセッサは、ここでのシステムおよび方法が使用されないときに、プロセッサが、特定のイメージセンサからの画像データのみを処理することを示す。このプロセッサ専用は、異なるタイプの専用を含んでもよい。包含的な専用は、特定のプロセッサが、１つのイメージセンサからのデータのみを処理することを意味するが、１つ以上の追加のプロセッサが、そのイメージセンサに専用であってもよく、そのイメージセンサからの画像データを処理してもよい。これらの包含的な専用プロセッサは、ここで開示するシステムおよび方法が使用されないときに、そのイメージセンサからのデータのみを処理するだろう。例えば、２つのプロセッサは、ここでのシステムおよび方法が使用されないときに、それぞれ、単一のイメージセンサに専用であってもよく、それぞれが、単一のイメージセンサからのデータを処理する。例えば、デュアルプロセッサは、１つの特定のイメージセンサからのデータのみを処理するように特に設計されていてもよい。排他的な専用は、プロセッサが、ここでのシステムおよび方法が使用されないときに、特定のイメージセンサからの画像データのみを処理し、プロセッサは、その特定のイメージセンサからのデータを処理する唯一のプロセッサであることを意味する。ここで使用するような用語“専用プロセッサ”、“センサ−プロセッサ専用”、および、他のバリエーションは、包含的な専用および排他的な専用の双方を開示する。１つのコンフィギュレーションでは、１つ以上のプロセッサ１２０は、それぞれ、イメージセンサ１０４に包含的に専用である。別のコンフィギュレーションでは、１つ以上のプロセッサ１２０は、それぞれ、イメージセンサ１０４に排他的に専用である。ここで開示するシステムおよび方法は、包含的に専用のプロセッサ、排他的に専用のプロセッサ、および／または、その双方に適用されてもよい。

プロセッサ１２０ａ〜ｎは、画像処理動作を実行する。画像処理動作の例は、切り取り（cropping）、（例えば、異なる解像度への）スケーリング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタリング（例えば、空間画像フィルタリング）、レンズアーティファクトまたは欠陥の補正等を含む。プロセッサ１２０ａ〜ｎのそれぞれが、異なる処理能力を有していてもよい。例えば、プロセッサＡ １２０ａは、プロセッサＢ １２０ｂより高いクロックレートで画像データを処理する。同様に、イメージセンサ１０４ａ〜ｎのそれぞれが、異なる能力を有していてもよい。例えば、イメージセンサＡ １０４ａは、イメージセンサＢ １０４ｂより高いフレームレートおよび／または解像度で、画像データを提供してもよい。

ここで開示するシステムおよび方法にしたがうと、マルチプルプロセッサインターフェース１０８は、たとえ、２つ以上のプロセッサ１２０ａ〜ｎが、特定のイメージセンサ１０４ａ〜ｎに専用である１０６ａ〜ｎ場合でさえ、２つ以上のプロセッサ１２０ａ〜ｎの処理能力を組み合わせてもよい。例えば、マルチプルプロセッサインターフェース１０８は、インターフェイシング１１８を使用して、１つ以上のイメージセンサ１０４ａ〜ｎからの画像データを、１つ以上のプロセッサ１２０ａ〜ｎにマッピングし得る。いくつかのコンフィギュレーションでは、マルチプルプロセッサインターフェース１０８およびインターフェイシング１１８は、単一のモジュールである。他のコンフィギュレーションでは、マルチプルプロセッサインターフェース１０８およびインターフェイシング１１８は、別々のものである。１つのコンフィギュレーションでは、ハードウェアコンポーネント（例えば、１つ以上のイメージセンサ１０４ａ〜ｎからの画像データを１つ以上のプロセッサ１２０ａ〜ｎにマッピングするための、スイッチおよび／またはマルチプレクサ）として、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８が実現される。別のコンフィギュレーションでは、（例えば、１つ以上のイメージセンサ１０４ａ〜ｎからの画像データを、１つ以上のプロセッサ１２０ａ〜ｎに、アドレス指定（address）またはマッピングするための）ソフトウェアとして、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８が実現される。さらに別のコンフィギュレーションでは、（例えば、１つ以上のイメージセンサ１０４ａ〜ｎからの画像データを１つ以上のプロセッサ１２０ａ〜ｎにマッピングするために使用される）ハードウェアとソフトウェアの組み合わせとして、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８が実現される。したがって、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８は、マッピング１１２機能を提供してもよい。

マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８は、セグメント化１１４および同期１１６のような他の機能を提供する。セグメント化モジュール１１４は、１つ以上のイメージセンサ１０４ａ〜ｎからの画像データをセグメントに区分する。各画像データセグメントは、処理のためにプロセッサ１２０ａ〜ｎに送られる。同期モジュール１１６は、画像データレートと、プロセッサ１２０ａ〜ｎのクロックレートとを同期させて、プロセッサ１２０ａ〜ｎが、セグメントに区分された画像を処理するのを可能にする。これにより、並列におよび／またはリアルタイムで画像処理が起こるのを可能にする。処理がリアルタイムで起こることから、画像データまたは画像セグメントは、処理後まで、バッファまたはメモリに記憶されないかもしれない。すなわち、画像データおよび／または画像データセグメントは、処理後まで、リアルタイムで連続してストリーミングされてもよい。画像データレートは、（例えば、各イメージセンサ１０４ａ〜ｎに対して）同じであってもよく、または、異なっていてもよい。同様に、プロセッサ１２０ａ〜ｎのクロックレートは、同じであってもよく、または、異なっていてもよい。

マルチプルプロセッサインターフェース１０８に含まれるコントローラ１１０は、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８の動作を制御するために使用される、ハードウェアならびに／あるいはソフトウェアモジュールであってもよい。１つのコンフィギュレーションでは、コントローラ１１０は、マッピング１１２、セグメント化１１４、および／または、同期１１６の機能を制御するためのハードウェアモジュールとして実現される。別のコンフィギュレーションでは、コントローラ１１０は、マッピング１１２、セグメント化１１４、および／または、同期１１６を制御するために使用される命令を含む、ソフトウェアモジュールとして実現される。さらに別のコンフィギュレーションでは、コントローラ１１０モジュールは、ハードウェアとソフトウェアの組み合わせとして実現される。

コントローラ１１０は、マッピング１１２、セグメント化１１４、および／または、同期１１６の機能を制御する。例えば、コントローラ１１０は、１つ以上のイメージセンサ１０４ａ〜ｎからの画像データを１つ以上のプロセッサ１２０ａ〜ｎにどのようにマッピングするか、画像データをどのようにセグメント化１１４するか、および／または、画像データレートとプロセッサ１２０ａ〜ｎのクロックレートとをどのように同期１１６させるかを決定してもよい。コントローラ１１０はまた、セグメント化１１４（例えば、並列処理）が特定のケースで有益であるか否かを決定し得る。この決定は、現在のイメージセンサ１０４ａ〜ｎならびにプロセッサ１２０ａ〜ｎの使用率（usage）、所望の画像取り込みの解像度および／またはフレームレート、並列処理あり／なしで画像データを処理するのに必要とされる時間の量、イメージセンサ１０４ａ〜ｎおよび／またはプロセッサａ〜ｎの能力、ならびに／あるいは、電力消費等のような、考慮に基づいていてもよい。

結合モジュール１２２は、（“処理された画像セグメント”または“処理されたセグメント”とも呼ばれる）処理された画像データセグメントそれぞれを結合する。結合モジュール１２２は、出力インターフェースおよび／または出力バッファを備えてもよい。１つのコンフィギュレーションでは、結合モジュール１２２は、処理された画像セグメントを出力バッファに送る前に、処理された画像セグメントを結合する出力インターフェースを備える。別のコンフィギュレーションでは、結合モジュール１２２は、処理された画像セグメントを直接出力バッファに送る出力インターフェースを備える。さらに別のコンフィギュレーションでは、結合モジュール１２２は、出力インターフェースを備えていないが、処理された画像セグメントがプロセッサ１２０ａ〜ｎのそれぞれから送られる出力バッファを備える。

例えば、高解像度の画像が、イメージセンサＡ １０４ａによって取り込まれたと仮定する。また、コントローラ１１０が、画像データセグメント化１１４は有益であると決定したと仮定する。マッピングモジュール１１２は、画像データをマルチプルプロセッサ１２０ａ〜ｎにマッピングし、画像データがセグメント化１１４され、いいかえれば、複数のセグメントまたはスライスに分割されて、各プロセッサ１２０ａ〜ｎのクロックレートに同期１１６される。各プロセッサ１２０ａ〜ｎは、画像データのそのそれぞれのセグメントを処理し、処理された画像セグメントを結合モジュール１２２に出力する。結合モジュール１２２は、処理された画像セグメントを結合して、処理された画像１２４を生成する。この手順は、複数の処理された画像群１２４を生成するように続いてもよい。

電子機器１０２（例えば、コントローラ１１０）が、並列処理のために画像データをセグメントに区分することが有益でないと決定した場合に、電子機器１０２は、画像データを、専用でないプロセッサ１２０にマッピングしなくてもよい。すなわち、そのケースでは、電子機器１０２は、イメージセンサ１０４ａ〜ｎからの画像データを専用プロセッサ１２０にのみマッピングしてもよい（例えば、通常の動作を実行してもよい）。要約すると、プロセッサ１２０ａ〜ｎは、個別に使用されてもよく（例えば、各プロセッサ１２０ａ〜ｎは、特定のイメージセンサ１０４ａ〜ｎに専用であり）、または、画像を処理してより大きなスループットを達成するために並列に使用されてもよい。一般に、Ｎ個のプロセッサ１２０ａ〜ｎが使用されてもよく、ここで、Ｎ≧２である。したがって、画像データは、プロセッサ１２０ａ〜ｎによる並列リアルタイム処理のために、Ｎ個のストリップ（例えば、垂直または水平）または領域に分けられてもよい。１つのコンフィギュレーションでは、イメージセンサ１０４は、ラスタスキャン順に画像データを送り出す。したがって、画像データは、垂直にセグメントに区分されてもよい。例えば、画像データをラインで受信したときに、第１のグループのピクセルが、１つのプロセッサに送られてもよく、第２のグループのピクセルが、第２のプロセッサに送られる等してもよい。

複数のプロセッサ１２０を使用した並列画像処理のさらに詳細な例は、以下の通りである。この例では、電子機器１０２は、２つのプロセッサ：プロセッサＡ １０２ａおよびプロセッサＢ １２０ｂを有すると仮定する。また、プロセッサＢ １２０ｂは、イメージセンサＡ １０４ａ専用ではないと仮定する。イメージセンサＡ １０４ａは、リアルタイム画像データを電子機器１０２に（例えば、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８に）ストリーミングする。マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８は、画像データの左の部分（例えば、垂直ストリップ）をプロセッサＡ １２０ａにストリーミングする一方で、画像データの右の部分をプロセッサＢ １２０ｂに送る。この例では、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８は、２つの切り取り（crop）モジュールとして実現されてもよく、ここで、第１の切り取りモジュールは、プロセッサＡ １２０ａのためのピクセル（例えば、第１のセグメント）を選択する一方で、第２の切り取りモジュールは、プロセッサＢ １２０ｂのためのピクセル（例えば、第２のセグメント）を選択する。プロセッサＡ １２０ａおよびプロセッサＢ １２０ｂは、画像データセグメントをリアルタイムで並列に処理する。結合モジュール１２２は、処理された画像セグメントを出力バッファに直接送るか、または、処理された画像セグメントを出力バッファに送る前に、処理された画像セグメントを結合してもよい。あるいは、結合モジュール１２２は、出力インターフェースを備えていなくともよく、このケースでは、プロセッサ１２０は、処理された画像セグメントを出力バッファに直接書き込む。

図２は、複数のプロセッサ１２０を使用して、画像を並列処理するための方法２００の１つのコンフィギュレーションを図示したフロー図である。電子機器１０２は、１つ以上のイメージセンサ１０４から画像データを取得する２０２。例えば、１つ以上のイメージセンサ１０４が、画像データを取り込んで提供する。電子機器１０２は、２つ以上のプロセッサ１２０に画像データをマッピングする２０４。１つのコンフィギュレーションでは、マルチプルプロセッサインターフェース１０８および／またはインターフェイシング１１８は、２つ以上のプロセッサ１２０に画像データをマッピングする２０４ように制御できるいくつかのマルチプレクサを備える。

電子機器１０２は、画像データをセグメントに区分して２０６、セグメントに区分された画像データつまりセグメントを生成する。例えば、コントローラ１１０は、画像データを分けるまたはセグメントに区分する２０６、セグメント化１１４モジュールまたは機能を制御してもよい。画像データは、２つ以上のセグメントに区分されてもよい２０６。各画像データセグメントは、例えば、多数のピクセルを含んでもよい。画像データセグメントは、同じサイズまたは異なるサイズであってもよい。１つのコンフィギュレーションでは、画像データセグメントは、セグメントの“シーム”における望ましくないアーティファクトを回避するために、オーバーラップしたデータ（例えば、“パッド”または“パディング”）を含む。

電子機器１０２は、２つ以上のプロセッサ１２０のクロックレートに画像データを同期させる２０８。画像データがセグメントに区分される２０６ときに、画像データは、２つ以上の画像データストリームに分けられてもよい。処理がリアルタイムで起こるために、電子機器１０２は、２つ以上のプロセッサ１２０のクロックレートに、画像データストリームを同期させてもよい２０８。これにより、処理がリアルタイムで進行する。言い換えると、各プロセッサ１２０のものと一致するように、画像データストリームのレートが調整されてもよい。１つのコンフィギュレーションでは、先入れ先出し（ＦＩＦＯ）バッファを使用して、同期が達成されてもよい。これにより、ソースによって、画像データを１つのレートで書き込み（例えば、イメージセンサ１０４データ）、シンク（例えば、プロセッサ１２０）によって、画像データを異なるレートで読み出すことが可能になってもよい。ＦＩＦＯバッファは、データレートがバッファ中でオーバーフローを生じさせないよう十分大きくなるように、大きさが調整されてもよい。

電子機器１０２は、（“画像データセグメント”または“セグメント”とも呼ばれる）セグメントに区分された画像データを処理して２１０、（“処理されたセグメント”とも呼ばれる）処理された画像セグメントを生成する。例えば、各プロセッサ１２０が、画像データセグメントを処理してもよい２１０。上述したように、処理２１０のいくつかの例は、切り取り（cropping）、スケーリング、画像フォーマットの変換、カラー補間、カラー処理、画像のフィルタリング（例えば、画像の空間的なフィルタリング）、レンズアーティファクトまたは欠陥の補正等を含む。処理２１０は、並列におよび／またはリアルタイムで起こってもよい。画像データセグメントは、（画像データを取り込んだ）１つ以上のイメージセンサ１０４から、１つ以上のイメージセンサ１０４専用ではない１つ以上のプロセッサ１２０に送られてもよい。言い換えると、画像データセグメントを処理するための１つ以上の専用プロセッサ１２０に加えて、または、画像データセグメントを処理するための１つ以上の専用プロセッサ１２０とは代替的に、１つ以上の専用でないプロセッサ１２０が使用されてもよい。セグメントに区分された画像データの処理２１０は、処理された画像セグメントを生成する。電子機器１０２は、処理された画像１２４を生成するために、処理された画像セグメントを結合する２１２。処理された画像１２４は、例えば、表示され、記憶され、および／または、送信される。

図３は、複数のプロセッサ１２０を使用した並列画像処理のための方法３００のより詳細なコンフィギュレーションを図示したフロー図である。電子機器１０２は、１つ以上のイメージセンサ１０４からの画像データを取得する３０２。例えば、１つ以上のイメージセンサ１０４は、画像データを取り込んで、その画像データを電子機器１０２に提供する。

電子機器１０２は、並列処理のために画像データをセグメントに区分することが有益であるか否かを決定してもよい３０４。先に論じたように、この決定３０４は、現在のイメージセンサ１０４ならびにプロセッサ１２０の使用率、所望の画像取り込みの解像度および／またはフレームレート、並列処理あり／なしで画像データを処理するのに必要とされる時間の量、イメージセンサ１０４および／またはプロセッサ１２０の能力、ならびに／あるいは、電力消費等のような、考慮に基づいていてもよい。１つの例では、コントローラ１１０は、専用プロセッサ１２０単独で、所定量の時間内に（例えば、所定の解像度および／またはフレームレートで）画像データを処理できるか否かを決定する。専用プロセッサ１２０が、所定量の時間内に、または、所望のフレームレートで、画像データを処理する能力がない（または、処理できない）場合に、コントローラ１１０は、並列処理のためにデータをセグメントに区分するのが有益であると決定する３０４。言い換えると、画像データを処理するのに使用されるプロセッサ１２０の数は、到来するまたは現在の作業負荷（例えば、画像データの、量、解像度、および／またはフレームレート）に基づいて、動的に調整されてもよい（例えば、追加されてもよい、または、取り除かれてもよい）。

別の例では、コントローラ１１０は、その決定３０４の基礎を現在のプロセッサ１２０の使用率に置く。１つのプロセッサ１２０が、特定のフレームレートでのビデオ画像の処理に忙しく、静止画像を処理する追加の能力を有していないと仮定する。このケースでは、コントローラ１１０は、並列処理のために画像データをセグメントに区分するのが有益でないと決定してもよい３０４。あるいは、コントローラ１１０は、このケースでは、画像データをセグメントに区分するのが有益であると決定してもよい３０４。例えば、コントローラ１１０は、ビデオ処理のうちのいくつかの、別のプロセッサ１２０へのマッピングと、静止画像処理の、双方のプロセッサ１２０へのマッピングとが、ビデオストリームを維持して、専用プロセッサ１２０を使用するよりも速く、静止画像を処理すると決定してもよい。したがって、電子機器１０２は、それが有益であるときに、ビデオまたは画像の処理のために、プロセッサ１２０を動的に追加してもよく、または、グループ化してもよい。

さらに別の例では、コントローラ１１０は、画像の並列処理のために画像データをセグメントに区分することが、電力リソース（例えば、バッテリー）の節約に有益であると決定する３０４。この例では、専用プロセッサ１２０が、許容できる量の時間で画像を処理する能力があるが、そのようにすると、高クロックレートで動作するように専用プロセッサ１２０が要求されるため、比較的大きな量の電力を浪費すると仮定する。高クロックレートで専用プロセッサを動作するよりも全体で少ない電力を使用する、より低いクロックレートで２つのプロセッサ１２０を動作させることにより、このケースでは、並列処理のために画像データをセグメントに区分するのが有益であるとコントローラ１１０は決定してもよい３０４。

電子機器１０２が、並列処理のために画像データをセグメントに区分するのが有益でないと決定した３０４場合に、電子機器１０２は、各イメージセンサ１０４の専用プロセッサ１２０を使用して、各イメージセンサ１０４からの画像データを処理し得る３０６。例えば、コントローラ１１０は、各イメージセンサ１０４からの画像データを、その専用プロセッサ１２０にマッピングして、それにしたがって画像データを処理し得る３０６。

電子機器１０２が、並列処理のために画像データをセグメントに区分するのが有益であると決定した３０４場合に、電子機器１０２は、マッピングを決定し得る３０８。すなわち、コントローラ１１０は、画像データをどのプロセッサ１２０にマッピングするかを決定し得る３０８。１つのコンフィギュレーションでは、コントローラ１１０は、現在の解像度および／またはフレームレートで画像データを処理するのに、どのプロセッサ１２０（および、どのくらい多くのプロセッサ１２０）が必要とされるかを決定する。このマッピングの決定３０８は、現在のイメージセンサ１０４ならびにプロセッサ１２０の使用率、所望の画像取り込みの解像度および／またはフレームレート、並列処理あり／なしで画像データを処理するのに必要とされる時間の量、イメージセンサ１０４および／またはプロセッサの能力、ならびに／あるいは、電力消費等のような、考慮に基づいていてもよい。

例えば、第１のプロセッサ１２０が単独で、または、各個で、所望の解像度および／またはフレームレートで画像データを処理する能力が現在ない場合に、コントローラ１１０は、画像データを処理するのに十分な処理電力が利用可能になるまで、画像データを追加のプロセッサ１２０に追加してもよく、または、マッピングしてもよい。例えば、画像データを処理するのに使用されるプロセッサ１２０の数は、到来するまたは現在の作業負荷（例えば、画像データの、量、解像度、および／またはフレームレート）に基づいて、動的に調整されてもよい（例えば、追加されてもよい、または、取り除かれてもよい）。マッピングを決定する３０８ための他のアプローチを使用してもよい。例えば、コントローラ１１０は、できるだけ多くのプロセッサ１２０に画像データをマッピングしてもよく、電力消費または平均処理レートを最小化するプロセッサ１２０の組み合わせに画像データをマッピングしてもよい。

別のコンフィギュレーションでは、マッピングの決定３０８は、現在のプロセッサ１２０の使用率または作業負荷に基づいていてもよい。１つのプロセッサ１２０が、特定のフレームレートでのビデオ画像の処理に忙しく、静止画像を処理する追加の能力を有していないと仮定する。このケースでは、静止画像処理を１つ以上の他のプロセッサ１２０にマッピングするマッピングを決定してもよい３０８。あるいは、ビデオストリームを維持して、静止画像を処理するために、ビデオ処理のうちのいくつかを別のプロセッサ１２０にマッピングし、静止画像処理を双方のプロセッサ１２０にマッピングするように、マッピングを決定してもよい３０８。したがって、電子機器１０２は、ビデオ処理または画像処理のためにプロセッサ１２０をマッピングしてもよい３０８。

さらに別の例では、電力リソース（例えば、バッテリー）の節約に基づいて、マッピングが決定される３０８。この例では、専用プロセッサ１２０が、許容できる量の時間で画像を処理する能力があるが、そのようにすると、高クロックレートで動作するように専用プロセッサ１２０が要求されるため、比較的大きな量の電力を浪費すると仮定する。高クロックレートで専用プロセッサを動作させるよりも全体で少ない電力を使用する、より低いクロックレートで動作している複数のプロセッサ１２０に、画像データがマッピングされるように、マッピングを決定してもよい３０８。

電子機器１０２は、２つ以上のプロセッサ１２０に画像データをマッピングする３１０。例えば、電子機器１０２またはコントローラ１１０は、マルチプレクサのアレイ、スイッチ、および／または、他のアドレッシングスキームを使用して、画像データを２つ以上のプロセッサ１２０にマッピングまたはルーティングする。

電子機器１０２は、区分けを決定してもよい３１２。例えば、電子機器１０２またはコントローラ１１０は、区分けの基礎を、プロセッサ１２０の容量、スピード（または、処理レート）、現在の使用率等に置いてもよい。１つのシンプルな例では、コントローラ１１０は、プロセッサ１２０の容量または能力に基づいて、比例的な区分けを決定する３１２。例えば、１つのプロセッサ１２０は、別のプロセッサ１２０の２倍の容量または能力を有すると仮定する。コントローラ１１０は、画像データを、２対１の割合でセグメントに区分し、他のプロセッサ１２０と比較して、１つのプロセッサ１２０に、２倍の数のピクセルを提供する。別の例では、コントローラ１１０は、十分な処理容量または能力が画像データを処理するために割り振られるまで、連続した各プロセッサ１２０の最大処理容量または処理能力まで使用されるように、画像データをセグメントに区分する。画像データが、垂直ストリップ、水平ストリップ、および／または、画像データのサブセットである他の領域に、区分されてもよいことに留意すべきである。１つのコンフィギュレーションでは、イメージセンサ１０４は、ラスタスキャン順に画像データを送り出す。したがって、画像データは、垂直に、セグメントに区分されてもよい。例えば、画像データをラインで受信したときに、第１のグループのピクセルが、１つのプロセッサに送られてもよく、第２のグループのピクセルが、第２のプロセッサに送られる等してもよい。

区分けの決定３１２は、画像データのオーバーラップまたは“パディング”を含んでもよい。さらに詳細には、電子機器１０２（例えば、プロセッサ１２０）が、フィルタリング（例えば、空間フィルタリング）を使用する場合に、並列プロセッサ１２０に送られる画像データセグメントは、シームまたはエッジの状態に気を配る必要があるだろう。これは、（例えば、“パディング”を持つ）オーバーラップしている画像データセグメントが、並列プロセッサ１２０に送られてもよいことを意味する。オーバーラップの量は、空間または処理パイプライン中のフィルタリング構造をサポートするのに必要な量によって決定されてもよい。例えば、プロセッサ１２０は、垂直の区分けとともに、水平方向へのフィルタリング（例えば、空間フィルタリング）を使用すると仮定する。電子機器１０２が、３×３のフィルタリングカーネルを使用する場合に、各区分けのシームに沿って、左右のセグメントがそれぞれ、１つのピクセルのオーバーラップを必要とする。しかしながら、プロセッサ１２０のそれぞれがピクセル単位で画像データを処理する場合には、オーバーラップは何ら必要とされない。

電子機器１０２は、画像データをセグメントに区分して３１４、セグメントに区分された画像データ（例えば、２つ以上の画像データセグメント）を生成する。例えば、電子機器１０２またはセグメント化モジュール１１４は、コントローラ１１０によって決定された区分け３１２にしたがって、画像データをセグメントに区分する３１４。電子機器１０２はまた、セグメントのシームにおけるエッジアーティファクトを回避するために、オーバーラップしたセグメントまたはパディングを使って画像データをセグメントに区分してもよい３１４。電子機器１０２またはセグメント化モジュール１１４は、特定のセグメントに対応していない画像データを棄却または切り取ることによって、あるいは、（適用可能なパディングまたはオーバーラップを持つ）特定のセグメントにのみ対応した画像データを受け入れるまたは受け取ることによって、画像データをセグメントに区分してもよい。電子機器１０２またはセグメント化モジュール１１４は、例えば、垂直ストリップ、水平ストリップ、または他の領域に、画像データを区分し得る。

プロセッサ１２０がピクセルごとの処理を利用するか、または、ピクセルごとのベースですべての処理が行われる場合に、並列プロセッサ１２０に送られる画像セグメントは、オーバーラップしていなくてもよい。このケースでは、シームまたはエッジアーティファクトが処理の結果何ら起こらないかもしれないことから、オーバーラップは何ら必要ないかもしれない。しかしながら、プロセッサ１２０が、水平方向での（例えば、垂直セグメントによる）または垂直方向での（例えば、水平セグメントによる）、フィルタリング（例えば、空間フィルタリング）を利用する場合に、並列プロセッサ１２０に送られる画像セグメントは、シームまたはエッジの状態に適切に対処するために（例えば、アーティファクトを回避するために）画像データ中でのオーバーラップを必要とするかもしれない。

電子機器１０２は、２つ以上のプロセッサ１２０のクロックレートに画像データを同期させる３１６。例えば、電子機器１０２または同期モジュール１１６は、画像データセグメントがマッピングされている３１０プロセッサ１２０のクロックレートに一致するように、画像データセグメントに関する画像データストリームのレートを調整する。１つのコンフィギュレーションでは、このことは、上述したようなＦＩＦＯバッファを使用して達成されてもよい。

電子機器１０２は、２つ以上のプロセッサ１２０を使用して、セグメントに区分された画像データを処理して３１８、処理された画像セグメント（例えば、“処理されたセグメント”）を生成する。先に論じたように、セグメントに区分された画像データの処理３１８は、切り取り、スケーリング、画像フォーマットの変換、カラー補間、カラー処理、画像のフィルタリング（例えば、画像の空間的なフィルタリング）、レンズアーティファクトまたは欠陥の補正等を含んでもよい。セグメントに区分された画像データの処理３１８は、処理された画像セグメントを生成する。

電子機器１０２または結合モジュール１２２は、出力インターフェースおよび／または出力バッファを使用して、処理された画像セグメントを結合する３２０。処理された画像セグメントの結合３２０は、処理された画像１２４を生成する。例えば、電子機器１０２は、処理された画像１２４を出力バッファに送る前に、処理された画像セグメントを結合する３２０出力インターフェースを備えてもよい。別のコンフィギュレーションでは、出力インターフェースは、使用されないかもしれず、または、必要とされないかもしれない。このケースでは、プロセッサ１２０は、処理された画像セグメントを出力バッファに直接書き込んでもよい。各パイプライン（例えば、プロセッサ１２０）は、もしある場合には、オーバーラップしている部分または“パディング”を有するものから、余分なピクセルを切り取り（crop out）してもよい。あるいは、結合モジュール１２２（例えば、出力インターフェース）は、結合モジュール１２２が、処理された画像セグメントを結合する３２０ときに、余分なピクセルを取り除いてもよい。別のコンフィギュレーションでは、結合モジュール１２２は、オーバーラップしているピクセルと、隣接する処理されたセグメント中のピクセルとを結合する３２０。

電子機器１０２は、表示、記憶、および／または、送信のために、処理された画像１２４を出力してもよい３２２。例えば、電子機器１０２は、処理された画像１２４をメモリに記憶してもよい。あるいはまたは加えて、電子機器１０２は、処理された画像１２４を表示してもよく、および／または、処理された画像１２４を別のデバイス（例えば、別の電子機器、ワイヤレス通信デバイス、コンピュータ等）に送信してもよい。

図４は、複数のプロセッサを使用した並列画像処理の１つの例を図示したブロック図である。この例では、イメージセンサＡ ４０４ａが、画像を取得する、または、取り込む４２６。イメージセンサＡ ４０４ａは、その後、マルチプルプロセッサインターフェース４０８に画像データ４２８を提供する。マルチプルプロセッサインターフェース４０８は、画像データ４２８をプロセッサＡ ４２０ａとプロセッサＢ ４２０ｂとにマッピングして、画像データ４２８を、セグメントＡ ４３０ａとセグメントＢ ４３０ｂとに区分する。マルチプルプロセッサインターフェース４０８はまた、セグメントＡ ４３０ａとセグメントＢ ４３０ｂとを、プロセッサＡ ４２０ａおよびプロセッサＢ ４２０ｂのそれぞれのクロックレートに同期させる。マルチプルプロセッサインターフェース４０８は、セグメントＡ ４３０ａをプロセッサＡ ４２０ａに提供し、セグメントＢ ４３０ｂをプロセッサＢ ４２０ｂに提供する。プロセッサＡ ４２０ａは、セグメントＡ ４３０ａを処理して、処理されたセグメントＡ ４３２ａを生成し、プロセッサＢ ４２０ｂは、セグメントＢ ４３０ｂを処理して、処理されたセグメントＢ ４３２ｂを生成する。処理されたセグメントＡ ４３２ａおよび処理されたセグメント４３２ｂは、出力インターフェース４２２に提供される。出力インターフェース４２２は、処理されたセグメントＡ ４３２ａと処理されたセグメントＢ ４３２ｂとを結合して、処理された画像４２４を生成する。

さらに特定の例が以下に続く。３０ＦＰＳにおいて４０００ｘ３０００の解像度のイメージセンサの入力を処理するのに、毎秒３６０メガピクセル（ＭＰ／ｓｅｃ）のスループットが必要とされると仮定する。パイプライン中の唯一のフィルタリングは、３ｘ３の有限インパルス応答（ＦＩＲ）空間フィルタであると仮定する。この例では、センサのブランキングは何ら仮定されていない。プロセッサＡ ４２０ａは、３５０４ピクセルのライン幅まで、２６０ＭＰ／ｓｅｃの性能を持つ、イメージシグナルプロセッサ（ＩＳＰ）であると、さらに仮定する。このタイプのイメージシグナルプロセッサ（ＩＳＰ）は、通常、８ＭＰカメラのために使用されてもよい。

現在の解像度およびフレームレートで画像データ４２８を処理するためにプロセッサＢ ４２０ｂが提供することが必要な性能が、決定されてもよい。プロセッサＡ ４２０ａは、ラインで（in a line）３５０４ピクセルまで処理できるが、３５０４＊３０００＊３０ＦＰＳが２６０ ＭＰ／ｓｅｃよりも大きいことから、その処理スループットによってプロセッサＡ ４２０ａが制限される。プロセッサＡ ４２０ａは、以下のピクセル幅のみを処理できる。

３ｘ３の空間フィルタもあることから、１つの余分な列のパディングもまた必要とされる。したがって、セグメントＡ ４３０ａ（プロセッサＡ ４２０ａに対する入力）は、２８８８ピクセル幅×３０００ピクセル高であってもよい一方で、処理されたセグメントＡ ４３２ａ（プロセッサＡ ４２０ａからの出力）は、２８８７×３０００ピクセルである。したがって、プロセッサＢ ４２０ｂは、ライン当たり１１１４ピクセル＝４０００−２８８７＋１つのパディング列を処理できるにちがいない。したがって、プロセッサＢ４２０ｂのスループットは、少なくとも以下の通りでなければならない。

プロセッサＢ ４２０ｂが、この性能を有していない場合に、１つ以上のプロセッサ４２０が追加されてもよい。

２つ以上のプロセッサを組み合わせることによって、個別のプロセッサによって処理できるより大きな解像度のセンサからの画像データを処理できる。ここで開示するシステムおよび方法のこの利点を、以下の表（１）で図示する。例えば、プロセッサＡ ４０２ａは、５．０４ＭＰの画像を処理することができ、プロセッサＢ ４２０ｂは、３．１５ＭＰの画像を処理できると仮定する。表（１）にしたがうと、プロセッサＡ ４２０ａおよびプロセッサＢ ４２０ｂは、共に、１５．２７ＭＰの解像度のセンサからのデータを処理できる。これは、プロセッサＡ ４２０ａが、画像データのある部分（例えば、左のセグメント）を処理し、プロセッサＢ ４２０ｂが、画像データの別の部分（例えば、右のセグメント）を処理するためである。したがって、複数のプロセッサは、高解像度のイメージセンサからの画像データを処理してもよい。表（１）では、便宜上、“幅”（単位はピクセル）は、“Ｗ”と省略され、“高さ”（単位はピクセル）は、“Ｈ”と省略される。

イメージシグナルプロセッサ（例えば、プロセッサ４２０）は、それらが処理できる画像の幅によって制限されてもよいことに留意すべきである。例えば、１６００の幅を持つプロセッサＡ ４２０ａと、２０４８の幅を持つプロセッサＢ ４２０ｂとは、おおよそ９ＭＰである、ほぼ１６００＋２０４８の幅を有する画像を処理してもよい。表（１）では、組み合わされた幅は、この例では１２８に設定されている何らかのパディングに対処するために、幅の単なる合計として示されていない。さらに詳細には、１６００のプロセッサＡ ４２０ａの幅と、２０４８のプロセッサＢ ４２０ｂの幅との組み合わせは、合計で３６４８であるが、パディングに対処するために、３５２０の幅で示されている。イメージセンサにとっては一般的である、４：３のピクチャアスペクト比を仮定して、示されている高さが決定されることにも留意すべきである。

図５は、複数のプロセッサを使用した並列画像処理の別の例を図示したブロック図である。さらに詳細には、図５は、単一のイメージセンサ５０４／複数のイメージシグナルプロセッサ５２０のケースを図示する。イメージセンサ５０４は、画像データ５２８を取り込む、または、取得する。この例では、イメージセンサ５０４は、単一の高帯域幅のデータストリーム５３４として、画像データ５２８を、マッピング、セグメント化、および同期モジュール５３６に提供する。マッピング、セグメント化、および同期モジュール５３６は、画像データ５２８を複数のプロセッサ５２０ａ〜ｎにマッピングして、セグメントＮ ５３０ｎまで、画像データ５２８を、セグメントＡ ５３０ａ、セグメントＢ ５３０ｂ、セグメントＣ ５３０ｃ等に区分する。すなわち、画像データ５２８は、２つ以上のセグメント５３０に区分される。各セグメント５３０は、低帯域幅データストリーム５３８ａ〜ｎとして、並列処理イメージシグナルプロセッサ５４０に提供される。したがって、複数の低帯域幅データストリーム５３８ａ〜ｎが、並列処理イメージシグナルプロセッサ５４０に送られる。さらに詳細には、セグメントＡ ５３０ａは、低帯域幅データストリームＡ ５３８ａとして、イメージシグナルプロセッサＡ ５２０ａに提供され、セグメントＢ ５３０ｂは、低帯域幅データストリームＢ ５３８ｂとして、イメージシグナルプロセッサＢ ５２０ｂに提供され、セグメントＣ ５３０ｃは、低帯域幅データストリームＣ ５３８ｃとして、イメージシグナルプロセッサＣ ５２０ｃに提供され、低帯域幅データストリームＮ ５３８ｎとして、イメージシグナルプロセッサＮ ５２０ｎに提供されるセグメントＮ ５３０ｎまで続く。データマッピング、セグメント化、および同期モジュール５３６はまた、各低帯域幅データストリーム５３８ａ〜ｎを、各イメージシグナルプロセッサ５２０ａ〜ｎのそれぞれのクロックレートに同期させる。図５で図示されているように、ここで開示するシステムおよび方法は、複数のプロセッサを使用した並列処理により、データレートの減少をもたらす。

イメージシグナルプロセッサ５２０ａ〜ｎのそれぞれは、処理されたセグメント５３２ａ〜ｎを結合モジュール５２２に提供する。結合モジュール５２２は、処理された画像セグメントＡないしＮ ５３２ａ〜ｎを結合して、処理された画像５２４を生成する。図５中の例によって図示されているように、画像処理は、ここで開示するシステムおよび方法にしたがって、並列にリアルタイムで達成されてもよい。

図６は、複数のプロセッサインターフェース６０８の１つのコンフィギュレーションに関するさらなる詳細を図示したブロック図である。１つ以上のイメージセンサ６０４ａ〜ｍが、マルチプルプロセッサインターフェース６０８に結合されていてもよい。マルチプルプロセッサインターフェース６０８は、２つ以上のプロセッサ６２０ａ〜ｎに結合されていてもよい。マルチプルプロセッサインターフェース６０８は、ハードウェアおよび／またはソフトウェアモジュールとして実現されてもよい。例えば、マルチプルプロセッサインターフェース６０８は、ここで開示したシステムおよび方法を実現するように使用されるコンポーネントを含む集積回路（ＩＣ）として実現されてもよい。あるいは、マルチプルプロセッサインターフェース６０８は、ここで開示したシステムおよび方法を実現するように使用される命令あるいはコードを含むソフトウェアモジュールとして実現されてもよい。あるいは、マルチプルプロセッサインターフェース６０８は、ハードウェアとソフトウェアとの組み合わせとして実現されてもよい。したがって、マルチプルプロセッサインターフェース６０８を、機能性の観点から説明する。

マルチプルプロセッサインターフェース６０８は、マルチプレクサアレイ６４４、２つ以上のインターフェースモジュール６５０ａ〜ｎ、および２つ以上のシンクロナイザ６５４ａ〜ｎを備えていてもよい。マルチプレクサアレイ６４４は、マッピング６１２機能を提供してもよい。例えば、マルチプレクサアレイ６４４は、（図６では、便宜上、“データＭｕｘ”とラベルされた）１つ以上のデータマルチプレクサ６４６ａ〜ｍと、（図６では、便宜上、“クロックＭｕｘ”とラベルされた）１つ以上のクロックマルチプレクサ６４８ａ〜ｍとを備えていてもよい。データマルチプレクサ６４６ａ〜ｍは、画像データ６２８ａ〜ｍを、２つ以上のプロセッサ６２０ａ〜ｎにマッピングする。さらに詳細には、データマルチプレクサ６４６ａ〜ｍは、１つ以上のイメージセンサ６０４ａ〜ｍのうちのいずれかからの画像データ６２８ａ〜ｍを、２つ以上のプロセッサ６２０ａ〜ｎのうちのいずれかにマッピングしてもよい。

クロックマルチプレクサ６４８ａ〜ｍは、センサクロック信号６４２ａ〜ｍをインターフェースモジュール６５０ａ〜ｎとシンクロナイザモジュール６５４ａ〜ｎとにマッピングするように使用される。センサクロック信号６４２ａ〜ｍは、画像データ６２８ａ〜ｍが取り込まれたフレームレートまたはレートを示してもよい。言い換えると、クロックマルチプレクサ６４８ａ〜ｍは、センサクロック信号６４２ａ〜ｍを、クロック信号６５２ａ〜ｎとして、インターフェースブロック６５０ａ〜ｎと、シンクロナイザ６５４ａ〜ｎとにマッピングしてもよい。例えば、センサクロックＢ ６４２ｂは、クロック信号Ａ ６５２ａとして、インターフェースＡ ６５０ａと、シンクロナイザＡ ６５４ａとにマッピングされてもよい。

インターフェースモジュール６５０ａ〜ｎは、セグメント化の６１４ａ〜ｎ機能を提供する。例えば、インターフェース６５０ａ〜ｎは、イメージセンサ６０４ａ〜ｍからの画像データ６２８ａ〜ｍをセグメントに区分する“クロッパー（cropper）”として実現されてもよい。インターフェースモジュール６５０ａ〜ｎは、クロック信号６５２ａ〜ｎを使用してもよい。例えば、インターフェースモジュール６５０ａ〜ｎは、クロック信号６５２ａ〜ｎを使用して回路を動作するように、ハードウェア中で実現されてもよい。センサクロック６４２ａ〜ｍは、画像データ６２８ａ〜ｍと(例えば、それぞれ）同期されてもよい。したがって、クロック信号６５２ａ〜ｎにより、各サイクルが、イメージセンサ６０４からの各データエレメントに対応するように、ハードウェアがタイミングをとれる（time）ようになる。このように、インターフェースモジュール６５０ａ〜ｎは、データがいつ配信されるのかと、データのタイミングとを“理解”してもよい。データのタイミングを使用して、切り取りのような動作のために使用されるロジックを同期的に駆動させてもよい。一般に、クロック信号６５２ａ〜ｎは、セグメント化ロジックが、イメージセンサ６０４ａ〜ｍからセグメント化ロジックに、有効なデータがいつ配信されるかを理解するための、１つ以上のタイミング信号を提供してもよい。

インターフェースモジュール６５０ａ〜ｎは、セグメントに区分された画像データをシンクロナイザ６５４ａ〜ｎに提供する。シンクロナイザ６５４ａ〜ｎは、同期６１６ａ〜ｎ機能を提供する。シンクロナイザ６５４ａ〜ｎは、セグメントに区分された画像データを、プロセッサ６２０ａ〜ｎのクロックドメインに同期させるために、クロック信号６５２ａ〜ｎと、プロセッサクロック信号６５６ａ〜ｎとを使用してもよい。このように、セグメントに区分された画像データを、プロセッサ６２０ａ〜ｎによって、並列にリアルタイムで処理してもよい。１つのコンフィギュレーションでは、各プロセッサ６２０ａ〜ｎは、異なるクロックレートで動作する。したがって、各画像セグメントの適切な処理を調整するために、セグメントに区分された画像データを、各プロセッサ６２０ａ〜ｎのクロックドメインに同期させること６１６ａ〜ｎが必要とされてもよい。図６で図示されているように、各プロセッサ６２０ａ〜ｎは、処理された画像データ６５８ａ〜ｎを出力する。ここでのシステムおよび方法にしたがって、プロセッサ６２０ａ〜ｎとは異なる数のイメージセンサ６０４ａ〜ｍが存在してもよいことに留意すべきである。代替的に、プロセッサ６２０ａ〜ｎと同じ数のイメージセンサ６０４ａ〜ｍが存在してもよい。

図７は、画像データの区分けの１つの例を図示した図である。特に、２つのプロセッサ１２０を使用して処理するための、画像データの垂直的な区分けを図示する。アクティブピクセル７７４およびブランキング７６４は、イメージセンサ１０４によって提供される画像データの２つの領域である。アクティブピクセル７７４は、画像を生成させるのに使用される画像データ中のピクセル群である。言い換えると、アクティブピクセル７７４は、処理された画像１２４を生成させるために処理されることになるピクセルである。ブランキング７６４は、アクティブピクセル７７４を囲む領域である。ブランキング領域７６４は、アクティブピクセル領域７７４の一部ではない領域を含んでもよい。例えば、イメージセンサ１０４は、ブランキング領域７６４のピクセルを送ってもよく、または、送らなくてもよい。例えば、ブランキング領域７６４は、作業を終了し且つデータの次のセグメントを取り扱う準備をするための多数のサイクルをイメージセンサ１０４の回路に提供するために、フレーム間で、および／または、フレーム内のライン間で使用され得るこの時間の間に、提示されることになる何らかの有効なデータがないために、結果として、ブランキング領域７６４になることがある。

図７では、いくつかの文字が、画像データのさまざまなディメンジョンを表す。さらに詳細には、ｍ７６０は、ブランキング７６４を含む第１のセグメントの水平ディメンジョンを表し、ｎ７６２は、ブランキング７６４を含む第２のセグメントの水平ディメンジョンを表し、ｐ７７６は、アクティブピクセル７７４およびブランキング７６４の垂直ディメンジョンを表し、ｑ７６６は、アクティブピクセル７７４の第１のセグメントの水平ディメンジョンを表し、ｒ７７２は、アクティブピクセルの第２のセグメントの水平ディメンジョンを表し、ｓ７７８は、アクティブピクセル７７４の垂直ディメンジョンを表す。この例では、１つのイメージセンサ１０４からの画像データは、２つのプロセッサ１２０上での処理のために、２つのセグメントに区分される。この例にしたがうと、イメージセンサ１０４は、式（１）で示すような解像度（例えば、単位はピクセル）を有すると仮定する。

画像データ入力レートは式（２）で示すように規定され得る。

式（２）では、ｆｐｓは、フレームレート（例えば、単位はＦＰＳ）である。Ｉｎｐｕｔ＿Ｒａｔｅは、画像データが、イメージセンサ１０４からマルチプルプロセッサインターフェース１０８に入力されるレートである。

この例では、画像データは、シーム７８０によって、２つのセグメントに区分されている。（アクティブピクセル７７４の）第１のセグメントは、ｑ７６６×ｓ７７８のディメンジョンを有する。しかしながら、パッド₁ ７６８×ｓ７７８のディメンジョンを持つ第１のパッドもまた、第１のプロセッサ１２０によって処理されてもよい。したがって、第１のプロセッサ１２０の入力の解像度を、式（３）で示す。

それにしたがって、第１のプロセッサ１２０は、式（４）で示すような処理レートを有する。

そして、第１のプロセッサ１２０の出力の解像度を、式（５）で示す。

同様に、第２のプロセッサ１２０の入力の解像度、処理レート、および出力の解像度が、式（６）、（７）、および（８）で、それぞれ与えられる。

式（６）では、Ｉｎｐｕｔ＿Ｒｅｓｏｌｕｔｉｏｎ₂は、第２のプロセッサ１２０の入力の解像度であり、パッド₂ ７７０は、第２のパッドの水平ディメンジョンである。パッド₁およびパッド₂のサイズは、先に論じたようなシーム７８０におけるアーティファクトを回避するのに必要とされるパディングの量によって決定されてもよいことに留意すべきである。

式（７）では、Ｐｒｏｃｅｓｓｉｎｇ＿Ｒａｔｅ₂は、第２のプロセッサ１２０の処理レートである。式（８）は、第２のプロセッサ１２０の出力の解像度（Ｏｕｔｐｕｔ＿Ｒｅｓｏｌｕｔｉｏｎ₂）を示す。

図８は、電子機器８０２で利用されてもよいさまざまなコンポーネントを示す。図示されているコンポーネントは、同じ物理構造内に、あるいは、別個のハウジングまたは構造に、配置されていてもよい。図１に関して論じた電子機器１０２は、電子機器８０２と同様に構成されていてもよい。電子機器８０２は、１つ以上のイメージセンサ８０４を備える。１つ以上のイメージセンサ８０４は、光信号（例えば、画像）を取り込む、あるいは、光信号（例えば、画像）を電子信号または画像データに変換する１つ以上のデバイスであってもよい。イメージセンサ８０４の例は、電荷結合素子（ＣＣＤ）センサおよび相補形金属酸化膜半導体（ＣＭＯＳ）センサを含む。

電子機器８０２は、２つ以上のイメージシグナルプロセッサ８２０を備える。２つ以上のイメージシグナルプロセッサ８２０は、１つ以上のイメージセンサ８０４に直接的および／または間接的に結合されていてもよい。２つ以上のイメージシグナルプロセッサ８２０は、汎用シングルチップマイクロプロセッサまたは汎用マルチチップマイクロプロセッサ（例えば、ＡＲＭ（登録商標））、特殊目的マイクロプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ等であってもよい。２つ以上のイメージシグナルプロセッサ８２０を使用して、画像処理機能を実行してもよい。例えば、２つ以上のイメージシグナルプロセッサは、切り取り、（例えば、異なる解像度への）スケーリング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタリング（例えば、空間画像フィルタリング）、レンズアーティファクトまたは欠陥の補正等を実行してもよい。

電子機器８０２は、プロセッサ８８８を備える。プロセッサ８８８は、汎用シングルチップマイクロプロセッサまたは汎用マルチチップマイクロプロセッサ（例えば、ＡＲＭ）、特殊目的マイクロプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ等であってもよい。プロセッサ８８８は、中央処理ユニット（ＣＰＵ）と呼ばれてもよい。図８の電子機器８０２には単一のプロセッサ８８８だけが示されているが、代替的な構成では、プロセッサの組み合わせ（例えば、ＡＲＭとＤＳＰ）を使用することができる。

電子機器８０２はまた、プロセッサ８８８と電子通信するメモリ８８２を備える。すなわち、プロセッサ８８８は、メモリ８８２から情報を読み取ることおよび／またはメモリ８８２に情報を書き込むことができる。メモリ８８２は、電子情報を記憶可能な任意の電子コンポーネントであってもよい。メモリ８８２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭにおけるフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、およびそれらの組み合わせ等であってもよい。

データ８８６ａおよび命令８８４ａは、メモリ８８２に記憶されてもよい。命令８８４ａは、１つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャ等を含んでもよい。命令８８４ａは、単一のコンピュータ読取可能ステートメントまたは多数のコンピュータ読取可能ステートメントを含んでもよい。命令８８４ａは、上述した方法を実現するためにプロセッサ８８８によって実行可能であってもよい。命令８８４ａを実行することは、メモリ８８２に記憶されたデータ８８６ａを使用することを含んでもよい。図８は、いくつかの命令８８４ｂおよびデータ８８６ｂがプロセッサ８８８にロードされていることを示す。

電子機器８０２はまた、他の電子機器と通信するための１つ以上の通信インターフェース８９０を含んでもよい。通信インターフェース８９０は、ワイヤード通信技術、ワイヤレス通信技術、またはその双方に基づいていてもよい。さまざまなタイプの通信インターフェース８９０の例は、シリアルポート、パラレルポート、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＣＳＩ）、バスインターフェース、赤外線（ＩＲ）通信ポート、ブルートゥース（登録商標）ワイヤレス通信アダプタ等を含む。

電子機器８０２はまた、１つ以上の入力デバイス８９２および１つ以上の出力デバイス８９４を備えてもよい。さまざまな種類の入力デバイス８９２の例は、キーボード、マウス、マイクロフォン、リモート制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペン等を含む。さまざまな種類の出力デバイス８９４の例は、スピーカ、プリンタ等を含む。通常、電子機器８０２に含まれてもよい出力デバイスの１つの特定のタイプは、ディスプレイデバイス８９６である。ここで開示したコンフィギュレーションとともに使用されるディスプレイデバイス８９６は、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネセンス、または、これらに類するもののような、任意の適切な画像投影技術を利用してもよい。（示されていない）ディスプレイコントローラはまた、メモリ８８２に記憶されたデータを、ディスプレイデバイス８９６上に示されるテキスト、グラフィック、および／または動画（必要に応じて）に変換するために提供されてもよい。

電子機器８０２はまた、電源および／またはインターフェース８９８を備えてもよい。電源および／またはインターフェース８９８は、電子機器８０２に電力を供給してもよい。例えば、電源／インターフェース８９８は、バッテリーであってもよい。代替的に、電源／インターフェースは、そこを通して電力が供給されてもよいポートであってもよい。例えば、電源／インターフェース８９８は、交流（ＡＣ）または直流（ＤＣ）の電力を受け入れるポートであってもよい。１つのコンフィギュレーションでは、電源アウトレットに差し込む電源アダプタを受け入れるために、電源／インターフェース８９８が使用される。代替的に、電源／インターフェース８９８は、ＵＳＢポートを介して電力を受け入れてもよい。さらに別のコンフィギュレーションでは、（例えば、誘導電荷デバイスまたは、近接充電デバイスを使用して、）電源／インターフェース８９８は、電力をワイヤレスに受信する。

電子機器８０２のさまざまなコンポーネントは、電力バス、制御信号バス、ステータス信号バス、データバス等を含んでもよい１つ以上のバスによって互いに結合されてもよい。簡単にするために、さまざまなバスを、バスシステム８１１として図８に図示した。図８が、電子機器８０２の１つの可能性あるコンフィギュレーションだけを図示していることに留意すべきである。他のさまざまなアーキテクチャおよびコンポーネントを利用してもよい。

図９は、ワイヤレス通信デバイス９０１中で利用されてもよいさまざまなコンポーネントを図示する。ワイヤレス通信デバイス９０１は、他の電子機器とワイヤレスに通信するのに使用される、ある種の電子機器１０２、８０２であってもよい。ワイヤレス通信デバイス９０１の例は、セルラ電話機、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、電子リーダ、ゲーミングシステム、音楽プレーヤー、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイス等を含む。図１に関して論じた電子機器１０２は、ワイヤレス通信デバイス９０１と同様に構成されていてもよい。

ワイヤレス通信デバイス９０１に含まれるコンポーネントの多くは、図８に関して説明したコンポーネントと同様に構成されていてもよく、同様に機能してもよい。例えば、ワイヤレス通信デバイスは、１つ以上のイメージセンサ９０４、２つ以上のイメージシグナルプロセッサ９２０、命令９８４ａおよび／またはデータ９８６ａを含むメモリ９８２、命令９８４ｂおよび／またはデータ９８６ｂをメモリ９８２からロードするプロセッサ９８８、１つ以上の通信インターフェース９９０、１つ以上の入力デバイス９９２、ディスプレイデバイス９９６のような１つ以上の出力デバイス９９４、および電源／インターフェース９９８を備えてもよい。ワイヤレス通信デバイス９０１は、送信機９０５および受信機９０７をさらに備えてもよい。送信機９０５および受信機９０７は、まとめて、トランシーバ９０３と呼ばれてもよい。トランシーバ９０３は、ワイヤレス信号の送信および／または受信のために、１つ以上のアンテナ９０９に結合されていてもよい。図８に関連して上述した電子機器８０２と同様に、ワイヤレス通信デバイス９０１は、図９ではバスシステム９１１として図示されている１つ以上のバスを備えていてもよい。バスシステム９１１は、説明したコンポーネントを互いに結合して、協調した動作を可能にしてもよい。

ここで使用するような、“ワイヤレス通信デバイス”という用語は、一般的に、別の電子機器（例えば、基地局）にワイヤレスに接続されることがある電子機器（例えば、アクセス端末、クライアントデバイス、クライアント局（ＳＴＡ）等）を示す。ワイヤレス通信デバイスは、代わりに、移動デバイス、移動局、加入者局、ユーザ機器（ＵＥ）、遠隔局、アクセス端末、移動端末、端末、ユーザ端末、加入者ユニット等とも呼ばれてもよい。ワイヤレス通信デバイスの例は、ラップトップコンピュータまたはデスクトップコンピュータ、セルラ電話、スマートフォン、ワイヤレスモデム、電子リーダ、タブレットデバイス、ゲーミングシステム等を含む。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ）のような、１つ以上の業界標準にしたがって動作してもよい。このように、“ワイヤレス通信デバイス”という一般用語は、業界標準にしたがったさまざまな名称（例えば、アクセス端末、ユーザ機器（ＵＥ）、遠隔端末等）で記述されるワイヤレス通信デバイスを含んでいてもよい。

先の説明では、参照番号は、時に、さまざまな用語に関連して使用されていた。用語が参照番号に関連して使用される場合、これは、図のうちの１つ以上で示されている特定のエレメントを指すことを意味してもよい。用語が参照番号なしに使用される場合、これは、いずれか特定の図に限定されない用語のことを一般的に指すことを意味してもよい。

“決定する”という用語は、幅広いさまざまな動作を含んでおり、それゆえ、“決定する”は、算出する、計算する、処理する、導出する、調べる、検索する（例えば、表、データベース、または、別のデータ構造中で検索する）、確認する、および、これらに類するものを含むことができる。同様に、“決定する”は、受信する（例えば、情報を受信する）、アクセスする（例えば、メモリ中のデータにアクセスする）、および、これらに類するものを含むことができる。また、“決定する”は、解決する、選択する、選ぶ、確立する、および、これらに類するものを含むことができる。

“に基づいて”というフレーズは、明確に指定されていない限り、“のみに基づいて”を意味しない。言い換えると、“に基づいて”というフレーズは、“のみに基づいて”と“に少なくとも基づいて”との双方を説明する。

ここで説明した機能は、１つ以上の命令として、プロセッサ読取可能媒体上またはコンピュータ読取可能媒体上に記憶されてもよい。“コンピュータ読取可能媒体”という用語は、コンピュータまたはプロセッサによってアクセスできる任意の利用可能な媒体を指す。これらに限定されないが、一例として、このような媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、または、コンピュータによってアクセスでき、命令やデータ構造の形で所望のプログラムコードを記憶するために使用できる他の何らかの媒体を含んでいてもよい。ここで使用するようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、および、ブルーレイ（登録商標）ディスクを含むが、一般的に、ディスク（ｄｉｓｋ）は、データを磁気的に再生する一方で、ディスク（ｄｉｓｃ）は、データをレーザによって光学的に再生する。コンピュータ読取可能媒体が、有形および非一時的であってもよいことに留意すべきである。“コンピュータプログラムプロダクト”という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、または計算されてもよいコードまたは命令（例えば、“プログラム”）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。ここで使用するような、“コード”という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。

ソフトウェアまたは命令は、送信媒体を通しても送信されてもよい。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、あるいは、赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ソフトウェアが、ウェブサイトから、サーバから、あるいは、他の遠隔ソースから送信された場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、あるいは、赤外線、無線、およびマイクロ波のようなワイヤレス技術は、送信媒体の定義に含まれる。

ここで開示した方法は、説明した方法を達成するための１つ以上のステップまたはアクションを含む。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換可能であってもよい。言い換えると、ステップまたはアクションの特定の順序が、説明した方法の適切な動作に必要とされない限り、特定のステップならびに／あるいはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく、修正されてもよい。

特許請求の範囲は、先に示したまさにそのコンフィギュレーションおよびコンポーネントに限定されるものではないことを理解すべきである。さまざまな修正、変更、および、バリエーションが、ここで説明したシステム、方法、ならびに、装置の構成、運用、および、詳細において、特許請求の範囲から逸脱することなく行われてもよい。

特許請求の範囲は、先に示したまさにそのコンフィギュレーションおよびコンポーネントに限定されるものではないことを理解すべきである。さまざまな修正、変更、および、バリエーションが、ここで説明したシステム、方法、ならびに、装置の構成、運用、および、詳細において、特許請求の範囲から逸脱することなく行われてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］複数のプロセッサを使用した並列画像処理のための電子機器であって、
画像データを提供する複数のイメージセンサと、
セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する複数のプロセッサであって、前記複数のプロセッサの各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、複数のプロセッサと、
マルチプルプロセッサインターフェースであって、前記画像データを前記複数のプロセッサにマッピングし、前記画像データをセグメントに区分して前記セグメントに区分された画像データを生成し、前記セグメントに区分された画像データを複数のプロセッサのクロックレートに同期させるマルチプルプロセッサインターフェースとを具備する電子機器。
［２］前記処理された、セグメントに区分された画像データを結合して、処理された画像を生成する結合モジュールをさらに具備する上記［１］に記載の電子機器。
［３］前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する上記［１］に記載の電子機器。
［４］前記マルチプルプロセッサインターフェースは、前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加する上記［１］に記載の電子機器。
［５］画像データ処理のためにプロセッサを動的に追加することは、作業負荷に基づいている上記［４］に記載の電子機器。
［６］前記マルチプルプロセッサインターフェースは、前記画像データをセグメントに区分することが有益である否かを決定し、各プロセッサは、前記マルチプルプロセッサインターフェースが、前記画像データをセグメントに区分することが有益でないと決定した場合に、各プロセッサに専用であるイメージセンサからの画像データのみを処理する上記［１］に記載の電子機器。
［７］前記マルチプルプロセッサインターフェースは、セグメントに区分されているなら、前記画像データをより速く処理できる場合に、前記画像データをセグメントに区分することが有益であると決定する上記［６］に記載の電子機器。
［８］前記マルチプルプロセッサインターフェースは、前記複数のプロセッサのうちの少なくとも１つが、前記画像データを各個で処理する能力がない場合に、前記画像データをセグメントに区分することが有益であると決定する上記［６］に記載の電子機器。
［９］前記マルチプルプロセッサインターフェースは、セグメントに区分されているなら、前記画像データをより少ない電力を使用して処理できる場合に、前記画像データをセグメントに区分することが有益であると決定する上記［６］に記載の電子機器。
［１０］前記マルチプルプロセッサインターフェースは、前記画像データを前記複数のプロセッサにマッピングするためのマッピングを決定する上記［１］に記載の電子機器。
［１１］前記マルチプルプロセッサインターフェースは、前記画像データの区分けを決定する上記［１］に記載の電子機器。
［１２］前記複数のプロセッサのうちの少なくとも１つは、前記複数のプロセッサのうちの別のものとは異なる能力を有する上記［１］に記載の電子機器。
［１３］前記複数のイメージセンサのうちの少なくとも１つは、前記複数のイメージセンサのうちの別のものとは異なる能力を有する上記［１］に記載の電子機器。
［１４］前記複数のプロセッサは、前記画像データを各個で処理する能力がない上記［１］に記載の電子機器。
［１５］前記セグメントに区分された画像データのセグメントは、オーバーラップしている上記［１］に記載の電子機器。
［１６］前記複数のプロセッサは、前記セグメントに区分された画像データを、リアルタイムで並列に処理する上記［１］に記載の電子機器。
［１７］前記電子機器は、ワイヤレス通信デバイスである上記［１］に記載の電子機器。
［１８］前記複数のプロセッサは、イメージシグナルプロセッサ（ＩＳＰ）である上記［１］に記載の電子機器。
［１９］前記電子機器は、前記画像データが処理の前に記憶されないように、前記画像データをストリーミングする上記［１］に記載の電子機器。
［２０］前記結合モジュールは、出力バッファを備える上記［２］に記載の電子機器。
［２１］前記結合モジュールは、出力インターフェースおよび出力バッファを備える上記［２］に記載の電子機器。
［２２］複数のプロセッサを使用した並列画像処理のための方法であって、
複数のイメージセンサを使用して、画像データを電子機器に提供することと、
前記画像データを前記複数のプロセッサにマッピングすることであって、各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、マッピングすることと、
前記画像データをセグメントに区分して、セグメントに区分された画像データを生成することと、
前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させることと、
前記セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成することとを具備する方法。
［２３］前記処理された、セグメントに区分された画像データを結合して、処理された画像を生成することをさらに具備する上記［２２］に記載の方法。
［２４］前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する上記［２２］に記載の方法。
［２５］前記電子機器は、前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加する上記［２２］に記載の方法。
［２６］画像データ処理のためにプロセッサを動的に追加することは、作業負荷に基づいている上記［２５］に記載の方法。
［２７］前記画像データをセグメントに区分することが有益である否かを決定することをさらに具備し、各プロセッサは、前記マルチプルプロセッサインターフェースが、前記画像データをセグメントに区分することが有益でないと決定した場合に、各プロセッサに専用であるイメージセンサからの画像データのみを処理する上記［２２］に記載の方法。
［２８］前記画像データをセグメントに区分することが有益であるか否かを決定することは、セグメントに区分されているなら、前記画像データをより速く処理できるか否かに基づいている上記［２７］に記載の方法。
［２９］前記画像データをセグメントに区分することが有益であると決定することは、前記複数のプロセッサのうちの少なくとも１つが、前記画像データを各個で処理する能力がないか否かに基づいている上記［２７］に記載の方法。
［３０］前記画像データをセグメントに区分することが有益であるか否かを決定することは、セグメントに区分されているなら、前記画像データをより少ない電力を使用して処理できるか否かに基づいている上記［２７］に記載の方法。
［３１］前記画像データを前記複数のプロセッサにマッピングするためのマッピングを決定することをさらに具備する上記［２２］に記載の方法。
［３２］前記画像データの区分けを決定することをさらに含む上記［２２］に記載の方法。
［３３］前記複数のプロセッサのうちの少なくとも１つは、前記複数のプロセッサのうちの別のものとは異なる能力を有する上記［２２］に記載の方法。
［３４］前記複数のイメージセンサのうちの少なくとも１つは、前記イメージセンサのうちの別のものとは異なる能力を有する上記［２２］に記載の方法。
［３５］前記複数のプロセッサは、前記画像データを各個で処理する能力がない上記［２２］に記載の方法。
［３６］前記セグメントに区分された画像データは、オーバーラップしている上記［２２］に記載の方法。
［３７］前記セグメントに区分された画像データを処理することは、リアルタイムで並列に行われる上記［２２］に記載の方法。
［３８］前記電子機器は、ワイヤレス通信デバイスである上記［２２］に記載の方法。
［３９］前記複数のプロセッサは、イメージシグナルプロセッサ（ＩＳＰ）である上記［２２］に記載の方法。
［４０］前記画像データが処理の前に記憶されないように、前記画像データをストリーミングすることをさらに具備する上記［２２］に記載の方法。
［４１］前記処理された、セグメントに区分された画像データは、出力バッファを使用して結合される上記［２３］に記載の方法。
［４２］前記処理された、セグメントに区分された画像データは、出力インターフェースおよび出力バッファを使用して結合される上記［２３］に記載の方法。
［４３］複数のプロセッサを使用した並列画像処理のためのコンピュータプログラム製品において、
前記コンピュータプログラム製品は、その上に命令を有している非一過性のコンピュータ読取可能媒体を具備し、
前記命令は、
複数のイメージセンサを使用して、画像データを提供するためのコードと、
前記画像データを前記複数のプロセッサにマッピングするためのコードであって、各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、コードと、
前記画像データをセグメントに区分して、前記セグメントに区分された画像データを生成するためのコードと、
前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させるためのコードと、
前記セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成するためのコードとを具備するコンピュータプログラム製品。
［４４］前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する上記［４３］に記載のコンピュータプログラム製品。
［４５］前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加するためのコードをさらに具備する上記［４３］に記載のコンピュータプログラム製品。
［４６］画像データの処理のためにプロセッサを動的に追加することは、作業負荷に基づいている上記［４５］に記載のコンピュータプログラム製品。
［４７］複数のプロセッサを使用した並列画像処理のための装置において、
複数のイメージセンサを使用して、画像データを提供する手段と、
前記画像データを前記複数のプロセッサにマッピングする手段であって、各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、手段と、
前記画像データをセグメントに区分して、前記セグメントに区分された画像データを生成する手段と、
前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させる手段と、
前記セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する手段とを具備する装置。
［４８］前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する上記［４７］に記載の装置。
［４９］前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加する手段をさらに具備する上記［４７］に記載の装置。
［５０］前記画像データの処理のためにプロセッサを動的に追加する手段は、作業負荷に基づいている上記［４９］に記載の装置。

Claims (50)

1. 複数のプロセッサを使用した並列画像処理のための電子機器であって、
   画像データを提供する複数のイメージセンサと、
   セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する複数のプロセッサであって、前記複数のプロセッサの各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、複数のプロセッサと、
   マルチプルプロセッサインターフェースであって、前記画像データを前記複数のプロセッサにマッピングし、前記画像データをセグメントに区分して前記セグメントに区分された画像データを生成し、前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させるマルチプルプロセッサインターフェースとを具備する電子機器。
2. 前記処理された、セグメントに区分された画像データを結合して、処理された画像を生成する結合モジュールをさらに具備する請求項１記載の電子機器。
3. 前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する請求項１記載の電子機器。
4. 前記マルチプルプロセッサインターフェースは、前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加する請求項１記載の電子機器。
5. 画像データ処理のためにプロセッサを動的に追加することは、作業負荷に基づいている請求項４記載の電子機器。
6. 前記マルチプルプロセッサインターフェースは、前記画像データをセグメントに区分することが有益である否かを決定し、各プロセッサは、前記マルチプルプロセッサインターフェースが、前記画像データをセグメントに区分することが有益でないと決定した場合に、各プロセッサに専用であるイメージセンサからの画像データのみを処理する請求項１記載の電子機器。
7. 前記マルチプルプロセッサインターフェースは、セグメントに区分されているなら、前記画像データをより速く処理できる場合に、前記画像データをセグメントに区分することが有益であると決定する請求項６記載の電子機器。
8. 前記マルチプルプロセッサインターフェースは、前記複数のプロセッサのうちの少なくとも１つが、前記画像データを各個で処理する能力がない場合に、前記画像データをセグメントに区分することが有益であると決定する請求項６記載の電子機器。
9. 前記マルチプルプロセッサインターフェースは、セグメントに区分されているなら、前記画像データをより少ない電力を使用して処理できる場合に、前記画像データをセグメントに区分することが有益であると決定する請求項６記載の電子機器。
10. 前記マルチプルプロセッサインターフェースは、前記画像データを前記複数のプロセッサにマッピングするためのマッピングを決定する請求項１記載の電子機器。
11. 前記マルチプルプロセッサインターフェースは、前記画像データの区分けを決定する請求項１記載の電子機器。
12. 前記複数のプロセッサのうちの少なくとも１つは、前記複数のプロセッサのうちの別のものとは異なる能力を有する請求項１記載の電子機器。
13. 前記複数のイメージセンサのうちの少なくとも１つは、前記複数のイメージセンサのうちの別のものとは異なる能力を有する請求項１記載の電子機器。
14. 前記複数のプロセッサは、前記画像データを各個で処理する能力がない請求項１記載の電子機器。
15. 前記セグメントに区分された画像データのセグメントは、オーバーラップしている請求項１記載の電子機器。
16. 前記複数のプロセッサは、前記セグメントに区分された画像データを、リアルタイムで並列に処理する請求項１記載の電子機器。
17. 前記電子機器は、ワイヤレス通信デバイスである請求項１記載の電子機器。
18. 前記複数のプロセッサは、イメージシグナルプロセッサ（ＩＳＰ）である請求項１記載の電子機器。
19. 前記電子機器は、前記画像データが処理の前に記憶されないように、前記画像データをストリーミングする請求項１記載の電子機器。
20. 前記結合モジュールは、出力バッファを備える請求項２記載の電子機器。
21. 前記結合モジュールは、出力インターフェースおよび出力バッファを備える請求項２記載の電子機器。
22. 複数のプロセッサを使用した並列画像処理のための方法であって、
    複数のイメージセンサを使用して、画像データを電子機器に提供することと、
    前記画像データを前記複数のプロセッサにマッピングすることであって、各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、マッピングすることと、
    前記画像データをセグメントに区分して、セグメントに区分された画像データを生成することと、
    前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させることと、
    前記セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成することとを具備する方法。
23. 前記処理された、セグメントに区分された画像データを結合して、処理された画像を生成することをさらに具備する請求項２２記載の方法。
24. 前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する請求項２２記載の方法。
25. 前記電子機器は、前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加する請求項２２記載の方法。
26. 画像データ処理のためにプロセッサを動的に追加することは、作業負荷に基づいている請求項２５記載の方法。
27. 前記画像データをセグメントに区分することが有益である否かを決定することをさらに具備し、各プロセッサは、前記マルチプルプロセッサインターフェースが、前記画像データをセグメントに区分することが有益でないと決定した場合に、各プロセッサに専用であるイメージセンサからの画像データのみを処理する請求項２２記載の方法。
28. 前記画像データをセグメントに区分することが有益であるか否かを決定することは、セグメントに区分されているなら、前記画像データをより速く処理できるか否かに基づいている請求項２７記載の方法。
29. 前記画像データをセグメントに区分することが有益であると決定することは、前記複数のプロセッサのうちの少なくとも１つが、前記画像データを各個で処理する能力がないか否かに基づいている請求項２７記載の方法。
30. 前記画像データをセグメントに区分することが有益であるか否かを決定することは、セグメントに区分されているなら、前記画像データをより少ない電力を使用して処理できるか否かに基づいている請求項２７記載の方法。
31. 前記画像データを前記複数のプロセッサにマッピングするためのマッピングを決定することをさらに具備する請求項２２記載の方法。
32. 前記画像データの区分けを決定することをさらに含む請求項２２記載の方法。
33. 前記複数のプロセッサのうちの少なくとも１つは、前記複数のプロセッサのうちの別のものとは異なる能力を有する請求項２２記載の方法。
34. 前記複数のイメージセンサのうちの少なくとも１つは、前記イメージセンサのうちの別のものとは異なる能力を有する請求項２２記載の方法。
35. 前記複数のプロセッサは、前記画像データを各個で処理する能力がない請求項２２記載の方法。
36. 前記セグメントに区分された画像データは、オーバーラップしている請求項２２記載の方法。
37. 前記セグメントに区分された画像データを処理することは、リアルタイムで並列に行われる請求項２２記載の方法。
38. 前記電子機器は、ワイヤレス通信デバイスである請求項２２記載の方法。
39. 前記複数のプロセッサは、イメージシグナルプロセッサ（ＩＳＰ）である請求項２２記載の方法。
40. 前記画像データが処理の前に記憶されないように、前記画像データをストリーミングすることをさらに具備する請求項２２記載の方法。
41. 前記処理された、セグメントに区分された画像データは、出力バッファを使用して結合される請求項２３記載の方法。
42. 前記処理された、セグメントに区分された画像データは、出力インターフェースおよび出力バッファを使用して結合される請求項２３記載の方法。
43. 複数のプロセッサを使用した並列画像処理のためのコンピュータプログラム製品において、
    前記コンピュータプログラム製品は、その上に命令を有している非一過性のコンピュータ読取可能媒体を具備し、
    前記命令は、
    複数のイメージセンサを使用して、画像データを提供するためのコードと、
    前記画像データを前記複数のプロセッサにマッピングするためのコードであって、各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、コードと、
    前記画像データをセグメントに区分して、前記セグメントに区分された画像データを生成するためのコードと、
    前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させるためのコードと、
    前記セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成するためのコードとを具備するコンピュータプログラム製品。
44. 前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する請求項４３記載のコンピュータプログラム製品。
45. 前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加するためのコードをさらに具備する請求項４３記載のコンピュータプログラム製品。
46. 画像データの処理のためにプロセッサを動的に追加することは、作業負荷に基づいている請求項４５記載のコンピュータプログラム製品。
47. 複数のプロセッサを使用した並列画像処理のための装置において、
    複数のイメージセンサを使用して、画像データを提供する手段と、
    前記画像データを前記複数のプロセッサにマッピングする手段であって、各プロセッサは、前記複数のイメージセンサのうちの１つに専用である、手段と、
    前記画像データをセグメントに区分して、前記セグメントに区分された画像データを生成する手段と、
    前記セグメントに区分された画像データを前記複数のプロセッサのクロックレートに同期させる手段と、
    前記セグメントに区分された画像データを処理して、処理された、セグメントに区分された画像データを生成する手段とを具備する装置。
48. 前記複数のプロセッサのうちの少なくとも１つのプロセッサは、前記少なくとも１つのプロセッサに専用でない少なくとも１つのイメージセンサからの、セグメントに区分された画像データを処理する請求項４７記載の装置。
49. 前記複数のプロセッサから、画像データ処理のためにプロセッサを動的に追加する手段をさらに具備する請求項４７記載の装置。
50. 前記画像データの処理のためにプロセッサを動的に追加する手段は、作業負荷に基づいている請求項４９記載の装置。

Images