JP2014511071A - ズームされた画像の生成 - Google Patents

ズームされた画像の生成 Download PDF

Info

Publication number
JP2014511071A
JP2014511071A JP2013558185A JP2013558185A JP2014511071A JP 2014511071 A JP2014511071 A JP 2014511071A JP 2013558185 A JP2013558185 A JP 2013558185A JP 2013558185 A JP2013558185 A JP 2013558185A JP 2014511071 A JP2014511071 A JP 2014511071A
Authority
JP
Japan
Prior art keywords
image data
image
image sensor
zoomed
cropped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013558185A
Other languages
English (en)
Inventor
ノイェス、イング・エックス.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014511071A publication Critical patent/JP2014511071A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

ズームされた画像を生成する装置および方法が開示される。特定の方法は、ズーム操作を行うための命令を受信することを含む。ウィンドウ情報は命令に基づいて画像センサに送られる。ウィンドウ情報は画像センサの一部に対応する。加えて、ピクセルクロックレートを低減させる要求が画像センサへ送られうる。その要求は、画像センサによってキャプチャされた画像データのフレームレートが維持されるようにピクセルクロックレートを低減させることを引き起こしうる。画像センサの一部に対応する切り取られた画像データが受信される。その切り取られた画像データはズームされた画像を生成するためにスケールアップされる。

Description

[0001] 本開示は概してズームされた画像の生成に関する
[0002] 技術の進歩は、より小型で、より強力なコンピューティングデバイスをもたらした。例えば、小さく、軽く、かつユーザによって容易に持ち運ばれる携帯用ワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスなどのワイヤレスコンピューティングデバイスを含む様々な携帯用パーソナルコンピューティングデバイスが現在存在している。より具体的には、セルラ電話およびインターネットプロトコル(IP)電話のような携帯用ワイヤレス電話は、ワイヤレスネットワークを通して音声およびデータパケットを通信することができる。さらに、多くのこのようなワイヤレス電話は、そこに組み込まれる他のタイプのデバイスを含む。例えば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤを含むことができる。また、このようなワイヤレス電話は、インターネットにアクセスするために使用されることができるウェブブラウザアプリケーションのようなソフトウェアアプリケーションを含む実行可能な命令を処理することができる。そのため、これらのワイヤレス電話は、著しい計算機能を含むことができる。
[0003] ある携帯用電子デバイスは、画像をキャプチャするための画像センサ(image sensor)を含む。例えば、デジタルカメラ、携帯電話、デジタルビデオカメラ、携帯用コンピューティングデバイスなどは、画像センサを含みうる。これらの携帯用電子デバイスは、画像の一部のより大きな(つまりズームされた)見え方を提供するために、ズーム操作を行うことが可能でありうる。光学的ズーム機能が使用されるとき、特定のエリアの詳細をより多く含む画像センサにおける画像を生成するために、その画像センサに関連付けられた光学的諸特性は変更されうる。デジタルズーム機能が使用されるとき、実際には画像センサによってキャプチャされたピクセルの間に追加のピクセルデータを外挿または内挿するために、その画像センサによってキャプチャされた画像データの一部がスケールアップされうる。このようなスケールアップ処理は、画像処理の待ち時間を増加させるか、追加の帯域幅を使用するか、ピクセルクロックレートを許容しがたいレベルまで増加させるか、画質または画像処理またはこれらの任意の組合せについて他の問題を引き起しうる。
[0004] ズームされた画像は、画像センサへウィンドウ情報を送信することで生成されることができる。ウィンドウ情報は、画像データを切り取られた画像データとして出力する画像センサの一部を指示(indicate)する。画像センサのピクセルクロックレートはまた、低減させられうる。切り取られた画像データは、ズームされた画像を生成するために、スケールアップされて処理されうる。
[0005] 特定の実施形態では、ズームされた画像を生成する方法が開示されている。その方法は、ズーム操作を行うための命令を受信することと、その命令に基づいて画像センサへウィンドウ情報およびピクセルレート低減要求を送信することとを含む。ピクセルクロックレート低減要求は、画像データのフレームが画像センサによってキャプチャされるレートを実質的に一定または不変にとどめさせる。ウィンドウ情報は画像センサの一部に対応する。その方法はまた、ズームされた画像を生成するために、画像センサからの一部と対応する切り取られた画像データを受信することと、切り取られた画像データをスケールアップすることとを含む。
[0006] 別の特定の実施形態では、ズーム操作を行うための命令に応答して、画像センサへウィンドウ情報を送信するための手段を含む装置が開示されている。ウィンドウ情報は画像センサの一部に対応する。その装置はまた、ズームされた画像を生成するために、その一部と対応する切り取られた画像データを受信する手段と、切り取られた画像データをスケールアップする手段とを含む。
[0007] 別の特定の実施形態では、有形の(tangible)コンピュータ可読媒体がプロセッサによって実行可能な命令を記憶し、それがプロセッサによって実行されたとき、ズーム操作を行うための命令に応答して、プロセッサにウィンドウ情報を画像センサへ送信させる。ウィンドウ情報は画像センサの一部に対応する。その命令はさらに、ズームされた画像を生成するために、画像センサの一部と対応する切り取られた画像データを受信し、切り取られた画像データをスケールアップするためにプロセッサによって実行可能である。
[0008] 別の特定の実施形態では、第1のピクセルクロックレートで画像センサから第1の画像データを受信する方法が開示されている。その方法はまた、ズーム操作を行うための命令を受信することと、その命令に応答して画像センサへウィンドウ情報を送信することとを含む。その方法はさらに、ズーム操作に関連付けられた画像センサの一部に対応する切り取られた画像データを受信することを含む。切り取られた画像データは、第1のピクセルクロックレートより遅い第2のピクセルクロックレートで受信される。その方法はまた、ズームされた画像を生成するために、切り取られた画像データをスケールアップすることを含む。
[0009] 別の特定の実施形態では、プロセッサおよびプロセッサがアクセス可能なメモリを含むシステムが開示されている。そのメモリは、ズーム操作を実現するための命令に応答して画像センサへウィンドウ情報を送信する、プロセッサによって実行可能な命令を含む。その命令はまた、画像センサのピクセルクロックレートを第1のピクセルクロックレートから、それより小さな第2のピクセルクロックレートに低減させることを引き起こすために、プロセッサによって実行可能である。その命令はまた、ズーム操作に関連付けられた画像センサの一部に対応する切り取られた画像データを受信するために、プロセッサによって実行可能である。切り取られた画像データは、第2のピクセルクロックレートで画像センサから受信される。その命令はまた、ズームされた画像を生成するために、切り取られた画像データをスケールアップするためにプロセッサによって実行可能である。
[0010] 開示された実施形態のうち少なくとも1つによって提供される1つの特定の利点は、ズームされた画像が画像処理システムのピクセルクロックレートを増加させることなしに生成されうることである。開示された実施形態のうち少なくとも1つによって提供される別の特定の利点は、ズームされた画像のための画質改善が達成されうることである。
[0011] 本開示の他の態様、利点、および特性は、下記のセクションである図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む本願全体のレビュー後に明らかになるであろう。
[0012] 図1は、ズームされた画像を生成するためのシステムの特定の実例となる実施形態のブロック図である。 [0013] 図2は、ズームされた画像を生成する方法の第1の特定の実施形態の流れ図である。 [0014] 図3は、ズームされた画像を生成する方法の第2の特定の実施形態の流れ図である。 [0015] 図4は、ズームされた画像を生成する方法の第3の特定の実施形態の流れ図である。 [0016] 図5は、ズームされた画像を生成する方法の第4の特定の実施形態の流れ図である。 [0017] 図6は、ズームされた画像を生成する複数の方法における差異を示す図である。 [0018] 図7は、プレビュー表示を生成する複数の方法における差異を示す図である。 [0019] 図8は、ズームされた画像を生成するための装置を含む携帯用デバイスの特定の実施形態のブロック図である。
[0020] 図1は、ズームされた画像を生成するためのシステム(100と指定されたシステム)の特定の実例となる実施形態のブロック図である。システム100は、デジタルカメラ、携帯電話、携帯用コンピューティングデバイス、または別の携帯用電子デバイスのような携帯用電子デバイス、またはカメラを含む装置でありうる。システム100は、画像処理システム102に結合された画像センサ104を含む。システム100は、オートフォーカスコンポーネント、レンズ、アパーチャ制御コンポーネントなどのような図示されていない他のコンポーネントもまた含みうる。また、特定の文脈で違ったように表明されていない限り、「画像(image)」という用語は動く画像(例えば動画またはビデオ画像)またはスチル画像(例えば写真やピクチャ)を指すために本明細書において使用される。
[0021] システム100は、画像処理システム102に画像センサ104を接続するためのカメラインターフェース108を含む。システム100は、ズーム操作を実現するためにユーザインプットを受信するために適合された(スイッチ、ソフトスイッチ、タッチスクリーン、またはボタンのような)インプットデバイス142もまた含みうる。システム100は、画像センサ104によってキャプチャされた画像、メモリ120に記憶された画像、またはその両方を表示するために適合されたディスプレイ128もまた含みうる。特定の実施形態では、ディスプレイ128はビューファインダを含み、画像処理システム102のビューファインダモジュール126はディスプレイ128において表示するためのプレビュー画像を生成しうる。
[0022] 画像処理システム102は、画像センサ104によってキャプチャされた画像データから画像を生成するための(処理モジュール111〜114として図示された)様々な画像処理機能を行うように構成された画像処理パイプライン110を含みうる。例えば、画像処理パイプライン110は、スケールアップされた画像データを生成するために画像データをスケールアップするためのアップスケーラ111を含みうる。例示すると、アップスケーラ111は、画像センサ104によってキャプチャされた画像データのピクセルの間に追加のピクセルを内挿または外挿しうる。画像処理パイプライン110は、画像データまたはスケールアップされた画像データに1つ以上の画像シャープニング(sharpening)機能を行うための画像シャープニングモジュール112、画像データまたはスケールアップされた画像データに空間フィルタリングを行うための適応空間フィルタリングモジュール113、(例えば、デモザイク、ガンマ補正、ホワイトバランス、圧縮、色空間変換など)他のパイプライン機能114、またはこれらの任意の組合せもまた含みうる。
[0023] 画像処理システム102は、画像処理パイプライン110、プロセッサ118、またはその両方のモジュールによる処理の期間に画像データの複数のラインを記憶するために使用されるラインバッファ116もまた含みうる。プロセッサ118は、画像を処理、記憶、または表示するためにメモリ120に記憶された命令122を実行するために適合されうる。例えば、プロセッサ118、画像処理パイプライン110、またはこれらの任意の組合せは、処理された画像データ124をメモリ120において記憶しうる。処理された画像データ124は、圧縮されたデータ(例えば、joint picture expert group(JPEG)画像データ)または圧縮されていないデータでありうる。
[0024] 特定の実施形態では、画像処理システム102はズームコントローラ140を含む。ズームコントローラ140は、インプットデバイス142を通じて受信されたユーザインプットに応答してズーム操作を実現するために適合される。ズームコントローラ140は図1で分離されたモジュールとして図示されている。しかしながらある実施形態では、ズームコントローラ140の機能は、画像処理システム102の幾つかのモジュール、プロセッサ118によって実行される命令122、またはこれらの任意の組合せによって行われうる。ズームコントローラ140は、ズーム操作を実現するために画像センサ104、画像処理パイプライン110、プロセッサ118、ビューファインダモジュール126、またはこれらの任意の組合せに命令を送信しうる。例えば、ズームコントローラ140によって送られた命令は、画像センサ104の一部を指示するため、つまりズーム操作のための画像データを提供するために画像センサ104へ送られうるウィンドウ情報144を含みうる。ズームコントローラ140によって送られた命令は、ズーム操作を実現するために画像センサ104のピクセルクロックレート132が変更されることを引き起こしうる。例えば、ズームコントローラ140は、画像センサ104に提供されるマスタークロックレート130が修正されることを引き起こし、ピクセルクロックレート132が修正されることをもたらしうる。画像センサ104は、画像データが画像センサ104によってキャプチャまたは出力されるフレームレートにおいて割込み(interruption)を生じさせることなく第2のピクセルクロックレートに第1のピクセルクロックレートから変更するために適合されうる。例えば、ピクセルクロックレート132が変更される前に画像センサ104が毎秒30フレームのレートで画像データをアウトプットしているとき、ピクセルクロックレート132が変更された後も画像センサ104は毎秒30フレーム画像データをアウトプットし続けうる。画像センサ104はさらに、非アクティブモード(例えば、スタンバイモード)に入ることなくかつ一切のフレームを見落とすことなく(例えば、画像センサのフレームレートを維持しつつ)第2のピクセルクロックレートに第1のピクセルクロックレートから変更するために適合されうる。
[0025] 動作中、システム100は画像をキャプチャし、処理された画像データ124をメモリ120に記憶するために使用されうる。ユーザは、インプットデバイス142を通じてインプットを提供することで、ズーム操作が行われるべきであると指示しうる。インプットデバイス142を通じて受信されたユーザインプットに応答して、ズームコントローラ140は画像センサ104へウィンドウ情報144を送信しうる。ウィンドウ情報144に応答して、画像センサ104はウィンドウ情報144によって識別された画像センサ104の一部に対応する切り取られた画像データを生成しうる。例示すると、ウィンドウ情報144は切り取られた画像データを生成するための画像センサ104のピクセルのセットを規定し、画像センサ104はピクセルのそのセットのピクセルに関連付けられた画像データを送信しうる。ズームコントローラ140はまた、画像センサ104のピクセルクロックレート132を低減させることを引き起こしうる。例えば、ズームコントローラ140はマスタークロックレート130を低減させ、画像センサ104のピクセルクロックレート132の低減をもたらす。
[0026] 切り取られた画像データは、カメラインターフェース108を通じてアップスケーラ111へ送られうる。アップスケーラ111は、ズームされた画像データを生成するために切り取られた画像データをスケールアップしうる。切り取られた画像データをスケールアップすることは、画像データにより多くのピクセルを含ませる。ズームされた画像は、画像シャープニングモジュール112、適応空間フィルタリングモジュール113、他のパイプライン機能114、またはこれらの任意の組合せのような画像処理パイプライン110の他の機能に提供されうる。それゆえに、切り取られた画像データは他の画像処理パイプライン機能が行われる前にスケールアップされうる。それは、画像処理パイプライン機能が行われた後に画像データをスケールアップするのと比較して改善された画質を提供しうる。加えて、ピクセルクロックレート132は切り取られた画像データを出力するために低減させられるから、画像データのピクセルの数がアップスケーラ111によって増加させられたとき、画像処理パイプライン110のピクセルクロックレートは過剰にならない。
[0027] 特定の実施形態では、切り取られた画像データはラインバッファ116に最初に記憶されることなくアップスケーラ111に提供されうる。それは、ズームされた画像を生成する待ち時間を低減させうる。さらに、切り取られた画像データは画像センサ104全体からの画像データを切り取ることで画像処理システム102で生成されるというよりはむしろ画像センサ104から受信されるから、画像データを処理またはスケールアップするために追加で使用されるバス帯域幅はない。それゆえに、ラインバッファへ画像データを書き込む、およびラインバッファから画像データを読み取るために使用されるであろう電力およびバス帯域幅は節約されうる。
[0028] ズーム操作が行われる前に、ビューファインダモジュール126は画像センサ104からのサブサンプリングされた(sub-sampled)画像データを使用してディスプレイ128においてプレビュー表示を生成しうる。サブサンプリング(sub-sampling)は、サブサンプリングされた画像データにおいて表されるいくつかのピクセルを低減するために、あるピクセルを取り除いたり省いたりまたはあるピクセルを組合せることを指す。ピクセルの数は、比較的一様な方法で(例えば、より低い解像度であるが画像全体を保持するような方法で)低減されうる。これは、画像のセクション全体を取り除くことを指す画像データの切り取りとは対照的である。ズーム操作が行われるとき、ビューファインダモジュール126は切り取られた画像データを使用してズームされたプレビュー表示を生成しうる。切り取られた画像データはサブサンプリングされるとは限らない。それゆえに、ズームされたプレビュー表示は、サブサンプリングされていないデータに基づいて生成されうる。
[0029] 図2は、ズームされた画像を生成する方法の第1の特定の実施形態の流れ図である。図2において図示される方法は、ズーム操作を行うための命令を202において受信することを含む。例えば、ユーザはズーム操作が行われるべきであることを指示するために図1のシステム100のような装置のインプットデバイスを通してユーザインプットを供給しうる。その装置は、ユーザインプットに応答してズーム操作を行うための命令を生成しうる。
[0030] その方法は、その命令に基づいて画像センサへウィンドウ情報を204において送信することもまた含みうる。ウィンドウ情報は画像センサの一部に対応しうる。例えば、図1のズームコントローラ140は、画像センサ104へウィンドウ情報144を送信しうる。ウィンドウ情報144は、そこから画像センサ104によって画像データが出力されることとなる、画像センサ104の特定の一部を指示しうる。
[0031] その方法は、画像センサからその一部に対応する切り取られた画像データを206において受信することもまた含みうる。例えば、図1の画像センサ104はウィンドウ情報144に応答して切り取られた画像データを出力しうる。その方法はまた、ズームされた画像を生成するために、切り取られた画像データを208においてスケールアップすることを含みうる。例示すると、図1のアップスケーラ111は切り取られた画像データを受信し、切り取られた画像データをズームされた画像に対応する生成されたズームされた画像データにスケールアップしうる。
[0032] 図2の方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、中央処理装置(CPU)のような処理ユニット、デジタル信号プロセッサ(DSP)、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはこれらの任意の組合せを使用して実装されうる。例として、図2の方法は命令を実行するプロセッサによって行われることができる。
[0033] 図3は、ズームされた画像を生成する方法の第2の特定の実施形態の流れ図である。図3において図示される方法は、画像センサからのサブサンプリングされた画像データを使用して表示デバイスで表示を302において生成することを含む。例えば、図1のビューファインダモジュール126はサブサンプリングされた画像データを使用してディスプレイ128においてビューファインダ表示を生成しうる。例示すると、サブサンプリングされた画像データを生成するために、画像センサ104がサブサンプリングされた画像データを出力するか、または画像処理パイプライン110が画像センサ104によって提供された画像データをサブサンプリングする機能モジュールを含みうる。サブサンプリングされた画像データは、ディスプレイ128において表示のために処理されうる。
[0034] この方法は、ズーム操作を行うための命令を304において受信することもまた含みうる。例えば、ユーザはズーム操作が行われるべきであることを指示するために図1のシステム100のような装置のインプットデバイスを通してユーザインプットを提供しうる。システム100は、ユーザインプットに応答してズーム操作を行うための命令を生成しうる。
[0035] その方法は、その命令に基づいて画像センサへウィンドウ情報を306において送信することもまた含みうる。ウィンドウ情報は画像センサの一部に対応しうる。例えば、図1のズームコントローラ140は、画像センサ104へウィンドウ情報144を送信しうる。ウィンドウ情報144は、そこから画像センサ104によって画像データが出力されることとなる、画像センサ104の特定の一部を指示しうる。
[0036] その方法は、ズーム操作を行うための命令に応答して画像センサのピクセルクロックレートを308において低減させることもまた含みうる。例えば、図1の画像処理システム102は画像センサ104にマスタークロック信号を提供しうる。そのマスタークロック信号は、画像センサ104のピクセルクロックレート132を決定するために使用されうるマスタークロックレート130を規定しうる。それゆえに、マスタークロックレート130を低減させることによってピクセルクロックレート132が低減されうる。
[0037] その方法は、画像センサからその一部に対応する切り取られた画像データを310において受信することもまた含みうる。例えば、図1の画像センサ104はウィンドウ情報144に応答して切り取られた画像データを出力しうる。その方法はまた、ズームされた画像を生成するために、切り取られた画像データを312においてスケールアップすることを含みうる。例示すると、図1のアップスケーラ111は切り取られた画像データを受信し、ズームされた画像に対応するズームされた画像データを生成するために切り取られた画像データをスケールアップしうる。特定の実施形態では、切り取られた画像データがスケールアップされる前は、切り取られた画像データはラインバッファに記憶されない。それゆえに、ラインバッファへ画像データを書き込む、およびラインバッファから画像データを読み取るために使用されるであろう電力およびバス帯域幅は節約されうる。
[0038] その方法は、命令に応答して表示デバイスでズームされた表示を314において生成することもまた含みうる。例えば、図1のビューファインダモジュール126はディスプレイ128においてズームされた画像のビューファインダ表示を生成しうる。上記のように、画像がズームされていないとき、ビューファインダモジュール126はサブサンプリングされた画像データを使用してビューファインダ表示を生成しうる。しかしながら、ズームされたビューファインダ表示を生成するために、ビューファインダモジュール126はサブサンプリングされていない画像センサ104からの切り取られた画像データを使用しうる。
[0039] その方法は、ズームされた画像に対応するズームされた画像データを使用して追加の画像処理を行うこともまた含みうる。例えば、この方法はズームされた画像に画像シャープニング操作を316において行うこと、ズームされた画像の空間フィルタリングを318において行うこと、またはその両方を含みうる。他の画像処理操作が、その上に、または代替的に行われうる。その方法は、ズームされた画像データを320におけるメモリデバイスにおいて記憶すること、ズームされた画像を322における表示デバイスで表示すること、またはこれらの任意の組合せもまた含みうる。
[0040] 図3の方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、中央処理装置(CPU)のような処理ユニット、デジタル信号プロセッサ(DSP)、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはこれらの任意の組合せを使用して実装されうる。例として、図3の方法は命令を実行するプロセッサによって行われることができる。
[0041] 図4は、ズームされた画像を生成する方法の第3の特定の実施形態の流れ図である。図4において図示される方法は、第1のピクセルクロックレートで画像センサから第1の画像データを402において受信することを含む。例えば、ズーム操作を行うための命令が図1のシステム100において受信される前に、画像センサ104は第1のピクセルクロックレートで第1の画像データを出力しうる。この方法は、ズーム操作を行うための命令を404において受信することもまた含みうる。例えば、ユーザは図1のシステム100のインプットデバイス142を通してズーム操作が行われるべきであることを指示するためにユーザインプットを提供しうる。システム100は、ユーザインプットに応答してズーム操作を行うための命令を生成しうる。
[0042] その方法は、その命令に基づいて画像センサへウィンドウ情報を406において送信することもまた含みうる。ウィンドウ情報は画像センサの一部に対応しうる。例えば、図1のズームコントローラ140は、画像センサ104へウィンドウ情報144を送信しうる。ウィンドウ情報144は、そこから画像センサ104によって画像データが出力されることとなる、画像センサ104の特定の一部を指示しうる。その方法は、ピクセルクロックレート低減要求を406において送信することもまた含みうる。ピクセルクロックレート低減要求に応答して、画像センサのピクセルクロックレートは低減され、そうすることで画像センサによってキャプチャされた画像データのフレームレートは維持される。
[0043] その方法は、画像センサからその一部に対応する切り取られた画像データを408において受信することもまた含みうる。切り取られた画像データは、第1のピクセルクロックレートより遅い第2のピクセルクロックレートで受信されうる。例えば、図1の画像センサ104はウィンドウ情報144に応答して切り取られた画像データを出力しうる。マスタークロックレート130は低減され、そうしてピクセルクロックレート132が低減されることを引き起こしうる。その方法はまた、ズームされた画像を生成するために、切り取られた画像データを410においてスケールアップすることを含みうる。例示すると、図1のアップスケーラ111は切り取られた画像データを受信し、切り取られた画像データをズームされた画像に対応する生成されたズームされた画像データにスケールアップしうる。
[0044] 図4の方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、中央処理装置(CPU)のような処理ユニット、デジタル信号プロセッサ(DSP)、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはこれらの任意の組合せを使用して実装されうる。例として、図4の方法は命令を実行するプロセッサによって行われることができる。
[0045] 図5は、ズームされた画像を生成する方法の第4の特定の実施形態の流れ図である。図5において図示される方法は、画像センサからのサブサンプリングされた画像データを使用して表示デバイスで表示を502において生成することを含む。例えば、図1のビューファインダモジュール126はサブサンプリングされた画像データを使用してディスプレイ128においてビューファインダ表示を生成しうる。例示すると、サブサンプリングされた画像データを生成するために、画像センサ104がサブサンプリングされた画像データを出力するか、または画像処理パイプライン110が画像センサ104によって提供された画像データをサブサンプリングする機能モジュールを含みうる。サブサンプリングされた画像データは、ディスプレイ128において表示のために処理されうる。
[0046] その方法は、第1のピクセルクロックレートで画像センサから第1の画像データを504において受信することもまた含みうる。例えば、ズーム操作を行うための命令が図1のシステム100において受信される前に、画像センサ104は第1のピクセルクロックレートで第1の画像データを出力しうる。この方法は、ズーム操作を行うための命令を506において受信することもまた含みうる。例えば、ユーザは図1のシステム100のインプットデバイス142を通してズーム操作が行われるべきであることを指示するためにユーザインプットを提供しうる。システム100は、ユーザインプットに応答してズーム操作を行うための命令を生成しうる。
[0047] その方法は、508において、その命令に基づいて画像センサへウィンドウ情報を送信すること、およびピクセルクロックレート低減要求を送信することもまた含みうる。ウィンドウ情報は画像センサの一部に対応しうる。例えば、図1のズームコントローラ140は、画像センサ104へウィンドウ情報144を送信しうる。ウィンドウ情報144は、そこから画像センサ104によって画像データが出力されることとなる、画像センサ104の特定の一部を指示しうる。その方法は、画像センサからその一部に対応する切り取られた画像データを510において受信することもまた含みうる。ピクセルクロックレート低減要求に応答して、切り取られた画像データは第1のピクセルクロックレートより遅い第2のピクセルクロックレートで受信されうる。例えば、 図1の画像センサ104はウィンドウ情報144に応答して切り取られた画像データを出力しうる。マスタークロックレート130は低減され、そうしてピクセルクロックレート132が低減されることを引き起こしうる。
[0048] その方法は、ズームされた画像を生成するために、切り取られた画像データを514においてスケールアップすることを含みうる。例示すると、図1のアップスケーラ111は切り取られた画像データを受信し、ズームされた画像に対応するズームされた画像データを生成するために切り取られた画像データをスケールアップしうる。その方法は、ズームされた画像データを使用して追加の画像処理を行うこともまた含みうる。例えば、この方法はズームされた画像に画像シャープニング操作を516において行うこと、およびズームされた画像の空間フィルタリングを518において行うことを含みうる。他の画像処理操作が、その上に、または代替的に行われうる。
[0049] 図5の方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、中央処理装置(CPU)のような処理ユニット、デジタル信号プロセッサ(DSP)、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはこれらの任意の組合せを使用して実装されうる。例として、図5の方法は命令を実行するプロセッサによって行われることができる。
[0050] 図6は、ズームされた画像を生成する複数の方法の間での差異を示す図である。図6において、ズームされた画像を生成する第1の方法は600で指定され、ズームされた画像を生成する第2の方法は650で指定されている。第1の方法600では、画像センサ602が第1のピクセルクロックレートで画像データ614を生成する。例えば、画像センサ602が名目上5メガピクセル(MP)画像センサのとき、画像センサ602はおおよそ縦2608横1950ピクセルを含むアレイ(array)のようなピクセルのアレイを含みうる。画像センサ602が毎秒12フレームのフレームレートで画像を生成するとき、画像センサ602の第1のピクセルクロックレートは約120Mhzでありうる。画像データ614は画像処理パイプライン604へ送られることで、例えばデモザイク、色ドメイン変換(color domain conversion)、画像シャープニング、空間フィルタリングなど、様々な画像処理操作を行わせうる。画像処理パイプライン604は、画像データ614を処理し、画像データ614を1つ以上のラインバッファ606に書きうる。処理された画像データは、切り取られた画像データ616を生成するために切り取り処理モジュール608によって切り取られうる。切り取られた画像データ616は、スケールアップされた画像データ618を生成するためにアップスケーラ610によってスケールアップされうる。スケールアップされた画像データ618は、さらなる処理および記憶のために、他の処理または記憶モジュール612に提供されうる。
[0051] 方法600の実例では、ズーム操作が4倍ズーム操作に対応するとき、切り取られた画像データ616は16倍(つまり、4倍の垂直な解像度および4倍の水平な解像度)に増加させられうる。それゆえに、スケールアップされた画像データ618は切り取られた画像データ616のおおよそ16倍ほどのピクセルを含みうる。切り取られた画像データ616は第1のピクセルクロックレート(例えば、約120Mhz)で処理されるから、スケールアップは第1のピクセルクロックレートより16倍大きいピクセルクロックレート(例えば、1920Mhz)でスケールアップされた画像データ618が生成されることをもたらす。それゆえに、第1の方法600はズームされた画像が生成されるとき、ピクセルクロックレートにおける著しい増加をもたらしうる。
[0052] 第1の方法600と第2の方法650との間の特定の差異を例示するために、それらの方法を行うシステムおよびモジュールのある特徴がそれら二つの方法の間の共通点として説明される。例えば、画像はそれら二つの方法の間で同じフレームレート(例えば、毎秒12フレーム)で生成されうる。加えて、第2の方法650のために説明されたズーム操作は第1の方法600のために説明されたズーム操作(例えば、4倍ズーム)にある程度類似しうる。これらの類似点は単に、二つの方法600と650とを説明し比較することの都合のためであって限定を意図したものではない。例えば、第1の方法600または第2の方法650は、毎秒12フレームより大または毎秒12フレームより小で動作しうる。加えて、方法600または650のいずれかにおけるフレームレートはズーム操作を実現するために変更されうる。さらに、方法600または650のいずれかは4倍より大または4倍より小のズーム操作を行うために使用されうる。加えて、画像センサ602は5Mピクセルより少なくまたは5Mピクセルより多くを含みうる。
[0053] 第2の方法650では、ズームコントローラ652は画像センサ602にウィンドウ情報654を提供する。ウィンドウ情報654は、データを切り取られた画像データ656として出力する画像センサ602の一部を識別する情報を含む。例示すると、4倍ズーム操作を行うために、ウィンドウ情報654は画像センサ602のピクセルのおおよそ16分の1に対応する一部(例えば、おおよそ縦664横492ピクセルを含む画像センサ602のエリア)を識別しうる。
[0054] ズームコントローラ652はまた、第2のピクセルクロックレートに画像センサのピクセルクロックレートを低減させることを画像センサ602に引き起こしうる。例えば、ズームコントローラ652は、ピクセルクロックレートを低減させることを画像センサ602に引き起こす信号を画像センサ602へ送信しうる。別の例では、ズームコントローラ652は画像センサ602へ送られるマスタークロック信号を低減させ、画像センサ602のピクセルクロックレートが低減されることをもたらす。画像センサ602は、切り取られた画像データ656を第2のピクセルクロックレートで出力しうる。例示すると、第2のピクセルクロックレートはおおよそ12Mhzでありうる。
[0055] 画像処理パイプライン604は、切り取られた画像データ656を受信しうる。アップスケーラ610は、画像処理パイプライン604の部分でありうる。例えば、アップスケーラ610は画像処理パイプライン604の他のパイプライン処理モジュール658に先行しうる。つまり、アップスケーラ610は他のパイプライン処理モジュール658より前に切り取られた画像データ656を処理しうる。アップスケーラ610は、ズームされた画像データ670を生成するために切り取られた画像データ656をスケールアップしうる。例えば、4倍ズーム操作のために、切り取られた画像データ656のピクセルの数はアップスケーラ610によって16倍に増加させられうる。それに基づいて、切り取られた画像データ656が縦664横492ピクセルを含むとき、ズームされた画像データ670は縦2656横1968ピクセルを含みうる。処理されたピクセルの数を増加させることは、それに対応する画像処理パイプライン604のピクセルクロックレートの増加をもたらす。それゆえに、ピクセルクロックレートは16倍に増加させられうる。しかしながら、第2のピクセルクロックレートは12Hzであったから、切り取られた画像データ656のスケールアップ後の画像処理パイプライン604でのピクセルクロックレートの増加はおおよそ192Hzでありうる。それは、ある画像処理システムのためには許容可能なピクセルクロックレートでありうる。ズームされた画像データ670が生成された後、画像処理パイプライン604はデモザイク、画像シャープニング、空間フィルタリング、色空間変換などのような他のパイプライン処理機能658を行いうる。加えて、他の処理または記憶機能612はズームされた画像データ670を使用して行われうる。
[0056] それゆえに、第2の方法650を使用することで、ズームされた画像は画像処理システムのピクセルクロックレートを許容しがたいレベルまで増加させることなく生成されることができる。加えて、(空間フィルタリングおよび画像シャープニングのような)他の画像処理パイプライン機能は画像データがスケールアップされた後で行われうる。それは、画像処理機能の後で画像のスケールアップを行うことと比較して改善された画質を提供しうる。加えて、上で言及された改善は画像処理システムでの待ち時間または画像処理システムによって使用される帯域幅を増加させることなく達成されることができる。
[0057] 図7は、プレビュー表示を生成する方法を示す図である。図7において、プレビュー表示を生成する第1の方法は700で指定され、プレビュー表示を生成する第2の方法は750で指定されている。具体的に言うと、第1の方法700はズーム操作が実現される前にプレビュー表示を生成するために使用され、第2の方法750はズーム操作が実現されるときにプレビュー表示を生成するために使用されうる。
[0058] 第1の方法700では、画像センサ702が画像データ710を生成する。画像データ710は、サブサンプリングされた画像データ712を生成するために画像センサ702またはサブサンプリングモジュール704のいずれかによってサブサンプリングされる。例えば、サブサンプリングはサブサンプリングされた画像データ712において表されるいくつかのピクセルを低減するために、あるピクセルを取り除いたり省いたりまたはあるピクセルを組合せることを含みうる。ピクセルの数は、比較的一様な方法で(例えば、より低い解像度であるが画像全体を保持するような方法で)低減されうる。これは、画像のセクション全体を取り除くことを指す画像データ710の切り取りとは対照的である。ビューファインダモジュール706は、表示デバイス708へ送られるプレビュー画像714を生成するためにサブサンプリングされた画像データ712を使用する。
[0059] 第2の方法750では、画像センサ702が画像データ710を生成する。画像データ710は、サブサンプリングされることなく切り取りモジュール752へ送られる。例えば、画像データ710は切り取りモジュール752にフルの解像度で送られうる。切り取りモジュール752は、切り取られた画像データ754を生成するために画像データ710を切り取りうる。切り取られた画像データ754は、ビューファインダモジュール706へ送られうる。それは、表示デバイス708へ送られるプレビュー画像756を生成するために切り取られた画像データ754を使用する。特定の実施形態では、画像データ710はズーム操作を行うための命令に応答して画像センサ702によって生成される。例えば、ズーム操作を行うための命令に応答してウィンドウ情報は(図1を参照して説明されたように)画像センサ702へ送られうる。ウィンドウ情報に応答して画像センサ702は、切り取られた画像データ754を生成しうる。それは、ビューファインダモジュール706へ送られうる。それゆえに、プレビュー表示756はサブサンプリングされた画像データ712から生成されたのではないから、第2の方法750は第1の方法700より高い解像度のプレビュー表示を生成しうる。
[0060] 説明された実施形態と併せて、命令122を実行する図1のプロセッサ118、図1のズームコントローラ140、画像センサへウィンドウ情報を送信するように構成された1つ以上の他のデバイスまたは回路、またはこれらの任意の組合せのような、ズーム操作を行うための命令に応答して画像センサへウィンドウ情報を送信するための手段を含みうるシステムが開示される。システムは、図1のカメラインターフェース108、図1の画像処理パイプライン110、切り取られた画像データを受信するように構成された1つ以上の他のデバイスまたは回路、またはこれらの任意の組合せのような、画像センサからの一部に対応する切り取られた画像データを受信する手段もまた含みうる。システムは、図1のアップスケーラ111、切り取られた画像データをスケールアップするように構成された1つ以上の他のデバイスまたは回路、またはこれらの任意の組合せのような、ズームされた画像を生成するために切り取られた画像データをスケールアップする手段もまた含みうる。
[0061] 図8を参照すると、ズームされた画像を生成するためのズームコマンドを実装できるカメラ824およびズームコントローラ820を含む電子デバイス800の特定の実例となる実施形態のブロック図が表現されている。デバイス800は、ズームコントローラ820を実装するために実行可能でありうるプログラム命令836を記憶するメモリ804に結合される汎用プロセッサ、画像プロセッサ、デジタル信号プロセッサ、またはこれらの任意の組合せのような、プロセッサ802を含む。プロセッサ802はまた、カメラコントローラ818および表示コントローラ808に結合される。表示コントローラ808はディスプレイ810に結合される。スピーカ814およびマイクロフォン816はコーダ/デコーダ(CODEC)812を通じてプロセッサ802に結合されることができる。実例では、電子デバイス800は図1のシステム100を含むまたはシステム100の内に含まれ、電子デバイス800はカメラ824によってキャプチャされた画像データを使用してズームされた画像を生成するためにズーム操作を実装するために図2〜7のいずれか、またはこれらの任意の組合せに従って動作する。
[0062] 図8はまた、ワイヤレスインターフェース826はプロセッサ802およびアンテナ828に結合されることができることを表明する。特定の実施形態では、プロセッサ802、表示コントローラ808、カメラコントローラ818、CODEC812、メモリ804、およびワイヤレスインターフェース826はパッケージ内システムまたはチップ上システムデバイス830に含まれる。特定の実施形態では、電源834、カメラ824、スピーカ814、マイクロフォン816はチップ上システムデバイス830に結合される。さらに、特定の実施形態では、図8において示されるように、ディスプレイ810、入力デバイス832、スピーカ814、マイクロフォン816、アンテナ828、および電源834は、チップ上システムデバイス830の外部にある。しかしながら、ディスプレイ810、入力デバイス832、スピーカ814、マイクロフォン816、アンテナ828、カメラ824、および電源834の各々は、インターフェースまたはコントローラのようなチップ上システムデバイス830のコンポーネントに結合されることができる。
[0063] 当業者は、本開示の実施形態に関連して説明された様々な実例となる論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが電子ハードウェア、プロセッサによって実行されるコンピュータソフトウエア、または両方の組合せとして実装されうることをさらに理解するであろう。様々な実例となるコンポーネント、ブロック、構成、モジュール、回路、およびステップは、概してそれらの機能という観点から上述された。このような機能が、ハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定のアプリケーションおよびシステム全体に課せられる設計制約に依存する。当業者は、各特定のアプリケーションについて、様々な方法で、説明された機能を実現しうるが、そのような実現の決定は、本開示の範囲からの逸脱を生じさせるものとして解釈されるべきでない。
[0064] 本開示の実施形態に関連して説明された方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはそれら二つの組合せで直接に具現化されうる。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読み取り専用メモリ(CD−ROM)、または当技術分野で知られている有形の記憶媒体の任意の他の形態に内在しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込めるように、プロセッサに結合される。代替的に、記憶媒体はプロセッサと一体でありうる。プロセッサおよび記憶媒体は、特定用途向け集積回路(ASIC)に内在しうる。ASICは、コンピューティングデバイスまたはユーザ端末に内在しうる。代替的に、プロセッサと記憶媒体は、コンピューティングデバイスまたはユーザ端末においてディスクリートコンポーネントとして内在しうる。
[0065] 開示された実施形態のこれまでの説明は、当業者の誰もが開示された実施形態を製造または使用可能にするために提供される。これらの実施形態への様々な修正は当業者には容易に明らかであり、本明細書に定義された原理は本開示の範囲を逸脱することなく他の実施形態に適用されうる。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、下記の特許請求の範囲によって定義されるような原理および新規な特徴と一致する可能である最も広い範囲を与えられるべきである。

Claims (29)

  1. ズーム操作を行うための命令を受信することと、
    前記命令に基づいて画像センサへウィンドウ情報を送信することと、ここで、前記ウィンドウ情報は前記画像センサの一部に対応する、
    前記画像センサから前記一部に対応する切り取られた画像データを受信することと、
    ズームされた画像を生成するために、前記切り取られた画像データをスケールアップすることと
    を備える、方法。
  2. 前記命令に応答して前記画像センサのピクセルクロックレートを低減させることをさらに備える、請求項1に記載の方法。
  3. 前記ズームされた画像に画像シャープニング操作を行うことをさらに備える、請求項1に記載の方法。
  4. 前記ズームされた画像の空間フィルタリングを行うことをさらに備える、請求項1に記載の方法。
  5. 前記命令が受信される前に前記画像センサからのサブサンプリングされた画像データを使用して表示デバイスにおいて表示を生成することと、
    前記命令に応答してズームされた表示を前記表示デバイスにおいて生成することと、ここで、前記ズームされた表示は前記切り取られた画像データを使用して生成され、前記切り取られた画像データはサブサンプリングされていない、
    をさらに備える、請求項1に記載の方法。
  6. ズームされた画像データをメモリデバイスにおいて記憶することをさらに備え、前記ズームされた画像データが前記ズームされた画像に対応する、請求項1に記載の方法。
  7. 前記ズームされた画像を表示デバイスにおいて表示することをさらに備える、請求項1に記載の方法。
  8. 前記切り取られた画像データがスケールアップされる前に、前記切り取られた画像データはラインバッファに記憶されない、請求項1に記載の方法。
  9. 前記命令を受信するのに先立って前記画像センサが特定のフレームレートで画像データを出力し、前記特定のフレームレートは前記命令に応答しては変更されない、請求項1に記載の方法。
  10. ズーム操作を行うための命令に応答して画像センサへウィンドウ情報を送信する手段と、ここで、前記ウィンドウ情報は前記画像センサの一部に対応する、
    前記一部に対応する切り取られた画像データを受信する手段と、
    ズームされた画像を生成するために、前記切り取られた画像データをスケールアップする手段と
    を備える装置。
  11. 前記ズームされた画像に対応するズームされた画像データを記憶するメモリ手段をさらに備える、請求項10に記載の装置。
  12. 前記ズームされた画像を表示する表示手段をさらに備える、請求項10に記載の装置。
  13. 前記ズームされた画像に画像シャープニング操作および空間フィルタリング操作を行う画像処理手段をさらに備える、請求項10に記載の装置。
  14. 前記命令が受信される前は第1のピクセルクロックレートで、前記命令に応答して第2のピクセルクロックレートで、クロック信号を提供するためのクロック手段であって、前記第2のピクセルクロックレートは前記第1のピクセルクロックレートより小さい、クロック手段をさらに備える、請求項10に記載の装置。
  15. プロセッサによって実行可能な命令を記憶する有形のコンピュータ可読媒体であって、前記命令が前記プロセッサによって実行されるとき、前記プロセッサに、
    ズーム操作を行うための命令に応答して画像センサへウィンドウ情報を送らせ、ここで、前記ウィンドウ情報は前記画像センサの一部に対応する、
    前記画像センサの前記一部に対応する切り取られた画像データを受信させ、
    ズームされた画像を生成するために、前記切り取られた画像データをスケールアップさせる、
    有形のコンピュータ可読媒体。
  16. 前記命令に応答して前記画像センサのピクセルクロックレートが低減させられることを引き起こす、前記プロセッサによって実行可能な命令をさらに備える、請求項15に記載の有形のコンピュータ可読媒体。
  17. 前記プロセッサによって実行可能な命令であって、実行されたとき、
    前記命令が受信される前は、サブサンプリングされた画像データを生成するために前記画像センサをサブサンプリングすること、および表示のために前記サブサンプリングされた画像データを前記表示デバイスにおいて処理することによって表示を表示デバイスにおいて生成させ、
    前記命令に応答して、前記切り取られた画像データを使用してズームされた表示を前記表示デバイスにおいて生成させる、ここで、前記切り取られた画像データはサブサンプリングされていない、
    前記プロセッサによって実行可能な命令をさらに備える、請求項15に記載の有形のコンピュータ可読媒体。
  18. 第1のピクセルクロックレートで画像センサから第1の画像データを受信することと、
    ズーム操作を行うための命令を受信することと、
    前記命令に応答して前記画像センサへウィンドウ情報を送信することと、
    前記ズーム操作に関連付けられた前記画像センサの一部に対応する切り取られた画像データを受信することと、ここで、前記切り取られた画像データは前記第1のピクセルクロックレートより遅い第2のピクセルクロックレートで受信される、
    ズームされた画像を生成するために、前記切り取られた画像データをスケールアップすることと
    を備える、方法。
  19. 前記ズームされた画像に画像シャープニング操作を行うことをさらに備える、請求項18に記載の方法。
  20. 前記ズームされた画像の空間フィルタリングを行うことをさらに備える、請求項18に記載の方法。
  21. 前記命令が受信される前に前記画像センサからのサブサンプリングされた画像データを使用して表示を表示デバイスにおいて生成することと、
    前記命令に応答してズームされた表示を前記表示デバイスにおいて生成することと、ここで、前記ズームされた表示は前記切り取られた画像データを使用して生成され、前記切り取られた画像データサブサンプリングされていない、
    をさらに備える、請求項1に記載の方法。
  22. プロセッサと、
    前記プロセッサがアクセス可能なメモリと、ここで、前記メモリは前記プロセッサによって実行可能な命令を含み、前記命令が実行されたとき、
    ズーム操作を実装するための命令に応答して画像センサへウィンドウ情報を送らせ、
    前記画像センサへ前記画像センサのピクセルクロックレートを低減させる要求を送らせ、ここで、前記要求は前記ピクセルクロックレートを第1のピクセルクロックレートから、前記第1のピクセルクロックレートより小さな第2のピクセルクロックレートに低減させることを引き起こす、
    前記ズーム操作に関連付けられた前記画像センサの一部に対応する切り取られた画像データを受信させ、ここで、前記切り取られた画像データは前記第2のピクセルクロックレートで前記画像センサからを受信される、
    ズームされた画像を生成するために、前記切り取られた画像データをスケールアップさせる、
    を備える、システム。
  23. 前記画像センサと結合された少なくとも1つのバスおよび前記プロセッサをさらに備え、前記ズーム操作が実行されているときに使用される前記少なくとも1つのバスの帯域幅は、前記ズーム操作が実行されていないときに使用される前記少なくとも1つのバスの帯域幅より小さいか等しい、請求項22に記載のシステム。
  24. ビューファインダモジュールをさらに備え、前記ズーム操作が実行されていないときは前記画像センサからのサブサンプリングされた画像データを使用して画像プレビュー表示を生成し、前記ズーム操作が実行されているときは前記切り取られた画像データを使用して前記プレビュー表示を生成するように、前記ビューファインダモジュールが適合され、前記切り取られた画像データはサブサンプリングされていない、請求項22に記載のシステム。
  25. 前記プロセッサに結合されたラインバッファをさらに備え、前記ズーム操作が実行されていないときは前記ラインバッファの第1の一部が画像データを処理するために使用され、前記ズーム操作が実行されているときは前記ラインバッファの第2の一部が前記切り取られた画像データを処理するために使用され、前記第2の一部が前記第1の一部より小さい、請求項22に記載のシステム。
  26. 前記画像センサに結合される画像処理パイプラインをさらに備え、前記画像処理パイプラインが前記切り取られた画像データをスケールアップするアップスケーラを含む、請求項22に記載のシステム。
  27. 前記画像処理パイプラインが前記アップスケーラに結合された適応空間フィルタリングモジュールをさらに含み、前記適応空間フィルタリングモジュールが前記アップスケーラから受信された前記ズームされた画像を処理する、請求項26に記載のシステム。
  28. 前記画像センサがフレームレートにおいて、割込みを引き起こすことなく、前記第1のピクセルクロックレートから前記第2のピクセルクロックレートに変更するために適合された、請求項22に記載のシステム。
  29. 前記画像センサが非アクティブモードに入ることなく、前記第1のピクセルクロックレートから前記第2のピクセルクロックレートに変更するために適合された、請求項22に記載のシステム。
JP2013558185A 2011-03-16 2012-03-15 ズームされた画像の生成 Pending JP2014511071A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/049,088 2011-03-16
US13/049,088 US20120236181A1 (en) 2011-03-16 2011-03-16 Generating a zoomed image
PCT/US2012/029287 WO2012125862A1 (en) 2011-03-16 2012-03-15 Generating a zoomed image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015204876A Division JP2016042712A (ja) 2011-03-16 2015-10-16 ズームされた画像の生成

Publications (1)

Publication Number Publication Date
JP2014511071A true JP2014511071A (ja) 2014-05-01

Family

ID=45937577

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013558185A Pending JP2014511071A (ja) 2011-03-16 2012-03-15 ズームされた画像の生成
JP2015204876A Pending JP2016042712A (ja) 2011-03-16 2015-10-16 ズームされた画像の生成

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015204876A Pending JP2016042712A (ja) 2011-03-16 2015-10-16 ズームされた画像の生成

Country Status (6)

Country Link
US (2) US20120236181A1 (ja)
EP (1) EP2687007A1 (ja)
JP (2) JP2014511071A (ja)
KR (1) KR101532861B1 (ja)
CN (1) CN103430532B (ja)
WO (1) WO2012125862A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657587A (zh) * 2017-10-23 2018-02-02 北京嗨动视觉科技有限公司 图像处理方法、装置及系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236181A1 (en) 2011-03-16 2012-09-20 Qualcomm Incorporated Generating a zoomed image
US8773543B2 (en) 2012-01-27 2014-07-08 Nokia Corporation Method and apparatus for image data transfer in digital photographing
US9288413B2 (en) * 2012-07-12 2016-03-15 Gopro, Inc. Image capture accelerator
KR102023501B1 (ko) * 2013-10-02 2019-09-20 삼성전자주식회사 설정가능한 이미지 처리 파이프라인을 포함하는 시스템 온 칩과, 상기 시스템 온 칩을 포함하는 시스템
US9258485B2 (en) * 2014-03-24 2016-02-09 Omnivision Technologies, Inc. Image sensor cropping images in response to cropping coordinate feedback
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
CN106027979A (zh) * 2016-06-21 2016-10-12 深圳市智美达科技股份有限公司 摄像监控图像显示系统
CN107547790A (zh) * 2016-06-27 2018-01-05 中兴通讯股份有限公司 图像采集的处理方法、装置及系统
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
KR102282455B1 (ko) 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11042770B2 (en) * 2017-10-09 2021-06-22 EagleSens Systems Corporation Artificial intelligence based image data processing method and image sensor
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
US11039173B2 (en) * 2019-04-22 2021-06-15 Arlo Technologies, Inc. Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
EP3997866A4 (en) * 2019-08-26 2023-03-22 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR CONTENT ENHANCEMENT USING QUAD COLORED FILTER ARRAY SENSORS
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
KR20210090476A (ko) * 2020-01-10 2021-07-20 삼성전자주식회사 단일 카메라로 줌 시나리오에서 화질 향상 방법과 이를 포함하는 전자장치
US11765460B2 (en) * 2020-06-23 2023-09-19 Realwear, Inc. Digital zoom based on remote user instructions of live video
CN112637664A (zh) * 2020-08-27 2021-04-09 西安诺瓦星云科技股份有限公司 视频返看方法、视频输出卡和插卡式视频处理设备
CN116456144B (zh) * 2023-06-14 2023-09-26 合肥六角形半导体有限公司 一种无帧缓存视频流处置输出装置和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170461A (ja) * 1993-12-13 1995-07-04 Canon Inc 撮像装置
JPH07177407A (ja) * 1993-12-16 1995-07-14 Canon Inc 撮像装置
JPH0846845A (ja) * 1994-01-21 1996-02-16 Texas Instr Inc <Ti> 画像処理システムおよび方法
JP2001057649A (ja) * 1999-06-11 2001-02-27 Casio Comput Co Ltd 電子カメラ
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2005020061A (ja) * 2003-06-23 2005-01-20 Matsushita Electric Ind Co Ltd 映像信号処理装置及び映像信号処理方法
JP2006041867A (ja) * 2004-07-27 2006-02-09 Sony Corp 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置
JP2006094420A (ja) * 2004-09-27 2006-04-06 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2006115117A (ja) * 2004-10-13 2006-04-27 Olympus Corp 撮像装置
JP2007151170A (ja) * 2007-02-05 2007-06-14 Sony Corp 固体撮像装置及び画像入力装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0282993B1 (en) * 1987-03-20 1994-02-02 Canon Kabushiki Kaisha Imaging apparatus
JP3046100B2 (ja) * 1991-07-22 2000-05-29 株式会社フォトロン 画像記録装置
JP3237975B2 (ja) * 1993-09-20 2001-12-10 富士通株式会社 画像処理装置
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
KR100314801B1 (ko) 1998-12-22 2002-01-15 박종섭 이미지센서에서화면을패닝및스켈링하기위한장치
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
AU7062500A (en) * 1999-08-19 2001-03-13 Ymedia Corporation Method and apparatus for color interpolation
US7133073B1 (en) * 1999-08-19 2006-11-07 Dialog Imaging Systems Gmbh Method and apparatus for color interpolation
US6724943B2 (en) 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
KR20020004169A (ko) * 2000-07-03 2002-01-16 윤종용 업/다운 스케일링 기능을 갖는 줌 버퍼 제어 회로
JP4192428B2 (ja) * 2001-01-09 2008-12-10 ソニー株式会社 固体撮像装置及び画像入力装置
JP2004064334A (ja) * 2002-07-26 2004-02-26 Mitsubishi Electric Corp 撮像装置
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP4250437B2 (ja) * 2003-03-04 2009-04-08 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
JP2005159856A (ja) 2003-11-27 2005-06-16 Nikon Corp デジタルカメラ
US7688364B2 (en) * 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
JP4018727B2 (ja) * 2006-02-14 2007-12-05 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4262263B2 (ja) * 2006-06-07 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法
CN1909591A (zh) * 2006-08-10 2007-02-07 深圳安凯微电子技术有限公司 一种便携式数码设备的图像处理方法
EP1981262A1 (en) 2007-04-02 2008-10-15 Research In Motion Limited Camera with multiple viewfinders
US20120236181A1 (en) 2011-03-16 2012-09-20 Qualcomm Incorporated Generating a zoomed image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170461A (ja) * 1993-12-13 1995-07-04 Canon Inc 撮像装置
JPH07177407A (ja) * 1993-12-16 1995-07-14 Canon Inc 撮像装置
JPH0846845A (ja) * 1994-01-21 1996-02-16 Texas Instr Inc <Ti> 画像処理システムおよび方法
JP2001057649A (ja) * 1999-06-11 2001-02-27 Casio Comput Co Ltd 電子カメラ
JP2001298621A (ja) * 2000-02-07 2001-10-26 Sony Corp 画像処理装置及びその方法
JP2005020061A (ja) * 2003-06-23 2005-01-20 Matsushita Electric Ind Co Ltd 映像信号処理装置及び映像信号処理方法
JP2006041867A (ja) * 2004-07-27 2006-02-09 Sony Corp 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置
JP2006094420A (ja) * 2004-09-27 2006-04-06 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2006115117A (ja) * 2004-10-13 2006-04-27 Olympus Corp 撮像装置
JP2007151170A (ja) * 2007-02-05 2007-06-14 Sony Corp 固体撮像装置及び画像入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657587A (zh) * 2017-10-23 2018-02-02 北京嗨动视觉科技有限公司 图像处理方法、装置及系统

Also Published As

Publication number Publication date
CN103430532A (zh) 2013-12-04
KR20130135355A (ko) 2013-12-10
WO2012125862A1 (en) 2012-09-20
CN103430532B (zh) 2017-05-31
US20140198237A1 (en) 2014-07-17
KR101532861B1 (ko) 2015-06-30
US20120236181A1 (en) 2012-09-20
EP2687007A1 (en) 2014-01-22
US9325905B2 (en) 2016-04-26
JP2016042712A (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
US9325905B2 (en) Generating a zoomed image
AU2019241111B2 (en) Shooting method, apparatus, and device
KR102156597B1 (ko) 광학 촬영 방법 및 장치
KR101917650B1 (ko) 이미지 처리 방법 및 장치
KR101275899B1 (ko) 자동노출 제어에 의해 지원된 자동초점 시스템 및 방법
US20140244858A1 (en) Communication system and relaying device
US20110261228A1 (en) Image capture module and image capture method for avoiding shutter lag
KR20150098094A (ko) 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
KR20130090225A (ko) 카메라 이미지 센서의 동작 모드 변경 방법
JP2014168270A (ja) 画像選択および結合の方法およびデバイス
JP2008532394A (ja) 複数のイメージバッファを使用してイメージを処理するための方法、電子デバイス、及びコンピュータプログラム製品
JP2008543203A (ja) 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ
JP2014007653A (ja) 撮像装置、撮像方法、撮像システム及びプログラム
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
CN112422805A (zh) 一种拍摄方法及电子设备
JP5899918B2 (ja) 画像処理装置、画像処理方法
US7705890B2 (en) Apparatus and method for photographing an image in a wireless terminal
US9565395B1 (en) Video image processing apparatus and recording medium
US20130242167A1 (en) Apparatus and method for capturing image in mobile terminal
WO2022143205A1 (zh) 编解码方法、电子设备、通信系统以及存储介质
JP2004088510A (ja) ズーム処理装置およびズーム処理方法
KR101276874B1 (ko) 카메라를 갖는 이동통신단말기 및 그 제어방법
KR100902421B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
WO2017086021A1 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2005191697A (ja) 動画撮影装置、動画記録方法、および、動画記録プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151016

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151027

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151225