JP2009524305A - 電子デバイス用カメラ - Google Patents

電子デバイス用カメラ Download PDF

Info

Publication number
JP2009524305A
JP2009524305A JP2008550652A JP2008550652A JP2009524305A JP 2009524305 A JP2009524305 A JP 2009524305A JP 2008550652 A JP2008550652 A JP 2008550652A JP 2008550652 A JP2008550652 A JP 2008550652A JP 2009524305 A JP2009524305 A JP 2009524305A
Authority
JP
Japan
Prior art keywords
column
image
pixel
detector
scale factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008550652A
Other languages
English (en)
Other versions
JP4709288B2 (ja
Inventor
マッツ ウェルナーソン,
Original Assignee
ソニー エリクソン モバイル コミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エリクソン モバイル コミュニケーションズ, エービー filed Critical ソニー エリクソン モバイル コミュニケーションズ, エービー
Publication of JP2009524305A publication Critical patent/JP2009524305A/ja
Application granted granted Critical
Publication of JP4709288B2 publication Critical patent/JP4709288B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Abstract

デジタルカメラは、支持構造と、支持構造によって支持され、光軸を有するレンズと、支持構造によってレンズの下に支持され、多数の隣接する画素列を含む検出器であって、各画素列が、多数の画素を含み、各画素が画像センサを含む検出器と、この検出器に接続され、隣接する画素列とは異なるスケールファクタで、各々の画素列をスケールするように構成された画像スケーラを含む画像信号プロセッサユニットとを備える。その結果、画像スケーラは、カメラの検出器と、画像が撮像される被写体との間の傾斜角度を補償するように構成される。デジタルカメラを組み込むカメラモジュールは、内蔵画像信号プロセッサも備え、カメラモジュールが、スケール出力画像を生成するように構成されることが好ましい。

Description

本出願は、2006年1月20日に出願された、名称「電子デバイス用カメラ」の米国仮特許出願第60/760,899号の優先権を主張するものであり、この米国仮出願を引用することによって、その内容をここに合体する。
本発明は、電子デバイスに使用されるカメラ、たとえばビデオ電話に使用される無線通信端末に組み込まれるカメラに関する。特に、本発明は、ディスプレーを備える電子デバイスのカメラの視野方向を調節するためのソリューションに関する。
セルラー電話業界は、全世界において過去10年間で著しく進歩してきた。開発は、AMPS(Advanced Mobile Phone System、高度移動電話システム)およびNMT(Nordic Mobile Telephone、北欧移動電話)規格によって定義されるシステムなどの最初のアナログシステムから、最近では、D−AMPS(たとえば、EIA/TIA−IS−54−BおよびIS−136)、並びにGSM(Global System for Mobile Communications、汎欧州デジタル移動電話方式)などの移動無線ネットワークシステムのデジタルソリューションに関する規格に殆ど排他的に集中してきた。現在、セルラー電話技術は、WCDMAなどの通信システムによる第3世代(3G)に入りつつあり、これは、上記の第2世代のデジタルシステムに比べていくつかの利点を提供する。
移動電話技術における進歩の多くは、より良いディスプレー、より効率的かつより長期間持続するバッテリ、および多声呼出し信号を生成するための手段など、機能的な特色に関連する。次第に一般的になってきた1つの機能的な特色は、内蔵カメラである。ビデオカメラ機能を有するカメラは、現在は、いくつかの移動電話で利用可能である。EDGE(GSMのための強化データ転送速度)および3Gなどの高ビットレートサービスの開始とともに、ビデオ関連サービスの利用可能性および有用性が増加するであろう。特に、音声と動画を同時に通信する移動ビデオ電話は、最近、商業的に入手可能になった。
カメラが固定して用いられる用途として、ビデオ会議システムは、一般に、パーソナルコンピュータ(PC)などの通信端末上、もしくは通信端末の付近に実装されるか、またはインターネットプロトコル(IP)可能電話に組み込まれるカメラを含む。ユーザは、カメラをユーザに向けた端末の前に位置するため、こうしたシステムの使用はかなり容易であり得る。しかし、移動ビデオ会議は、少々面倒である。端末は、デスクトップ上の支持ユニット内に配置することができ、ユニット内のカメラは、そこから撮像される被写体、一般にユーザに向けられる。対面送信によるビデオ会議に移動電話を使用するさらに一般的な方法は、ビデオ会議を開く時に、内蔵カメラを手動でユーザに向けることである。したがって、ユーザは、移動携帯端末を通して通信する場合、受信者がユーザ、つまり送信者の顔を見ることができるように、端末を顔の前に安定して保持するとよい。
無線端末によるビデオ会議に関連する問題は、内蔵カメラが、一般に、ディスプレーに隣接して配置され且つディスプレーに平行に配置されること、つまりカメラの軸がディスプレー表面に対して垂直であるということによって生じる。したがって、端末は、ユーザの適切な画像を取得するには、顔に対して90°付近に向けられなければならない。しかし、多くのユーザは、端末を保持するこの方法を快適ではないと感じる。さらに、殆どの移動電話の設計では、端末をデスクトップ上に配置する場合、追加の支持手段がない状態では、ユーザの顔を端末の上方に保持する必要があるため、端末を使用することは難しくなることがある。関連する問題は、端末が、撮像される被写体に光を提供するために、カメラと平行に照準された小型ランプも含む場合があるという点である。カメラおよびランプが、ユーザの顔方向に90°の角度で照準される場合、ユーザの顔がディスプレー表面に反射し、ディスプレー上に提示される画像を擾乱するリスクもある。
カメラが、撮像される被写体、たとえばカメラのユーザの顔に対して、ある角度で保持し得るように構成される場合でも、画像の遠近歪みの問題が生じる。その結果、被写体の寸法の実際どおりの表現が重要である場合、問題が生じる。ビデオ電話の場合、ユーザの顔の撮像画像は、カメラが顔から傾斜した角度に保持されると、顔の上部と比べて顎の部分がより広く表示される傾向がある。
本発明の全体的な目的は、画像を撮像する被写体に対してカメラが傾斜角度に保持される場合に、通常は歪んだ画像が生じるデジタルイメージングのためのソリューションを提供することである。
第1の態様によると、上記の目的は、支持構造と、支持構造によって支持され、光軸を有するレンズと、支持構造によってレンズの下方に支持され、多数の隣接する画素列を含む検出器であって、各画素列が、多数の画素を含み、各画素が画像センサを含む検出器と、この検出器に接続され、隣接する画素列とは異なるスケールファクタで、各々の画素列をスケールするように構成された画像スケーラを含む画像信号プロセッサユニットとを備えるデジタルカメラによって達成される。
一実施態様では、画像スケーラは、開始列と終了列との間の列の位置に比例する大きさを有するスケールファクタで、各々の画素列をスケールするように構成される。
一実施態様では、画像スケーラは、開始列スケールファクタおよび終了列スケールファクタの入力に応答するように構成され、開始列と終了列との間の各々の列のスケールファクタを計算するように構成された演算機能を有する。
一実施態様では、画像スケーラは、画素列の入力列の長さを、すべての画素列に共通の目標とする出力列の長さと、その列のスケールファクタとの比率として計算するように構成され、その列の画素によって検出され、入力画素列の長さの範囲内である画像信号を目標とする出力列の長さにスケールするように構成される。
一実施態様では、画像スケーラは、中心列を有する出力画像を生成するように構成される。
一実施態様では、画像スケーラは、以下の式を使用して検出器からの各入力列の中心開始点を計算するように構成される:
開始n=(l−ln)/2
ここで、開始nは、第n列内で処理する最初の画素;lは一列の全体の画素数;およびlnは、第n列内で処理する画素の数である。
一実施態様では、カメラモジュールは支持構造によって形成され、画像信号プロセッサはカメラモジュール内に含まれる。
一実施態様では、画像スケーラは、特定の画素列の出力画素の予め決められた画像形式で位置を決定し、前記の特定の列のスケールファクタを使用して、逆スケーリングによって検出された画像内の対応する位置を決定し、検出された画像内の前記の対応する位置に隣接する画素によって検出される強度値を補間することにより、出力画素の強度値を決定するように構成される。
一実施態様では、画像スケーラは、検出器の画像平面と、画像を撮像される被写体との間の予め設定された予想傾斜角度に依存するスケールファクタを計算するように構成される。
一実施態様では、カメラの視野は、レンズの光軸に対して偏心した作動検出器の表面領域によって規定される。
一実施態様では、画像スケーラは、関数Sn=m+n×kにより各第n列のスケールファクタSnを計算するように構成され、ここでmおよびkは定数である。
第2態様によると、上記の目的は、筐体と、デジタルカメラモジュールであって、支持構造と、支持構造によって支持されて、光軸を有するレンズと、支持構造によってレンズの下方に支持され、多数の隣接する画素列を含む検出器であって、各画素列が多数の画素を含み、各画素が画像センサを含む検出器と、検出器に接続され、隣接する画素列とは異なるスケールファクタで、各々の画素列をスケールするように構成された画像スケーラを含む画像信号処理ユニットを含むデジタルカメラモジュールとを備える電子デバイスによって達成される。
一実施態様では、電子デバイスは、無線信号トランシーバと、スケールされたビデオ信号をデジタルカメラモジュールから無線信号トランシーバに提供するように構成された制御ユニットとを含む。
一実施態様では、電子デバイスは、スケールされた画像を、デジタルカメラモジュールによって提供されたとおりに提示するように構成されたディスプレーを含む。
第3の態様では、上記の目的は、デジタルカメラを使用して画像を撮像する方法であって、
カメラを被写体に向けるステップと、
多数の隣接する画素列を含む検出器内で、画像信号を検出するステップであって、各画素列が多数の画素を含み、各画素が画像センサを備えるステップと、
隣接する画素列とは異なるスケールファクタで各々の画素列をスケールして、スケールされた画像を提供することによって、検出された画像信号を処理するステップと、
スケールされた画像を出力するステップとを含む方法によって達成される。
一実施態様では、この方法は、
開始列と終了列との間の列の位置に比例する大きさを有するスケールファクタで、各々の画素列をスケールするステップを含む。
一実施態様では、この方法は、
開始列スケールファクタおよび終了列スケールファクタを定義するステップと、
開始列と終了列との間の各列のスケールファクタを計算するステップとを含む。
一実施態様では、この方法は、
画素列の入力列の長さを、すべての画素列に共通の目標とする出力列の長さと、その列のスケールファクタとの比率として計算するステップと、
その列の画素によって検出され、入力画素列の長さの範囲内の画像信号を、目標とする出力列の長さにスケールするステップとを含む。
一実施態様では、この方法は、
スケールされた画像に中心列を提供するステップを含む。
一実施態様では、この方法は、
以下の式
開始n=(l−ln)/2
を使用して検出器からの各々の入力列の中心開始点を計算するステップを含み、開始nは第n列内で処理する第1番目の画素;lは一列の全体の画素数;およびlnは、第n列内で処理する画素の数である。
一実施態様では、この方法は、
電子デバイスのカメラモジュール内のデジタルカメラと一体の画像信号プロセッサによって、検出された画像を処理するステップを含む。
一実施態様では、この方法は、
スケールされた画像を、無線通信端末の無線トランシーバを使用して、リモート受信機に送信するステップを含む。
一実施態様では、この方法は、
スケールされた画像をディスプレー上に提示するステップを含む。
一実施態様では、この方法は、
画像形式を規定するステップと、
特定の画素列の出力画素の位置を画像形式で規定するステップと、
前記の特定の列のスケールファクタを使用して逆スケールすることによって、検出された画像内の対応する位置を決定するステップと、
検出された画像内の前記の対応する位置に隣接する画素によって検出された強度値を補間することにより、出力画素の強度値を決定するステップとを含む。
一実施態様では、この方法は、
検出器の画像平面と、画像を撮像する被写体との間の予め設定された傾斜角度に依存するスケールファクタを計算するステップを含む。
本発明の特徴および利点は、添付の図面に関連する好ましい実施態様の以下の説明からさらに明らかになるであろう。
次に、本発明の実施態様について、本発明が示されている添付の図面に関連して以下でさらに完全に説明する。しかし、本発明は、多数の異なる形式で具現することができ、本明細書に記載されている実施態様に限られると解釈するべきではない。むしろ、これらの実施態様は、この開示が網羅的であり、本発明の範囲が当業者に完全に伝わるように提供されるものである。類似する参照符号は、全体的に類似する要素を意味する。
本明細書では、様々な要素を説明するために第1、第2などの用語を使用する場合があるが、こうした要素は、これらの用語によって制限されるべきではない。これらの用語は、単にある要素を他の要素と区別するために使用されるにすぎない。たとえば、本発明の範囲を逸脱することなく、第1要素は第2要素と呼ぶことも可能であり、同様に、第2要素は第1要素と呼ぶことも可能である。本明細書で使用する場合、「および/または」という用語は、関連して記載された1つまたは複数の品目のあらゆる組合せを備える。
本明細書で使用する専門用語は、特定の実施態様のみを説明するためのものであり、本発明を制限する意図はない。本明細書で使用する場合、単数形の不定冠詞および定冠詞は、文脈により明らかにそうではないことが示唆されない限り、複数形も同様に意味することが意図されている。本明細書で使用する場合、「備える」、「備えている」、「含む」および/または「含んでいる」は、記載されている特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指示するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはこれらの群の存在または追加を排除するものではない。
特に定義しない限り、本明細書で使用するすべての用語(技術用語および科学用語を含む)は、本発明が属する技術の当業者が一般的に理解する意味と同じ意味を有する。さらに、本明細書で使用する用語は、本明細書に関連する意味と一致する意味を有するものと解釈するべきであり、従来技術は、本明細書で明記しない限り、理想化されているか、または過度に形式的な意味で解釈しない。
本明細書は、カメラと、カメラが撮像した画像を提示するためのディスプレーであって、ユーザが、カメラを同じユーザに向けながらディスプレーを見ることができるように配置されるディスプレーとを備える電子デバイスの分野に関する。本発明の実施態様によっては、ビデオ電話用に構成された通信端末に関する。こうした通信端末は、たとえば、コードによってPSTN(公衆交換電話網)の壁コンセントに接続可能なDECT(デジタル欧州コードレス電話)電話、またはディスプレーおよびカメラを含む筐体を有するIP電話でよい。実施態様によっては、通信端末は、無線基地局を通して通信するか、および/または別の無線端末と直接通信するように動作可能な移動電話などの無線通信端末である。
次に、添付の図面に関して実施態様を説明する。
図1Aは、本発明のいくつかの実施態様による携帯通信端末10の形式の電子デバイス、たとえば移動電話を示す。端末10は、筐体を含む支持構造11と、キーパッドまたはキーボード12、およびディスプレー13を含むユーザインターフェースとを含む。端末10は、マイクロフォンおよびスピーカを備える音声インターフェース、無線トランシーバ回路構成、アンテナ、バッテリ、並びに無線通信用の関連ソフトウェアおよびデータメモリを含むマイクロプロセッサシステムを含むこともでき、これらはすべて、支持構造11によって支持され、筐体内に収容される。これらの要素のほかに、デバイス10はデジタルカメラ14も備え、そのアパーチャは図1Aに示されている。
図1Aに示すように、カメラ14のアパーチャ、およびディスプレー13は、これらが両方とも共通の視点から見えるように配置される。たとえば、カメラ14およびディスプレー13は、筐体11の同じ側に配置される。このようにして、カメラ14は、ユーザがディスプレー13を見ている際に、ユーザに向けられることができる。したがって、通信端末10は、ビデオ電話として使用し得る。
本発明の実施態様は、図1Bに示す通信端末10の略図に関してさらに説明することができる。次に図1Bを参照すると、本発明のいくつかの実施態様による例示的な通信端末10は、制御ユニットまたはプロセッサ20と通信するキーパッド12、ディスプレー13、トランシーバ26、メモリ16、マイクロフォン15、スピーカ29、およびカメラ14とを備える。トランシーバ26は、一般に、送信機回路27、受信機回路28、およびモデム29を備え、これらは、アンテナ25を介してリモートトランシーバとの間で無線周波信号を送受信するために協働する。通信端末10とリモートトランシーバとの間で送信される無線周波信号は、トラフィック信号と制御信号の両方(たとえば、ページング信号/着信用のメッセージ)を備えることができ、これらは、別の加入者または宛先との通信を確立し、維持するために使用される。
メモリ16は、プロセッサ20に対するプログラム命令、およびデータ、たとえば音声データ、映像データ、構成データ、および/またはプロセッサ20がアクセスおよび/または使用し得るその他のデータの両方を記憶するために使用される汎用メモリでよい。メモリ16は、不揮発性読み/書きメモリ、読出し専用メモリ、および/または揮発性読み/書きメモリを含むことができる。
図2を参照すると、ビデオ電話用の通信端末10の使用が示されている。一般に、ビデオ電話セッションでは、相手の画像21は端末10に送信され、ディスプレー13の専用フレーム22内に表示される。同時に、カメラ14によって撮像される端末10のユーザの比較的小さい画像23も、ディスプレー13のフレーム24内に表示される。フレーム24は、端末10の別のフレーム/ディスプレー内、および/またはディスプレー13のサブフレーム内にピクチャーインピクチャーとして表示され得る。このようにして、ユーザは、カメラ14がどこに向けられているかに関する視覚フィードバックを受けることができ、適切な方向に向けられるように端末10を操作することができる。
ビデオ電話に関連する問題については既に説明したように、ユーザの顔に対して平行ではなく、図3にθで示すように、ユーザ30に対して一定の角度で端末10を保持する方がユーザにとってより快適であるということである。投影される画像、一般にユーザの顔に対して端末10をある斜角に配置することは、端末を支持体、たとえばデスクトップ表面上に配置する場合に、ビデオ電話用の端末10の使用を容易化することもできる。しかし、従来の端末を傾斜させると、カメラが正しく被写体に向けられないため、撮像画像の位置ズレが生じる。撮像画像の専用画像フレーム内における位置ズレは、ディスプレー上で見ることができ、当然、撮像画像を受信する相手にも見える。角度θが増加すると、ユーザの顔は、フレーム内で下に位置ズレする。ある位置では、顔はカメラの視野から外れるが、それは、一般に50°〜70°の範囲である。図1〜14に関して、次に、カメラ、およびカメラを備える端末の形式の電子デバイスについて説明し、これらは、図3に示すように、ある傾斜角度で画像を撮像するように構成される。具体的には、先ず、カメラの光軸に対して傾斜する主見通し線上の被写体を撮像するように構成されたカメラについて説明する。さらに、画像が傾斜角度により歪むという撮像画像の遠近効果を補正または調節するためのカメラおよび方法について説明する。
図4は、本発明のいくつかの実施態様による端末10などの電子デバイスに使用されるデジタルカメラモジュール14を概略的に示す。カメラモジュール14は、たとえばプラスチックまたはガラスから製造されるとともに、破線で示される光軸45を有する1つまたは複数の個々のレンズ41を備える。上部検出器表面43を有する検出器(ディテクター)42は、支持部材44によってレンズ41からある距離に、レンズ41に平行に配置され、支持部材44は封止されたプラスチック筐体である。カメラモジュールは、画像信号プロセッサ(ISP)46も含むことができ、検出器42の裏側に接続し得る。あるいは、ISP46は、ワイヤ、たとえば可撓性ケーブルによって検出器42に接続し得る。レンズ41の焦点距離およびアパーチャ、検出器表面43で定義される撮像面のサイズ、検出器表面43のレンズ41に対する相対位置を含むカメラモジュール14の各部寸法は、カメラモジュール14の視野を規定する。本発明を明確に説明するため、レンズ41を通り、使用する撮像領域の中心に至る主光線を意味するために、主見通し線という用語を使用する。一般に、検出器表面43は、レンズ41の下の中心に配置され、したがって、カメラ14の主見通し線は光軸45と一致する。検出器表面43は、一般に矩形または正方形でよく、光軸45に対して対称でよい。
図5は、カメラ214およびディスプレー213を含む従来の端末210を示す。図5では、軸251はディスプレー213の法線方向、つまりディスプレー213の表面に垂直な軸を示す。さらに、カメラ214の主見通し線を示す光軸245は、法線方向251に実質的に平行に示されている。
図6〜図7は、ディスプレー23およびカメラ14のみが示されている単純化された側面図で、本発明のいくつかの実施態様による端末10A、10Bを示す。図6は、カメラ14の光軸および主見通し線45が法線方向51に対して鋭角φの角度を形成するように、カメラ14を傾斜させた端末10Aを示す。実施態様によっては、カメラ14は、図3に示す使用されるときの端末の傾け角度θに対応する角度φだけ傾斜させてもよい。このようにして、端末10Aは、ユーザに対してある角度で保持された場合、撮像画像を位置ズレさせることなくビデオ電話に使用することができる。しかし、これらの実施態様では、カメラ14は、傾斜されるため、端末10A内でより多数の空間を占めることとなる。さらに、たとえば、カメラ14を端末10A内で傾斜した向きでPCB(プリント回路板)上に固定する場合、追加の取付け装置、たとえば中間の楔要素が必要になる場合がある。
図7は、本発明のさらに他の実施態様による端末10Bを示し、参照符号51は、ディスプレー13の法線方向、つまりディスプレー13の表面に垂直な軸を示す。さらに、カメラ71の光軸45は、法線方向51に実質的に平行であるように示されている。カメラ71は、たとえば、共通PCBに対するはんだ付け、またはその他のタイプの結合および接続により、ディスプレー13に実質的に平行に端末10B内部に固定される。しかし、主見通し線72を有するカメラ71の視野は、レンズ(図4参照)の光軸45に対して中心がずれた検出器表面43の作動領域によって規定される。作動領域は、全体的に中心がずれて配置された検出器の表面43の全領域であってもよい。あるいは、作動領域は、他の中心に位置する検出器表面43の偏心部分でもよく、この場合、カメラ71は、図示されたカメラ14と実質的に類似している。違いは、検出器表面のどの画素が画像を読み取るために使用されるかという点のみである。
図8および図9は、本発明のいくつかの実施態様によるカメラ71のいくつかの態様を概略的に示す。図4に使用されている参照符号は、図8および図9の対応する要素にも使用される。ISP46は、カメラモジュール71に直接機械的に取り付ける必要はないため、図8および図9から省略する。図8はカメラ71の側面図、図9は、わかりやすくするために支持部材44が省略されたカメラ71の斜視図である。
検出器42は、長さAおよび幅Cによって規定される検出器表面43を有する撮像素子を備えており、多数の画素、たとえば400×400、640×480、または任意のその他のマトリックス配列の画素を備える。しかし、この実施態様では、検出器表面43の作動領域91は、検出器の全画素のうちの一部の画素のみを含む領域として規定される。図示の例では、領域91(破線)は矩形であり、長さB<Aおよび幅D≦Cを有する。さらに、作動領域91は、レンズ41の光軸45が検出器表面43と交差する点である検出器表面43の中心に対して偏心している。図9に示すx軸およびy軸の両方に沿って偏心する領域91を規定することも可能である。しかし、図示の実施態様では、x軸のみに沿って偏心し、y軸に沿ってセンタリングされる。作動領域91は、x軸の右側の縁部方向に偏心し、検出器表面43の右側縁部までのすべての画素を占める一方、左側の縁部方向のすべての画素を占めない。あるいは、作動領域は、比較的偏心が少ない場合は、検出器表面43の右側の一番外側の画素は含まない場合がある。作動領域91は、y軸に沿って図に例示的に示すように、検出器表面43の全幅Cより狭い幅Dを占めてもよい。
作動領域91の中心は、被写体像を撮像する面の中心であり、主見通し線72は、作動領域91の中心、およびレンズ41の光軸中心から規定される。主見通し線は、光軸45に対して鋭角φで延在し、φの大きさは、作動領域91の中心と光軸45の間の距離によって左右される。鋭角φは、0°より大きく、90°より小さい角度として定義される。しかし、実際上の理由から、角度は、5〜20°さらには5〜10°の範囲である。
一例として、検出器表面43は、撮像素子の400×400画素マトリックスを備える。しかし、ビデオ会議の目的上、これは、過度な量の画素である場合がある。QCIF(Quarter Common Intermediate Format)は、1秒当たり30フレーム(fps)のデータ転送速度を指定するビデオ会議の形式であり、各々のフレームは144列で、1列当たり176の画素を含む。これは、355×288画素を規定するフルCIFの解像度の4分の1である。QCIFをサポートすることは、ITU H.261ビデオ会議規格により要求されており、したがって、176×144画素マトリックスのみが必要である。これは、各方向におけるアクセス可能な数の画素の半分未満である。したがって、画像品質を強化するため、2倍も多数の列、および1列当たり2倍も多数の画素、つまり400×400マトリックスになお適合するCIFを使用することが可能である。
実施態様によっては、355×288画素を含む作動領域91が、400×400画素を含む検出器表面43上に規定され、図9に示すように、中心に位置する検出器表面43の一方の側縁部から内側に延在し、その側縁部の幅方向の中心に配置される。3.6μmの画素ピッチを有する3.2×3.2mmの検出器42は、約1.44×1.44mmの検出器表面(A×C)を有し、作動領域は、288/400×1.44=1.037mmの長さBを有する。次に、作動領域の中心は、検出器表面43の中心から1.44/2−1.037/2=0.2mmに配置される。レンズ41が、検出器表面43から1.5mmの高さに配置されると仮定すると、主見通し線72は、光軸45に対して約φ=tan-1(0.2/1.5)、約7.6°の角度を有する。QCIFマトリックスのみを使用すると、対応する角度は、tan-1(1.44×(1−144/400)/(2×1.5))、つまり約17.1°になる。しかし、QCIF画像を使用する場合、フルCIF画像平面を使用して、画像品質を強化することが可能になり得る。
また、逆の計算によって、作動領域を規定することも可能である。たとえば、カメラを一定の角度θ、たとえば10°で使用すると仮定すると、QCIFマトリックスが使用されることになる。作動領域91の必要な偏心Δは、レンズまでの距離が1.5mmである場合、Δ=1.5tan(10°)、つまり約0.26mmである。こうした構成では、作動領域91は、検出器表面43の縁部まで完全に達することがなく、約55の未使用の画素列が検出器表面43の上部に存在する。
上記の数字は、単に可能な例として記載したにすぎないが、カメラのレンズの光軸に対して傾斜している主見通し線を有する視野を取得するため、偏心した作動領域を検出器の表面に提供することは、図4に概略を示すように、どのカメラの形状にも適用し得る。検出器42は、たとえばCMOS検出器またはCCD検出器でよく、白黒、グレースケール、またはカラー画像検出器でよい。さらに、作動領域91は、カメラのISPのハードウェアまたはファームウェアに、対象偏心領域または対象ウィンドウとして指定し得る。実施態様によっては、作動領域91のサイズおよび位置は、デフォルト値として設定し、この設定を変更するためのユーザコマンドが、たとえば入力インターフェース12によって与えられない限り、常にその値が使用されるようにしてもよい。
図10は、図8および図9で説明した実施態様の代替とし得るか、または図8および図9の実施態様と組み合わせることができる実施態様を示す。図4に示すカメラ14と同様、図10のカメラ101は、レンズ41と、検出器表面43を有しレンズ41と平行に支持部材44によってレンズ41から離間配置された検出器42と、場合により取付けられるISP(図示しない)とを備える。光軸45は、レンズ41に対して規定される。検出器表面43は、長さAを有する。しかし、この場合、検出器42は、レンズ41の下の中心には配置されない。代わりに、検出器42は、レンズ41に対して側方に変位し、レンズ41の光軸45は、検出器表面43に対して偏心している。このことは、図10において、支持部材44内で側方に変位する検出器42よって示されている。あるいは、レンズ41が代わりに、支持部材44内で側方に偏心していてもよい。
この特徴によって、検出器表面43の中心から延在するカメラ101の視野の主見通し線102は、光軸45に対して鋭角φで傾き、角度φの大きさはtan-1(ΔA/h)に比例し、ここで、ΔAは相対側方平行移動、およびhはレンズ41と検出器表面43との間の距離である。一例として、検出器42の側方変位ΔAが、図10に示すように0.2mmであり、レンズ41と検出器表面43との間の距離が1.5mmである場合、主見通し線は、約7.6°の角度φを有する。
図示されるように、図8および図9の実施態様と図10の実施態様とを組み合わせることは可能であり、作動領域は、検出器42の右側に規定され、検出器42は、やはりレンズ41に対して右方向に平行移動する。一例として、図9の実施態様について概略を記した例を考える。この例では、画素ピッチが3.6μmで400×400画素の検出器表面43が、レンズ41の1.5mm下に配置され、さらに、0.2mmの検出器42の側方変位ΔAは、図10に示すように使用される。
CIFの実施態様では、作動領域91は、光軸45から最も離れている検出器表面43の側縁部から288列内側まで延在する。その結果、作動領域の中心は、光軸から1.44/2−1.037/2+0.2=0.4mmに位置し、これは、光軸45に対して約α=tan-1(0.4/1.5)、つまり約15°の角度を意味する。QCIFまたはマトリックスの場合、さらに大きい角度にするか、あるいは代わりにCIF画像を使用し、その画像をQCIFにスケールすることが可能である。
検出器表面43が、光軸45に対して側方に変位している実施態様の場合、さらに各画素の要素をこの偏心光学形状に適応させることによって、改善されたカメラを得ることができる。図11は、本発明のいくつかの実施態様によるカメラ110の特定の要素を概略的に示す。図11は、カメラのレンズ41、および検出器42の3つの画素110、120、130を示す。垂直破線114は画素110と120との間に示され、これは、検出器42の検出器表面43の中心を示し、光軸45はレンズ41の中心と交差する。通常、検出器表面43および光軸45の中心は一致してもよいが、図10に関して説明した実施態様によると、これらは、距離ΔAだけ離れて配置し得る。
入射光を検出器42のセンサ要素に正しく案内するには、各画素は、フォトダイオードなどの感光要素111、121、131、およびマイクロコンデンサレンズ112、122、132を備えるセンサを備えるとよい。マイクロレンズを画像センサの一部として使用することは、たとえば米国特許第5,251,038号に示されているように、センサの性能を強化する共通の技術である。したがって、検出器42の各画素は、光線をセンサ要素内に案内するために、マイクロコンデンサレンズをセンサ要素の上部に備えるとよい。
マイクロレンズの形成および配置は、センサに入射する光束の主光線角度に左右される。この角度は、像高、つまりカメラのレンズ41の中心光軸45からの距離に応じて異なる場合がある。一般に、センサが配置される位置が光軸45から遠くなるほど、焦点距離がより短いコンデンサレンズを使用することになる。一般的な構成では、マイクロレンズの焦点距離は、検出器表面43の中心から遠くに移動すると増加し、レンズ122の場合、焦点距離は、検出器表面43の中心114までの距離Fに三角法的に依存する。しかし、平行移動ΔAの図10による実施態様の場合、マイクロレンズは光軸中心に適応させることができ、光軸中心は、検出器表面43の中心ではなくなった光軸45によってなお規定される。したがって、本発明のいくつかの実施態様では、検出器表面43に意図される光軸中心45が規定され、この光軸中心は、検出器表面43の物理的中心114と一致しなくてもよく、レンズ41と組み合わせた時の実際の光軸中心であろう。
したがって、検出器表面43の各画素のマイクロレンズは、一般に、増加する焦点距離を光軸中心までの増加する距離の関数として、規定された光軸中心に関して入念に設計することができる。レンズ122の焦点距離は、光軸中心、つまり光軸45に対する距離E(=F+ΔA)に三角法的に依存する。特定の関係は、カメラ全体の設計に依存し、考慮するべき事項は、当業者には十分に周知されている。
図3に示すように、たとえば、ビデオ会議に移動電話を使用する場合等に共通するのは、ユーザの顔に対して移動電話がわずかな角度を有することである。ユーザの顔とカメラの光軸との間の傾斜角度から、歪んだ遠近感が生じる。当然、この欠点は、カメラが、図7〜図11に関して説明した実施態様のように、カメラの光軸に対してある角度の主見通し線を有する視野内で画像を撮像するように構成された場合でも同じである。カメラがユーザの顔に平行に保持されない場合、顔は、上の方の領域よりも下の方の領域で広めに描写される。図12の画像は、ユーザが矩形の用紙を顔の前に保持し、偏心した撮像領域を有する図7〜図9の実施態様により構成されたカメラを使用することによって画像を撮像した時のこの効果を明確に示す。これは、「キーストン効果」と呼ばれることが多い。
従来の専門家の写真撮影では、このキーストン効果は、シフトおよびチルトレンズ、またはシフトおよびチルト機構を有する特別設計のカメラなど、特殊な光学系を使用して回避することができる。デジタル画像処理の分野では、遠近感の補正は普通の手法である。Adobe(登録商標)Photoshopなどのツールは、この手法を提供する。こうした手法は、ビデオ会議用の電子デバイス、たとえば画像の後処理用の内蔵カメラ付き移動電話などにも使用することができる。しかし、この遠近感補正は、非常に大きな計算能力を必要とする。これは、動画、つまり処理するべき1秒当たりのフレームが多い映像では特に問題である。したがって、後処理は、移動電話のような、映像符号化およびその他のタスクに同時に使用されるシステム内のメインプロセッサ20で行うには適さない。
また、画像品質を強化するために、最終画像より大きい解像度および角度範囲で処理することが望ましい。これは、より大きい画像、つまりより多数のデータをカメラからホストへ転送することが必要になる。また、ホストは、規格外の画像サイズを処理し、それを所望の形式に変換しなければならない。
一実施態様は、カメラの画像信号ラインおよび画像信号プロセッサ(ISP)によって、遠近感の補正を処理する構成を含む。この構成には、以下で説明するように、いくつか利点がある。最終画像から予想される視野角より多少大きい視野角をカバーする画像センサおよび光学系を使用することも望ましい。
図12から分かるように、画像は、上部と比較して下部において非常に広く表示される。これを補正するため、下の画素列を収縮させるという、遠近感補正の原理が実行される。我々が各々の画素列について考える際、画像が上方に移動するにつれて画素列に適用される収縮量は次第に小さくなる。最上列は最も収縮が少ないか、またはまったく収縮されない。生成される画像全体の幅は、上部より下部においてより狭くなる。これを避けるには、画像をトリミングするか、または代案として、最初に大き目の画像を使用する必要がある。後者の場合、遠近感の補正処理は、画像の上部より下部において、より長い画像データの列に関して行われる。その結果、直角の隅を有するISPからの出力画像が得られる。
遠近感補正機構は、カメラのハードウェアまたはファームウェアに組み込まれるのが好ましい。一体化されたISPを有するモバイルカメラ用の代表的なデジタルカメラモジュールは、スケール機能を有する。スケール機能は、デジタルハードウェアブロックとして、プロセッサによって実行されるコンピュータコードとして、またはハードウェアとコンピュータコードとの組合せとして実現され得る。しかし、既に述べたとおり、ISPユニットを一体化する必要はなく、カメラモジュールの支持部材または筐体にケーブル接続してもよい。この点で、デジタルカメラは、プロセッサおよび関連するISPソフトウェアを含むISPユニットを備える。代表的なスケーラは、画像を水平および垂直にスケールするように設定することができる。2つの寸法を個々にスケールするように、構成することができる。したがって、画像は、一方の寸法のみを収縮させ、他方の寸法は手を付けずに残すことが可能である。スケーラは、係数nで画像をスケールするように構成することもでき、nは、1:1.2などの流動的な数値である。好ましい実施態様では、個々の列は、対象となる列内の隣接する2つの画素の信号値を使用して、特定の画素の信号値を算出するように、線形補間などの補間アルゴリズムを使用してスケールされる。
好ましい実施態様によると、ある画像の各々の列は、前の列および次の列とは異なるスケールファクタでスケールされる。好ましくは、ISPは、開始および終了スケールファクタ、たとえば第1列および最終列のスケールファクタの入力値から、各々の列のスケールファクタを計算する。スケールファクタは、画素の数で表される入力列の長さと目標とする出力列の長さの比率として表現し得る。
好ましい実施態様では、ビデオ電話の使用例は非常に良く定義されており、ユーザの顔と電話機との間の角度θは適切な精度で概算することができるので、スケールファクタとして固定値が使用される。ユーザは、電子デバイスのカメラによって撮像された自身の画像が表示されるディスプレーを見るため、顔の画像がディスプレー上で事実上垂直方向にセンタリングされるように電子デバイスを無意識に保持する。
導入する必要があるスケーラのもう1つの重要な特性は、列のセンタリングである。入力画像を通る中心の垂直線が出力画像内においても中心線として維持されるように画像がスケールされることが好ましい。これは、各々の入力列の開始点を計算することによって達成することができる。各々の列の開始点の前の画素は、不要画素として無視される。一実施態様では、各々の列の開始点は、次の式から計算される。
開始n=(l−ln)/2
ここで、開始nは、第n列内で処理される最初の画素、lは一列の全体の画素数、lnは、第n列内で処理される画素の数である。
垂直寸法をスケールするように設計されるスケーラは、2つ以上の画像データ列を保持するデータ記憶装置に依存する。水平寸法のみをスケールするように設計されるスケーラは、少数の画素、つまり最大でも画像データの一列分のデータを保持するデータ記憶装置のみが必要である。したがって、費用効果の高い設計を行う場合、他の目的で垂直スケールを必要としない限りは、両方向のスケーラを設ける必要はない。
良好な画像品質を達成するには、センサは、出力画像で必要な解像度より少なくとも4倍、つまりxおよびyの両方向における画素の数の少なくとも2倍の解像度を有するように設計するとよい。したがって、一例は、上記の400×400検出器をQCIF出力画像形式に使用することである。この場合、垂直スケーラは、垂直スケールのために2つの画像データ列のみが必要であるために単純化される。
図13は、図3に対応するカメラの光軸とユーザの顔との間の傾斜角度θで、ユーザが撮像したユーザの撮像画像を示す。本人を知らない場合でも、画像全体が傾斜しているため、ユーザの額部分に比べて、顎の部分が実際より広く表示されていることが分かる。
しかし、図14の画像では、視覚の傾斜による歪効果は、画素の各々の列または行を傾斜角度θに対応する程度まで連続的にスケールすることによって、本発明により補正されている。その結果、図14では、画像が傾斜される場合でも、遠近感は正確である。
本発明の一実施態様では、スケールファクタの計算および設定に、カメラの検出器に対してある傾斜角度で保持され、既知の寸法比を有する矩形の物体の画像を使用することができる。こうしたスケールファクタの設定は、製造時に行われるため、デフォルト設定として使用することができる。代案として、ユーザは、デバイス10のキーパッド12を操作し、矩形の被写体をユーザの顔の前、顔に対して平行に保持することにより、設定シーケンスを開始することができる。好ましくは、設定シーケンスは、A4シートまたはレターシートなど、既知の寸法比を有する物体を保持し、キーパッド12を介して、どのタイプの物体を使用するかを入力するようにユーザに促す。次に、カメラは、物体の画像を撮像するようにトリガーされ、プロセッサ20によって、ソフトウェアの輪郭検出アプリケーションを実行し、図15に示すように物体の画像を特定する。スケールファクタの計算および設定が、製造時に行われるか、販売後にユーザによって行われるかに関係なく、図15に関して以下で説明するように、輪郭画像が画定された後、さらに他の計算が必要である。
図15は、A4ペーパーシートの画像を示す。この例示的な実施態様では、カメラの検出器は400×400画素を有し、これは、355×288画素のCIF画像の空間があることを意味する。しかし、生成される出力画像は、176×144画素のQCIFであるが、検出器表面のQCIFサイズ部分のみを使用するのではなく、QCIF画像が読み取られ、高さおよび幅の両方をQCIFまでスケールダウンして、より良好な画像品質にする。A4シートの高さは、シートの幅の2倍の平方根である。図15に示すように、A4シートの画像は、CIF画像の開始列からd列だけ上の列から開始して、画素列bの高さがある。さらに、画像は、下縁部で画素数c、上縁部で画素数aを占める。スケールファクタを計算するため、先ず1組の定数を定義しなければならない。
j=1/(√2・2c/b)
i=jc/a
k=(i−j)/b
m=j−kd
第n列の場合、スケールファクタSnは以下のようになる。
Sn=m+n×k
好ましい実施態様では、QCIF画像に役立つ画素のみが読み取られ、計算を最小限にするためにスケールされ、これは、ビデオイメージングに特に有益である。このような実施態様では、各々の列の目的とする出力長さは176画素である。これは、スケールされる第n列の長さLnが以下であることを意味する。
Ln=176/Sn
一例として、図15の画像で以下の値が検出され、bおよびdについて列の数、並びにa、cについて列当たりの画素の数を計算したと仮定する。
a=150
b=255
c=200
d=5
上記の式を使用すると、以下の結果が得られる。
S0=0.448
S287=0.616
L0=393
L287=285
検証するために、スケールされたシートの上縁部の幅a’、およびシートの下縁部のスケールされた幅c’を以下のように計算することができる。
a’=a×S260=90
c’=c×S5=90
結果として矩形画像である。したがって、各々の第n列のスケールファクタが計算および設定され、スケールされた画像に処理される画素数も各々の列ごとに決定され、傾斜角度θを図15のように使用した場合のイメージング補正の筋書きが得られる。しかし、好ましくは、傾斜角度は、デバイスが使用される時に測定または検出されるのではなく、代わりにユーザがデバイスを操作する時に使用される予想傾斜角度として特定の傾斜角度θを定義するとよい。一般に、傾斜角度は、20°未満、たとえば10°である。
カメラ14によって撮像される後続の画像では、各々の第n列は176の目標画素数にスケールされ、これは、垂直中心軸の両側で対称な2×88画素である。第n列では、第1番目の目標画素は、中心軸から88画素であり、したがって、撮像された画像内の対応する位置は88/Snである。この位置は、画像信号値を取得可能な検出器表面のまさに1つの特定の画素上でなくてもよい。むしろ、この位置の画像信号値は、任意の既知の手法によって隣接する画素から補間することが好ましい。好ましくは、強度レベル値および色情報は別々に補間される。次に、得られた画像信号値は、出力画像内の第1番目の目標画素に割り当てられる。その後、画像信号を割り当てられる次の目標画素は87/Snであるというように、垂直中心軸に達するまで行われる。中心軸の他方の側は、対応する方法で処理され、つまり、画像は、この軸の両側で対称にスケールされる。次に、このスケール処理は列ごとに繰り返され、ターゲット画像の全てである288列が処理される。
カメラの画像信号プロセッサを使用して、これらのステップを行うことによって、計算能力が節約され、したがって、デバイス10のデジタル信号プロセッサ20をその他の目的に使用することが可能である。画像の遠近歪みを補正するように構成された本発明の上記の実施態様は、以前に提案された、画像の後処理のみに頼っているソリューションとは異なっており、この提案されたソリューションの示唆では、カメラの画像処理部/ISP内での処理を伴う。上記の構造は、マルチタスク環境で実行されているホストのプロセッサを利用せずに、遠近感を直接補正する。その結果、本発明は、低重量およびコンパクトなサイズが重要な市場の要求である携帯デバイス、たとえばカメラ付き電話に特に適する。提案された構造の好ましい実施態様は、各々の画素データ列が、画像アレイ内の他の列とは異なるファクターでスケールすることが可能であるという点で、一般的なスケーラソリューションとはさらに異なる。また、ゲートなどの余分なハードウェアがまったくないか、または非常に少ない状態で設計することも可能であり、多数の高価な列バッファを必要としない。
この構造は、スケーラが画像を自動的にセンタリングできるという点でも特異であり、これは、ビデオ会議アプリケーションでは好ましい。提案されたソリューションは、ビデオ電話の使用事例は十分に定義されているので、一定の設定の遠近感補正を使用することが好ましい。
図面および本明細書では、本発明の代表的な実施態様を開示し、特定の用語を使用したが、これらの用語は、一般的かつ説明的な意味で使用されており、制限することが目的ではなく、本発明の範囲は、特許請求の範囲に記載されている。
本発明のいくつかの実施態様によるデジタルカメラおよびディスプレーを含むハンドヘルド無線通信端末を概略的に示す図である。 本発明のいくつかの実施態様によるデジタルカメラおよびディスプレーを含むハンドヘルド無線通信端末を概略的に示す図である。 本発明のいくつかの実施態様によるビデオ会議に使用した場合の図1の端末を示す図である。 端末のカメラが、どのようにある角度でユーザの顔に対して保持されるかを概略的に示す図である。 本発明のいくつかの実施態様によるデジタルカメラモジュールを概略的に示す図である。 従来のカメラ付き電話を概略的に示す図である。 本発明のいくつかの実施態様によるカメラ付き電話のいくつかの態様を概略的に示す図である。 本発明のさらに他の実施態様によるカメラ付き電話のいくつかの態様を概略的に示す図である。 本発明のいくつかの実施態様によるデジタルカメラモジュールを概略的に示す図である。 本発明のいくつかの実施態様によるデジタルカメラモジュールを概略的に示す図である。 本発明のさらに他の実施態様によるデジタルカメラモジュールを概略的に示す図である。 本発明のさらに他の実施態様によるデジタルカメラモジュールを概略的に示す図である。 矩形の物体に対してある角度で保持されるカメラによって生じる歪んだ画像を概略的に示す図である。 本発明の一実施態様による歪んだ画像および補正された画像を概略的に示す図である。 本発明の一実施態様による歪んだ画像および補正された画像を概略的に示す図である。 カメラの検出器表面に対してある傾斜角度で保持された矩形物体の撮影画像を概略的に示す図である。

Claims (25)

  1. デジタルカメラであって、
    支持構造(44)と、
    前記支持構造(44)によって支持され、光軸(45)を有するレンズ(41)と、
    前記支持構造(44)によって前記レンズ(41)の下方に支持され、多数の隣接する画素列を含む検出器(42)であって、各画素列が多数の画素を含み、各画素が撮像センサを含む検出器(42)と、
    画像がカメラ画像処理部内で処理されるように、隣接する画素列とは異なるスケールファクタで各々の画素列をスケールするように構成された画像スケーラを含み、前記検出器(42)に直接接続された画像信号処理ユニット(46)と、
    を備えることを特徴とするデジタルカメラ。
  2. 前記画像スケーラが、開始列と終了列との間の列の位置に比例する大きさのスケールファクタで各々の画素列をスケールするように構成されることを特徴とする請求項1に記載のデジタルカメラ。
  3. 前記画像スケーラが、開始列スケールファクタおよび終了列スケールファクタの入力に応答するように構成され、前記開始列と前記終了列との間の各々の列の前記スケールファクタを計算するように構成された演算機能を含むことを特徴とする請求項1に記載のデジタルカメラ。
  4. 前記画像スケーラが、すべての画素列に共通の目標とする出力列の長さと、その列の前記スケールファクタとの比率として、画素列の入力列の長さを計算するように構成され、
    その列の前記画素によって検出され、前記入力画素列の長さの範囲内である画像信号を前記目標とする出力列の長さにスケールするように構成されることを特徴とする請求項1に記載のデジタルカメラ。
  5. 前記画像スケーラが、中心列を有する出力画像を生成するように構成されることを特徴とする請求項1に記載のデジタルカメラ。
  6. 前記画像スケーラが、以下の式
    開始n=(l−ln)/2
    を使用して、前記検出器からの各々の入力列の中心開始点を計算するように構成され、式中、開始nは第n列内で処理される第1番目の画素、lは一列の全体の画素数、lnは第n列内で処理される画素数であることを特徴とする請求項5に記載のデジタルカメラ。
  7. カメラモジュールが、前記支持構造によって形成され、前記画像信号処理ユニットが、前記カメラモジュール内に含まれることを特徴とする請求項1に記載のデジタルカメラ。
  8. 前記画像スケーラが、特定の画素列の出力画素の予め決められた画像形式内での位置を特定し、前記特定の列の前記スケールファクタを使用して、逆スケーリングによって検出された画像内の前記対応する位置を特定し、検出された画像内の前記対応する位置に隣接する画素によって検出される強度値を補間することによって、前記出力画素の強度値を決定するように構成されることを特徴とする請求項1に記載のデジタルカメラ。
  9. 前記画像スケーラが、前記検出器の撮像面と、画像を撮像される被写体との間の予め設定された予想傾斜角度に依存するスケールファクタを計算するように構成されることを特徴とする請求項1に記載のデジタルカメラ。
  10. 前記カメラの視野が、前記レンズの前記光軸に対して偏心した作動検出器の表面領域によって規定されることを特徴とする請求項1に記載のデジタルカメラ。
  11. 前記画像スケーラが、関数Sn=m+n×kにより各第n列のスケールファクタSnを計算するように構成され、ここでmおよびkが定数であることを特徴とする請求項1に記載のデジタルカメラ。
  12. 電子デバイスであって、
    筐体と、
    請求項1乃至11のいずれか1項に記載のデジタルカメラモジュールと、
    前記カメラと通信するように構成されたメインプロセッサ(20)と、
    を備えることを特徴とする電子デバイス。
  13. 無線信号トランシーバを備え、
    前記メインプロセッサが、前記デジタルカメラモジュールからのスケールされたビデオ信号を前記無線信号トランシーバに提供するように構成されることを特徴とする請求項12に記載の電子デバイス。
  14. 前記デジタルカメラモジュールによって提供されるスケールされた画像を表示するように構成されたディスプレーを備えることを特徴とする請求項12に記載の電子デバイス。
  15. 電子デバイスのデジタルカメラを使用して画像を撮像する方法であって、
    前記カメラを被写体に向けるステップと、
    多数の隣接する画素列を含む検出器であって、各画素列が多数の画素を含み、各画素が撮像センサを含む検出器内の画像信号を検出するステップと、
    前記検出器に直接接続された画像信号プロセッサを使用してスケールされた画像を提供するために、隣接する画素列とは異なるスケールファクタで各々の画素列をスケールすることによって、カメラ画像処理部内の前記検出画像信号を処理するステップと、
    メインプロセッサを介して、前記スケールされた画像を出力するステップと、
    を含むことを特徴とする方法。
  16. 開始列と終了列との間の列の位置に比例する大きさを有するスケールファクタで、各々の画素列をスケールするステップを含むことを特徴とする請求項15に記載の方法。
  17. 開始列スケールファクタおよび終了列スケールファクタを規定するステップと、
    前記開始列と前記終了列との間の各々の列の前記スケールファクタを計算するステップとを含むことを特徴とする請求項15に記載の方法。
  18. すべての画素列に共通の目標とする出力列の長さと、その列の前記スケールファクタとの比率として、画素列の入力列の長さを計算するステップと、
    その列の前記画素によって検出され、前記入力画素列の長さの範囲内である画像信号を、前記目標とする出力列の長さにスケールするステップとを含むことを特徴とする請求項15に記載の方法。
  19. 中心列を有するスケールされた画像を提供するステップを含むことを特徴とする請求項15に記載の方法。
  20. 以下の式
    開始n=(l−ln)/2
    を使用して、前記検出器から各々の入力列の中心開始点を計算するステップであって、式中、開始nは第n列内で処理される第1番目の画素、lは一列の全体の画素数、lnは第n列内で処理される画素数であるステップを含むことを特徴とする請求項15に記載の方法。
  21. 電子デバイスのカメラモジュール内の前記デジタルカメラと一体の画像信号プロセッサによって、前記検出された画像を処理するステップを含むことを特徴とする請求項15に記載の方法。
  22. 無線通信端末の無線トランシーバを使用して、前記スケールされた画像をリモート受信機に送信するステップを含むことを特徴とする請求項15に記載の方法。
  23. 前記スケールされた画像をディスプレー上に表示するステップを含むことを特徴とする請求項15に記載の方法。
  24. 画像形式を規定するステップと、
    特定の画素列の出力画素の前記画像形式内での位置を特定するステップと、
    前記特定の列の前記スケールファクタを使用して逆スケールすることによって、検出された画像内の対応する位置を特定するステップと、
    検出された画像内の前記対応する位置に隣接する画素によって検出された強度値を補間することにより、前記出力画素の強度値を決定するステップとを含むことを特徴とする請求項15に記載の方法。
  25. 前記検出器の撮像面と、画像を撮像される被写体との間の予め設定された予想傾斜角度に依存するスケールファクタを計算するステップを含むことを特徴とする請求項15に記載の方法。
JP2008550652A 2006-01-20 2006-08-11 電子デバイス用カメラ Expired - Fee Related JP4709288B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US76089906P 2006-01-20 2006-01-20
US60/760,899 2006-01-20
US11/482,323 2006-07-07
US11/482,323 US7918614B2 (en) 2006-01-20 2006-07-07 Camera for electronic device
PCT/EP2006/065266 WO2007082591A1 (en) 2006-01-20 2006-08-11 Camera for electronic device

Publications (2)

Publication Number Publication Date
JP2009524305A true JP2009524305A (ja) 2009-06-25
JP4709288B2 JP4709288B2 (ja) 2011-06-22

Family

ID=38285678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008550652A Expired - Fee Related JP4709288B2 (ja) 2006-01-20 2006-08-11 電子デバイス用カメラ

Country Status (8)

Country Link
US (1) US7918614B2 (ja)
EP (1) EP1982515A1 (ja)
JP (1) JP4709288B2 (ja)
KR (1) KR20080089651A (ja)
BR (1) BRPI0621231A2 (ja)
RU (1) RU2417545C2 (ja)
TW (1) TW200731779A (ja)
WO (1) WO2007082591A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7847831B2 (en) * 2006-08-30 2010-12-07 Panasonic Corporation Image signal processing apparatus, image coding apparatus and image decoding apparatus, methods thereof, processors thereof, and, imaging processor for TV conference system
JP4927669B2 (ja) * 2007-09-05 2012-05-09 浜松ホトニクス株式会社 固体撮像装置
JP5684033B2 (ja) * 2011-04-11 2015-03-11 オリンパス株式会社 撮像装置及び内視鏡装置の作動方法
RU2494428C2 (ru) * 2011-12-07 2013-09-27 Общество с ограниченной ответственностью "Центр проектирования и управления качеством" (ООО "ТексПро") Проекционное устройство для оперативного получения изображений поверхности текстильных материалов
JP5970937B2 (ja) * 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
RU2541353C2 (ru) * 2013-06-19 2015-02-10 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматическая съемка документа с заданными пропорциями
US8928746B1 (en) * 2013-10-18 2015-01-06 Stevrin & Partners Endoscope having disposable illumination and camera module
CN104182173A (zh) * 2014-08-15 2014-12-03 小米科技有限责任公司 一种切换摄像头的方法和装置
CN105357442A (zh) 2015-11-27 2016-02-24 小米科技有限责任公司 摄像头拍摄角度调整方法及装置
CN110413805B (zh) 2018-04-25 2022-02-01 杭州海康威视数字技术股份有限公司 一种图像存储方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503080A (ja) * 2001-09-07 2005-01-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラと、画像のパースペクティブ補正及びことによると回転及び揺れ補正とを持つ画像装置
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP2005258718A (ja) * 2004-03-10 2005-09-22 Casio Comput Co Ltd 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP2005347416A (ja) * 2004-06-01 2005-12-15 Sharp Corp 固体撮像装置、半導体ウエハ及びカメラモジュール

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02103023A (ja) 1988-10-12 1990-04-16 Hitachi Ltd ビデオカメラ
KR0185928B1 (ko) * 1995-10-07 1999-05-01 김광호 Lcd모니터의 시도자동조절장치
JP2809215B2 (ja) * 1996-09-26 1998-10-08 日本電気株式会社 固体撮像カメラ
JPH10145667A (ja) 1996-11-05 1998-05-29 Canon Inc 撮像装置
US6806903B1 (en) * 1997-01-27 2004-10-19 Minolta Co., Ltd. Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction
US6943839B1 (en) * 1997-05-16 2005-09-13 Canon Kabushiki Kaisha Photographic method at time of self-photography, and image sensing apparatus thereof
JP2000138856A (ja) * 1998-10-29 2000-05-16 Seiko Epson Corp 画像入力装置、プレゼンテーションシステム及び情報記憶媒体
JP2000138846A (ja) 1998-11-02 2000-05-16 Nikon Corp 電子カメラ
US6191827B1 (en) * 1998-12-01 2001-02-20 Oplus Technologies Ltd. Electronic keystone correction for electronic devices with a visual display
JP2000341501A (ja) * 1999-03-23 2000-12-08 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
EP1158786A3 (en) 2000-05-24 2005-03-09 Sony Corporation Transmission of the region of interest of an image
JP3753617B2 (ja) * 2001-02-16 2006-03-08 コニカミノルタフォトイメージング株式会社 デジタル撮影装置、画像処理装置および記録媒体
GB2400261B (en) 2001-12-28 2005-06-08 Nec Corp Portable electronic device
KR100663430B1 (ko) * 2002-04-22 2007-01-02 삼성전자주식회사 휴대용 단말기의 줌화면 표시장치 및 방법
JP2004187111A (ja) * 2002-12-05 2004-07-02 Nec Viewtechnology Ltd 資料提示装置
JP4174404B2 (ja) * 2003-10-01 2008-10-29 キヤノン株式会社 撮像装置、画像表示方法、プログラムおよび記憶媒体
JP3743828B2 (ja) 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
EP1608135A1 (en) 2004-06-15 2005-12-21 Sony Ericsson Mobile Communications AB Portable communication device with two cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503080A (ja) * 2001-09-07 2005-01-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラと、画像のパースペクティブ補正及びことによると回転及び揺れ補正とを持つ画像装置
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP2005258718A (ja) * 2004-03-10 2005-09-22 Casio Comput Co Ltd 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP2005347416A (ja) * 2004-06-01 2005-12-15 Sharp Corp 固体撮像装置、半導体ウエハ及びカメラモジュール

Also Published As

Publication number Publication date
RU2008134116A (ru) 2010-02-27
US20070172230A1 (en) 2007-07-26
TW200731779A (en) 2007-08-16
WO2007082591A1 (en) 2007-07-26
EP1982515A1 (en) 2008-10-22
RU2417545C2 (ru) 2011-04-27
US7918614B2 (en) 2011-04-05
KR20080089651A (ko) 2008-10-07
JP4709288B2 (ja) 2011-06-22
BRPI0621231A2 (pt) 2012-10-09

Similar Documents

Publication Publication Date Title
JP4709288B2 (ja) 電子デバイス用カメラ
US7822338B2 (en) Camera for electronic device
US8605174B2 (en) Apparatus, method, and system of image processing, and recording medium storing image processing control program
US11477413B2 (en) System and method for providing wide-area imaging and communications capability to a handheld device
US8217989B2 (en) Method for photographing panoramic picture
US8514285B2 (en) Image processing apparatus, image processing method and program
US8878895B2 (en) Video communicating apparatus having eye-to-eye communication function and method thereof
JP2008118276A (ja) カメラ付き移動機器およびその撮影支援方法
US9042675B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium which corrects an image such that some of warping of the image is left
US11290635B2 (en) Imaging apparatus and image processing method
WO2015194084A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN101366269B (zh) 用于电子器件的照相机
CN113504692A (zh) 摄像投影集成模组及其控制方法
KR100862521B1 (ko) 카메라 모듈
WO2018133305A1 (zh) 一种图像处理的方法及装置
JP2014045404A (ja) 携帯端末
KR101763938B1 (ko) 위치정보 기반의 영상데이터의 처리 방법 및 장치
MX2008009113A (en) Camera for electronic device
US9832377B2 (en) Data acquiring method and electronic device thereof
TW202009595A (zh) 全景照相裝置及其影像映射結合方法
JP2004228688A (ja) カメラ付き携帯電話装置
JP4047799B2 (ja) カメラ付き携帯電話およびその画像傾き補正方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110317

R150 Certificate of patent or registration of utility model

Ref document number: 4709288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees