JP2011103659A

JP2011103659A - カメラモジュール

Info

Publication number: JP2011103659A
Application number: JP2010252200A
Authority: JP
Inventors: Jong Ho Roh; 鍾鎬盧; Sun Hee Park; 仙熙朴
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-11-10
Filing date: 2010-11-10
Publication date: 2011-05-26
Also published as: KR101661574B1; US20110109766A1; US8872931B2; KR20110051344A

Abstract

【課題】シャッターディレイを減らすためのカメラモジュール、該カメラモジュールを含むカメラ及び該カメラモジュールの駆動方法を提供する。
【解決手段】カメラモジュールは、レンズを通じて入射された光学信号を電気的信号に変換してフルサイズのイメージデータを発生させるイメージセンサーと、フルサイズのイメージデータを補正して出力する映像信号処理部と、映像信号処理部からフルサイズのイメージデータを周期的に入力されて保存する第１メモリ装置と、第１メモリ装置から出力されるフルサイズのイメージデータをスケールダウンして周期的にディスプレイ装置に出力するスケーラーと、シャッター開放時点に、第１メモリ装置に保存されたフルサイズのイメージデータを入力されて既定のフォーマットの圧縮ファイルに変換して出力するエンコーダと、を含む。
【選択図】図１

Description

本発明は、カメラモジュールに係り、さらに詳細には、プレビューイメージの保存を通じてカメラのシャッターディレイを減らすためのカメラモジュールに関する。

携帯端末機の分野で、高性能のカメラ機能に対する要求が高まっている。現在、携帯端末機のカメラまたはその他のカメラは、ユーザの便宜のためにプレビューイメージ（ｐｒｅｖｉｅｗｉｍａｇｅ）を示し、ユーザが、所望の場面でシャッターボタン（ｓｈｕｔｔｅｒｂｕｔｔｏｎ）を押せば、プレビューイメージが保存される。既存のプレビューモードで、サブサンプリング（ｓｕｂ−ｓａｍｐｌｉｎｇ）方法などを使ってスチールイメージモード（ｓｔｉｌｌｉｍａｇｅｍｏｄｅ）より小さな解像度のイメージを保存し、これをユーザにプレビューし、ユーザがシャッターボタンを押せば、スチールイメージモードになってフルサイズ（ｆｕｌｌｓｉｚｅ）のイメージを出力及びキャプチャー（ｃａｐｔｕｒｅ）する。

したがって、ユーザがシャッターボタンを押した後、フルサイズのイメージがキャプチャーされて保存されるまで時間（これをシャッターディレイと言う）が多くかかる。

本発明が解決しようとする技術的な課題は、カメラの上述のシャッターディレイを減らしたカメラモジュールを提供することである。

本発明によるカメラモジュールは、レンズを通じて入射された光学信号を電気的信号に変換してフルサイズのイメージデータを発生させるイメージセンサーと、前記フルサイズのイメージデータを補正して出力する映像信号処理部と、前記映像信号処理部から前記フルサイズのイメージデータを周期的に入力されて保存する第１メモリ装置と、前記第１メモリ装置から出力される前記フルサイズのイメージデータをスケールダウンして周期的にディスプレイ装置に出力するスケーラーと、シャッター（ｓｈｕｔｔｅｒ）開放時点に、前記第１メモリ装置に保存されたフルサイズのイメージデータを入力されて既定のフォーマットの圧縮ファイルに変換して出力するエンコーダと、を含む。

また、前記カメラモジュールは、前記シャッター開放時点を感知して、前記シャッター開放時点に、前記第１メモリ装置が、前記フルサイズのイメージデータを保存しないように制御する制御部をさらに含みうる。
また、前記カメラモジュールは、前記エンコーダから出力される圧縮ファイルを保存する第２メモリ装置をさらに含みうる。
また、前記映像信号処理部は、前記フルサイズのイメージデータの露出条件の設定、オートフォーカス処理及び／またはホワイトバランス処理のためのＩＳＰ（ＩｍａｇｅＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）部と、前記フルサイズのイメージデータに対する色調補正及び画質補正を行って出力するイメージ補正部と、を含みうる。
また、前記映像信号処理部は、前記イメージ補正部から出力されるフルサイズのイメージデータのフォーマット（Ｆｏｒｍａｔ）を既定のフォーマットで変換して出力するフォーマット変換部をさらに含みうる。
また、前記フォーマット変換部は、前記イメージ補正部から出力されるフルサイズのイメージデータを前記ディスプレイ装置に相応する第１フォーマットのフルサイズのイメージデータ及び前記エンコーダに相応する第２フォーマットのフルサイズのイメージデータに変換して出力できる。
また、前記第１メモリ装置は、前記第１フォーマットのフルサイズのイメージデータを前記ディスプレイ装置にバッファリングする第１バッファと、前記第２フォーマットのフルサイズのイメージデータを前記エンコーダにバッファリングする第２バッファと、を含みうる。
また、前記エンコーダは、前記シャッター開放時点で、前記第２バッファから出力される前記第２フォーマットのフルサイズのイメージデータを前記既定のフォーマットの圧縮ファイルに変換して出力できる。
また、前記フォーマット変換部は、前記イメージ補正部から出力されるフルサイズのイメージデータを前記ディスプレイ装置に相応するＲＧＢフォーマットのフルサイズのイメージデータに変換して、前記第１メモリ装置に出力し、前記イメージ補正部から出力されるフルサイズのイメージデータを前記エンコーダに相応するＹＣｂＣｒフォーマットのフルサイズのイメージデータに変換して、前記第１メモリ装置に出力できる。
また、前記エンコーダは、シャッター開放時点で、前記第１メモリ装置から出力されるＹＣｂＣｒフォーマットのフルサイズのイメージデータをＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）ファイルに変換して出力できる。

本発明によれば、プレビューモードでもフルサイズのイメージを保存し、このフルサイズイメージをスケールダウンしてプレビューイメージとして使い、ユーザがシャッターを押せば、保存されているフルサイズのイメージをすぐに使うことによって、カメラのシャッターディレイを最小化できる。したがって、ユーザは、所望の場面を逃さずに即時に捕捉できる。

本発明の一実施形態によるカメラモジュールを示すための図である。図１の映像信号処理部を詳細に示すための図である。図２のＩＳＰ部を詳細に示すための図である。図１の第１メモリ装置を詳細に示すための図である。本発明の一実施形態によるカメラのプレビューモードで、前記カメラモジュールの駆動を示すための図である。本発明の一実施形態によるカメラの基準時点で、前記カメラモジュールの駆動を示すための図である。本発明の一実施形態によるカメラモジュールを含んだカメラの駆動過程を示すための図である。

以下、添付図面を参照して、本発明の望ましい実施形態を説明することによって、本発明を詳しく説明する。各図面に付された同じ参照符号は、同じ部材を表わす。

図１は、本発明の一実施形態によるカメラモジュール１０を示すための図である。図１に示すように、前記カメラモジュール１０はディスプレイ装置７００と共にカメラ１を構成し、イメージセンサー１００、映像信号処理部２００、第１メモリ装置３００、エンコーダ４００、スケーリングユニット５００、第２メモリ装置５５０、制御部５７０、及びシステムバス６００を含む。

イメージセンサー１００は、レンズを通じて入ってきた光学信号を電気的信号に変換して、フルサイズのイメージデータを発生させる。このフルサイズのイメージデータとは、実際の全ピクセルデータを意味する。

映像信号処理部２００は、イメージセンサー１００から出力されたフルサイズのイメージデータを補正する。
例えば、映像信号処理部２００は、前記イメージデータの手ブレ補正または色調補正を行い、さらに前記イメージデータのホワイトバランスを合わせる。この手ブレ補正のために、ＤＩＳ（ＤｉｇｉｔａｌＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎ）方式、ＥＩＳ（ＥｌｅｃｔｒｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎ）方式、またはＯＩＳ（ＯｐｔｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎ）方式が使われる。

第１メモリ装置３００は、映像信号処理部２００からシステムバス６００を通じて前記イメージデータを周期的に入力されて保存する。また、第１メモリ装置３００は前記イメージデータを多様なフォーマットで保存する。例えば、前記第１メモリ装置３００は前記イメージデータを、ＣＭＹＫ、ＨＳＶ、ＣＩＥ、またはＹＵＶ（アナログ伝送方式であるＹＰｂＰｒ、及びデジタル伝送方式であるＹＣｂＣｒ）フォーマットで保存する。第１メモリ装置３００の具体的な説明は、図３で詳しく説明する。

エンコーダ４００は、シャッター開放時点（例えば、ユーザがシャッターを押す時点）に、第１メモリ装置３００に保存された前記イメージデータをシステムバス６００を通じて入力されて既定のフォーマットの圧縮ファイルに変換するが、本発明の範囲が、これに限定されるものではない。例えば、エンコーダ４００は、第１メモリ装置３００に保存されたＹＣｂＣＲフォーマットをＪＰＥＧファイルに変換する。

スケーリングユニット５００は、第１メモリ装置３００から出力されたイメージを、システムバス６００を通じて入力されてサイズ調整を行う。このスケーリングユニット５００は、連結されたディスプレイ装置７００に出力されるのに適したサイズに前記イメージをサイズ調整できる。

第２メモリ装置５５０は、前記シャッター開放時点に、エンコーダ４００で変換されたＪＰＥＧファイルを保存する。この第２メモリ装置５５０は、第１インターフェース部（図示せず）を通じて別途のメモリに、前記ＪＰＥＧファイルを伝送しうる。図１では、第２メモリ装置５５０が、カメラモジュール１０内に含まれると図示したが、本発明の範囲が、これに限定されるものではない。例えば、第２メモリ装置５５０は、別途の保存装置（例えば、外部ＮＡＮＤフラッシュ）に該当しうる。

制御部５７０は、前記シャッター開放時点を感知して、前記シャッター開放時点に、第１メモリ装置３００に保存されたイメージデータ（例えば、ＹＣｂＣｒフォーマットデータ）をエンコーダ４００に出力するように制御する。この際、制御部５７０は、カメラモジュール１０の内部または外部に位置し、汎用入出力ポート（ＧＰＩＯ、ｇｅｎｅｒａｌｐｕｒｐｏｓｅｉｎｐｕｔ／ｏｕｔｐｕｔ）またはアナログ−デジタルコンバータ（Ａ／Ｄｃｏｎｖｅｒｔｅｒ）を通じて具現可能であるが、本発明の範囲が、これに限定されるものではない。

また、制御部５７０は、第１メモリ装置３００に保存される多様なフォーマットのイメージデータが同時に保存されるように制御する。

また、制御部５７０は、前記シャッター開放時点では、イメージデータを第１メモリ装置３００に保存しないように制御する。例えば、制御部５７０は、前記シャッター開放時点に、ＹＣｂＣｒフォーマットのイメージデータを第１メモリ装置３００に保存しないようにできるが、本発明の範囲が、これに限定されるものではない。

カメラモジュール１０は、携帯電話カメラ、ＤＳＬＲ（ＤｉｇｉｔａｌＳｉｎｇｌｅ−ＬｅｎｓＲｅｆｌｅｘ）カメラまたはＳＬＲ（Ｓｉｎｇｌｅ−ＬｅｎｓＲｅｆｌｅｘ）カメラなどに適用可能である。

図２は、図１の映像信号処理部２００を詳細に示すための図である。図２に示すように、前記映像信号処理部２００は、ＩＳＰ部２２０、イメージ補正部２３０、スケーラー２４０及びフォーマット変換部２５０を含む。

ＩＳＰ部２２０は、イメージセンサー１００から入力された前記イメージデータを処理する。この際、図２では、ＩＳＰ部２２０が、映像信号処理部２００の内部に構成されると図示したが、本発明の範囲が、これに限定されるものではない。例えば、ＩＳＰ部２２０は、映像信号処理部２００の外部に構成することもでき、イメージセンサー１００に一体に備えられることもある。ＩＳＰ部２２０についての具体的な説明は、図３で説明する。

イメージ補正部２３０は、システムバス６００を通じて入力された前記イメージデータの色調または画質を補正する。このイメージ補正部２３０は、図２には示していないが、イメージデータを所定の色調に合わせるための色再現処理部（図示せず）、画質を補正するための画質処理部（図示せず）及び色調情報及び画質情報を計算する計算部（図示せず）を含みうる。

スケーラー２４０は、前記補正されたイメージデータを、システムバス６００を通じて入力され、前記補正されたイメージデータを第１メモリ装置３００に保存するためにサイズ調整する。

フォーマット変換部２５０は、サイズ調整された前記イメージデータを多様なフォーマットで変換する。例えば、フォーマット変換部２５０は、サイズ調整された前記イメージデータをＲＧＢ、ＣＭＹＫ、ＨＳＶ、ＣＩＥまたはＹＵＶ（アナログ伝送方式であるＹＰｂＰｒ及びデジタル伝送方式であるＹＣｂＣｒ）フォーマットで変換できる。

図３は、図２のＩＳＰ部２２０を詳細に示すための図である。図３に示すように、ＩＳＰ部２２０は、露出処理部２２１、オートフォーカス処理部２２２及びホワイトバランス処理部２２３を含む。

前記露出処理部２２１は、露出感度、絞り、シャッターなどの調整結果値を用いてカメラの露出条件を設定する。

オートフォーカス処理部２２２は、コントラストが最適になるように処理する。オートフォーカス処理部２２２は、焦点合わせの評価基準値、撮像倍率や被写体との距離によるレンズの移動及び位置、ズーム動作によるレンズ移動動作のズームトラッキング、被写体の移動動作に対する追従性、シャッタースピードによる画像信号の利得、被写体を調光する補助光源の起動、レンズ位置のトラッキングなどの調整結果値を用いてオートフォーカスを設定する。

ホワイトバランス処理部２２３は、ホワイトバランスのゲイン係数を用いて前記イメージデータを処理する。

図４は、図１の第１メモリ装置３００を詳細に示すための図である。図４に示すように、第１メモリ装置３００は、フレームバッファ３１０及びイメージバッファ３２０を含む。

フレームバッファ３１０及びイメージバッファ３２０は、システムバス６００を通じてフォーマット変換部２５０で変換されたイメージデータを周期的に入力されて保存する。例えば、フレームバッファ３１０は、ＲＧＢフォーマットで変換されたイメージデータを保存し、イメージバッファ３２０は、ＹＣｂＣｒフォーマットで変換されたイメージデータを保存する。

フレームバッファ３１０及びイメージバッファ３２０は、図１の制御部５７０によってＲＧＢフォーマット変換されたイメージデータ及びＹＣｂＣｒフォーマット変換されたイメージデータを同時に保存できる。

図５は、本発明の一実施形態によるカメラ１’のプレビューモードで、カメラモジュール１０’の駆動を示すための図である。イメージセンサー１００及び映像信号処理部２００についての説明は、前述したので省略する。

図５に示すように、フレームバッファ３１０は、映像信号処理部２００でＲＧＢフォーマット変換された前記イメージデータを、システムバス６００を通じて入力されて保存する。この際、図４には示していないが、イメージバッファ３２０は、映像信号処理部２００でＹＣｂＣｒフォーマット変換された前記イメージデータを周期的に入力されて保存する。

スケーリングユニット５００は、ディスプレイ装置７００に出力できるように、フレームバッファ３１０に保存された前記イメージデータを、システムバス６００を通じて入力されて、サイズ調整する。

スケーリングユニット５００は、第１インターフェース部（図示せず）を通じてディスプレイ装置７００とインターフェースする。このディスプレイ装置７００は、カメラ１’に含まれたＬＣＤスクリーンであり、もしくは外部のＴＶ乃至コンピュータに該当するが、本発明の範囲が、これに限定されるものではない。

ユーザは、ディスプレイ装置７００を通じてカメラ１’のプレビューイメージを確認することができる。

図６は、本発明の一実施形態によるカメラ１”の基準時点で、カメラモジュール１０”の駆動を示すための図である。イメージセンサー１００及び映像信号処理部２００についての具体的な説明は、前述したので省略する。

図６に示すように、イメージバッファ３２０は、映像信号処理部２００でＹＣｂＣｒフォーマット変換された前記イメージデータを周期的に入力されて保存し、シャッター開放時点に保存されたＹＣｂＣｒフォーマット変換された前記イメージデータをエンコーダ４００に出力する。

エンコーダ４００は、ＹＣｂＣｒフォーマット変換された前記イメージデータを入力されてＪＰＥＧファイルに変換し、第２メモリ装置５５０に前記ＪＰＥＧファイルを出力する。

第２メモリ装置５５０は、前記ＪＰＥＧファイルを入力されて保存し、第２インターフェース部（図示せず）を通じて前記ＪＰＥＧファイルを保存する別途の最終メモリ８００（例えば、外部ＮＡＮＤフラッシュ）に伝送する。

図７は、本発明の一実施形態によるカメラモジュールを含んだカメラの駆動過程を示すための図である。図７のカメラの駆動過程は、図１に示されたカメラモジュール１０を含んだカメラによって行われる。

図７に示すように、レンズを通じてカメラにイメージが入射する（ステップＳ１１０）。

次いで、イメージセンサー１００で入射されたイメージを電気的な映像信号であるイメージデータにフルサイズ変換し、ＩＳＰ部２２０で、イメージセンサー１００から入力された前記イメージデータを処理し、イメージ補正部２３０で、前記イメージデータの色調または手ブレを補正し、ホワイトバランスを合わせて前記イメージデータを補正する。スケーラー２４０で、前記補正されたイメージデータをサイズ調整する。フォーマット変換部２５０は、サイズ調整された前記イメージデータを多様なフォーマットで変換する（ステップＳ１２０）。

次いで、第１メモリ装置３００にフォーマット変換された前記イメージデータを周期的に入力して保存する（ステップＳ１３０）。この際、フレームバッファ３１０は、前記イメージデータのＲＧＢフォーマットを、イメージバッファ３２０は、前記イメージデータのＹＣｂＣｒフォーマットを保存する。

次いで、制御部５７０は、シャッター開放時点であるか否かを判断する（ステップＳ１４０）。

もし、シャッター開放時点であれば、エンコーダ４００で、前記イメージデータのＹＣｂＣｒフォーマットをＪＰＥＧファイルに変換し（ステップＳ２５０）、第２メモリ装置５５０で、前記ＪＰＥＧファイルを保存し（ステップＳ２６０）、最終メモリ（例えば、ＮＡＮＤフラッシュの外部メモリ）に前記ＪＰＥＧファイルを保存する（ステップＳ２７０）。

もし、シャッター開放時点でなければ、スケーリングユニット５００で、前記イメージデータのＲＧＢフォーマットをディスプレイするためのサイズに調整し（ステップＳ１５０）、該調整された前記イメージデータをディスプレイ装置７００にディスプレイする（ステップＳ１６０）。

本発明は、図示した一実施形態を参考にして説明したが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。

本発明は、シャッターディレイを減らすためのカメラモジュールに利用できる。

１、１’、１” カメラ
１０、１０’１０” カメラモジュール
１００イメージセンサー
２００映像信号処理部
２２０ＩＳＰ部
２２１露出処理部
２２２オートフォーカス処理部
２２３ホワイトバランス処理部
２３０イメージ補正部
２４０スケーラー
２５０フォーマット変換部
３００第１メモリ装置
３１０フレームバッファ
３２０イメージバッファ
４００エンコーダ
５００スケーリングユニット
５５０第２メモリ装置
５７０制御部
６００システムバス
７００ディスプレイ装置
８００最終メモリ

Claims

レンズを通じて入射された光学信号を電気的信号に変換してフルサイズ（ｆｕｌｌｓｉｚｅ）のイメージデータを発生させるイメージセンサーと、
前記フルサイズのイメージデータを補正して出力する映像信号処理部と、
前記映像信号処理部から前記フルサイズのイメージデータを周期的に入力されて保存する第１メモリ装置と、
前記第１メモリ装置から出力される前記フルサイズのイメージデータをスケールダウンして周期的にディスプレイ装置に出力するスケーラーと、
シャッター（ｓｈｕｔｔｅｒ）開放時点に、前記第１メモリ装置に保存されたフルサイズのイメージデータを入力されて既定のフォーマットの圧縮ファイルに変換して出力するエンコーダと、
を含むことを特徴とするカメラモジュール。
前記カメラモジュールは、
前記シャッター開放時点を感知して、前記シャッター開放時点に、前記第１メモリ装置が、前記フルサイズのイメージデータを保存しないように制御する制御部をさらに含むことを特徴とする請求項１に記載のカメラモジュール。
前記カメラモジュールは、
前記エンコーダから出力される圧縮ファイルを保存する第２メモリ装置をさらに含むことを特徴とする請求項２に記載のカメラモジュール。
前記映像信号処理部は、
前記フルサイズのイメージデータの露出条件の設定、オートフォーカス処理及び／またはホワイトバランス処理のためのＩＳＰ（ＩｍａｇｅＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）部と、
前記フルサイズのイメージデータに対する色調補正及び画質補正を行って出力するイメージ補正部と、
を含むことを特徴とする請求項１に記載のカメラモジュール。
前記映像信号処理部は、
前記イメージ補正部から出力されるフルサイズのイメージデータのフォーマット（Ｆｏｒｍａｔ）を既定のフォーマットで変換して出力するフォーマット変換部をさらに含むことを特徴とする請求項４に記載のカメラモジュール。
前記フォーマット変換部は、
前記イメージ補正部から出力されるフルサイズのイメージデータを前記ディスプレイ装置に相応する第１フォーマットのフルサイズのイメージデータ及び前記エンコーダに相応する第２フォーマットのフルサイズのイメージデータに変換して出力することを特徴とする請求項５に記載のカメラモジュール。
前記第１メモリ装置は、
前記第１フォーマットのフルサイズのイメージデータを前記ディスプレイ装置にバッファリングする第１バッファと、
前記第２フォーマットのフルサイズのイメージデータを前記エンコーダにバッファリングする第２バッファと、
を含むことを特徴とする請求項６に記載のカメラモジュール。
前記エンコーダは、
前記シャッター開放時点で、前記第２バッファから出力される前記第２フォーマットのフルサイズのイメージデータを前記既定のフォーマットの圧縮ファイルに変換して出力することを特徴とする請求項７に記載のカメラモジュール。
前記フォーマット変換部は、
前記イメージ補正部から出力されるフルサイズのイメージデータを前記ディスプレイ装置に相応するＲＧＢフォーマットのフルサイズのイメージデータに変換して、前記第１メモリ装置に出力し、前記イメージ補正部から出力されるフルサイズのイメージデータを前記エンコーダに相応するＹＣｂＣｒフォーマットのフルサイズのイメージデータに変換して、前記第１メモリ装置に出力することを特徴とする請求項５に記載のカメラモジュール。
前記エンコーダは、
シャッター開放時点で、前記第１メモリ装置から出力されるＹＣｂＣｒフォーマットのフルサイズのイメージデータをＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）ファイルに変換して出力することを特徴とする請求項９に記載のカメラモジュール。