JP2007089183A - イメージ補正機能を備えた画像撮影装置及びその動作方法 - Google Patents

Abstract

【課題】本発明は、イメージ補正機能を備えた画像撮影装置及びその動作方法を提供する。
【解決手段】所定の被写体についてのイメージを獲得するイメージ獲得部、前記被写体についての前記イメージ獲得部の傾きを判断する傾き判断部、及び前記判断された傾きによって前記獲得されたイメージを補正する補正部を含む。これにより、携帯用通信機器を通じて画像通話時、自然である姿勢で使用してもカメラの撮影角度による顔イメージの歪曲が補正されるため大方見られる顔イメージについての心理的な拒否感を最小化して画像通話の普及が促進できる。
【選択図】図２

Description

本発明は、イメージ補正機能を備えた画像撮影装置及びその動作方法に係り、さらに詳細には、カメラの位置によって歪曲される使用者の顔イメージを補正できるイメージ補正機能を備えた画像撮影装置及びその動作方法に関する。

最近携帯用通信機器の普及と一緒にイメージを獲得できるカメラが付着した携帯用通信機器が広く使用されている。従って、使用者は携帯用通信機器を用いて自分の顔などを撮影して獲得したイメージを携帯用通信機器の画面に設定するか、或いは無線ネットワークを通じて他の使用者に送信できて使用者間のコミュニケーションを図っている。最近登場した次世代移動通信サービスであるＩＭＴ−２０００サービスは一歩さらにひいてはカメラが付着した携帯用通信機器使用者間の画像通話機能を提供している。

しかしながら、使用者は画像通話時相手方の顔映像を注視し続けながら数分間或いは数十分間以上使用しなければならない画像通話機能の特性を上手に掴んだ携帯用通信機器を見下ろす姿勢を取るようになる。言い換えれば、携帯用通信機器に付着したカメラが使用者の下側に設けられて使用者の顔を撮影するようになる。このような角度で３次元客体である使用者の顔は顎が強調され、額側に行くほど狭く見える遠近現象が発生するようになるが、このように歪曲された顔イメージは一般に見慣れなく、使用者に美的基準で受け入れられにくいこととみなされ、一部では画像通話機能の普及が遅延される主立った心理的原因にみなしたりする。

具体的には、図１の（ａ）に示すように、携帯用通信機器が使用者の下側に設けられるか、或いは図１の（ｂ）に示すように、携帯用通信機器が使用者の正面に設けられるか、或いは図１の（ｃ）に示すように、携帯用通信機器が使用者の上側に設けられて使用者の顔を撮影する場合、撮影される使用者の顔イメージは撮影する角度によって変わるようになる。この時、使用者が携帯用通信機器を見下ろす姿勢、すなわち携帯用通信機器が使用者の下側に設けられて使用者の顔を撮影する場合には前述したように、使用者の顎が強調され、額側に行くほど狭く見えることである。言い換えれば、使用者の顎部分は広くなって額部分は狭くなるようになる。

携帯用通信機器で既に補正方法について、特許文献１（韓国公開特許第２００４−０１０７８９０号）は使用者と携帯電話機ディスプレイ間の相対的な回転角差によって携帯電話機の画面内の映像傾きを自動に補正して映像が使用者の目と平行になるようにする携帯電話機の映像表示補正方法を開示しているが、これは携帯電話機を通じて見られる映像の回転角を補正して使用者の動きと関係なく常に目と映像が平行なようにして画面情報をより容易で自然に認識することに関するものであり、いまだに画像通話を上程してカメラを見下ろす使用者の顔イメージ獲得過程で発生する３次元的歪曲を補正する事例は報告されていない。
韓国公開特許第２００４−０１０７８９０号

本発明が解決しようとする技術的課題は、携帯用通信機器を用いた画像通話時、被写体のイメージを獲得する機器の姿勢を判断し、判断された姿勢によって獲得されたイメージの補正を遂行して使用者が所望のイメージを得ることができるイメージ補正機能を備えた画像撮影装置及びその動作方法を提供することにある。

本発明の技術的課題は以上で言及した技術的課題で制限されないし、言及されないまた他の技術的課題は以下の記載から当業者に明確に理解されることができることである。

前記技術的課題を達成するために、本発明の一実施形態によるイメージ補正機能を備えた画像撮影装置は、所定の被写体についてのイメージを獲得するイメージ獲得部、前記被写体についての前記イメージ獲得部の傾きを判断する傾き判断部、及び前記判断された傾きによって前記獲得されたイメージを補正する補正部を含む。

また、前記技術的課題を達成するために、本発明の他の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法は、所定の被写体についてのイメージを獲得する段階、前記被写体についての前記イメージ獲得部の傾きを判断する段階、及び前記判断された傾きによって前記獲得されたイメージを補正する段階を含む。

その他実施形態の具体的な事項は詳細な説明及び図面に含まれている。

上述したように本発明のイメージ補正機能を備えた画像撮影装置及びその動作方法によれば、携帯用通信機器を通じて画像通話時、自然である姿勢で使用してもカメラの撮影角度による顔イメージの歪曲が補正されるため大方見られる顔イメージについての心理的な拒否感を最小化して画像通話の普及が促進できる。

本発明の利点及び特徴、そしてそれらを達成する方法は添付する図面と共に詳細に後述している実施形態を参照すれば明確になる。しかしながら、本発明は、以下で開示される実施形態に限定されるものではなく、相異なる多様な形態で具現されるものであり、本実施形態は、本発明の開示が完全となり、当業者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、特許請求の範囲の記載に基づいて決められなければならない。なお、明細書全体にかけて同一参照符号は同一構成要素を示すものとする。

以下、本発明の実施形態によってイメージ補正機能を備えた画像撮影装置及びその動作方法を説明するためのブロック図又は処理流れ図についての図面を参照して本発明について説明する。この時、処理流れ図、図面の各ブロックと流れ図、図面の組み合わせはコンピュータプログラムインストラクションによって遂行できることを理解できるものである。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ又はその他プログラム可能なデータプロセッシング装備のプロセッサーに搭載できるため、コンピュータ又はその他プログラム可能なデータプロセッシング装備のプロセッサーを通じて遂行されるそれのインストラクションが流れ図ブロックで説明された機能を遂行する手段を生成するようになる。これらコンピュータプログラムインストラクションは、特定方式で機能を実現するためコンピュータ又はその他プログラム可能なデータプロセッシング装備を指向できるコンピュータ利用可能又はコンピュータ読み取り可能メモリに貯蔵されることも可能なので、そのコンピュータ利用可能又はコンピュータ読み取り可能メモリに貯蔵されたインストラクションは流れ図ブロックで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータ又はその他プログラム可能なデータプロセッシング装備上に搭載されることも可能なので、コンピュータ又はその他プログラム可能なデータプロセッシング装備上で一連の動作段階が遂行されてコンピュータで実行されるプロセスを生成してコンピュータ又はその他プログラム可能なデータプロセッシング装備を遂行するインストラクションは、流れ図ブロックで説明された機能を実行するための段階を提供することも可能である。

また、各ブロックは特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメント又はコードの一部を示すことができる。また、いくつかの代替実行形態ではブロックで言及された機能が順序を外れて発生することも可能なことを注目しなければならない。例えば、連なって示されている二個のブロックは事実実質的に同時に遂行されることも可能であり、又はそのブロックがたびたび該当する機能によって逆順に遂行されることも可能である。

本発明の実施形態によるイメージ補正機能を備えた画像撮影装置は、カメラ及びカメラが付着した携帯用通信機器（例えば、携帯電話機及びＰＤＡ）などのような機器を含む場合を例を挙げて説明しているが、これに限定されずデスクトップパソコン及びノートパソコンなどのＰＣに連結されて使用されるカメラなどにも適用できる。また、本発明の実施形態によるイメージ補正は、被写体のイメージを獲得するモジュールの位置によって獲得されたイメージを補正することに関するものであり、本発明の実施形態でイメージを獲得するモジュールの位置を判断するための方法で角度センサー及び加速度計などのように所定の基準面につて傾きを感知できる装置を使用するか、事前指定された傾きを使用できる。

図２は、本発明の第１の実施形態によるイメージ補正機能を備えた画像撮影装置が示されている図面である。

図示するように、本発明の第１の実施形態によるイメージ補正機能を備えた画像撮影装置１００は、所定の被写体についてのイメージを獲得するイメージ獲得部１１０、所定の基準面についてイメージ獲得部１１０が設けられた機器の傾きを感知する傾き感知部１２０、感知された傾きによってイメージ獲得部１１０の傾きを判断する傾き判断部１３０及び判断された傾きにより獲得されたイメージの補正を遂行する補正部１４０を含むことができる。

また、獲得されたイメージ及び補正されたイメージを貯蔵する第１の貯蔵部１５０、傾き感知部１２０によって感知された傾き及び傾き判断部１３０によって判断された傾きを貯蔵する第２の貯蔵部１６０、補正されたイメージを所定のインターフェースを通じて外部に伝送する伝送部１７０をさらに含むことができる。

この時、本発明の実施形態で被写体は、人物被写体である場合を例を挙げて説明しているが、これに限定されない。また、本発明の実施形態でイメージ獲得部１１０の位置は、被写体を上げてみる位置、言い換えれば、被写体が設けられ、重力の作用方向と垂直な面の下側に設けられる場合を例を挙げて説明する。従って、本発明の実施形態でイメージ獲得部１１０は被写体の下側で撮影を行うようになる。

また、イメージ獲得部１１０は、携帯用通信機器に装着されたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどに理解でき、イメージ獲得部１１０によって獲得されたイメージは前述した第１の貯蔵部１５０に貯蔵できる。本発明の実施形態で第１の貯蔵部１５０は、キャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ、ＳＲＡＭ及びＳＲＡＭなどのような形態の装置が使用できるが、これに限定されない。本発明の実施形態では第１の貯蔵部１５０で不揮発性貯蔵媒体であるフラッシュメモリが使用された場合を例を挙げて説明する。

この時、本発明の実施形態では、イメージ獲得部１１０が携帯用通信機器に装着された場合を例に挙げて説明しているが、これは本発明の理解を助けるための一例に過ぎなく、これに限定されずイメージ獲得部１１０が装着でき、被写体を撮影できる全ての機器に適用されうる。

一方、傾き感知部１２０は、角度センサー及び加速度計などのように所定の基準面について傾きを感知できる装置を使用して所定の基準面についてイメージ獲得部１１０が設けられた機器の傾きを感知できる。言い換えれば、傾き感知部１２０は被写体が人物被写体である場合、イメージ獲得部１１０が獲得されたイメージを用いて人物被写体の顔面特徴点間の大方の位置から人物被写体とイメージ獲得部間の傾きを感知できる。この時、基準面は測定手段として前述したセンサーを前提するとき重力の作用方向と垂直な面と理解でき、本発明の実施形態では地面である場合を例を挙げて説明する。

本発明の実施形態では、傾き感知部１２０が大きく本体及びディスプレイ装置に分けられた携帯用通信機器の本体内部に設けられた場合を例を挙げて説明し、地面について携帯用通信機器本体の傾きを感知する場合を例を挙げて説明する。

図３は、本発明の実施形態によって地面から携帯用通信機器本体の傾きを感知する傾き感知部が示されている概略図である。

図示するように、携帯用通信機器の本体２１０内部に傾き感知部１２０が設けられる。この時、傾き感知部１２０は地面２２０と平行な面から携帯用通信機器の本体２１０が傾いた傾きを感知できる。感知された傾きは前述した第２の貯蔵部１６０に貯蔵できる。この時、第２の貯蔵部１６０また前述した第１の貯蔵部１５０と同様にキャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ、ＳＲＡＭ及びＳＲＡＭなどのような形態の装置が使用できるが、これに限定されない。また、本発明の実施形態では第１の貯蔵部１５０及び第２の貯蔵部１６０がハードウェア的にそれぞれ構成される場合を例を挙げて説明しているが、これに限定されずハードウェア的に統合されて構成できる。

以下、本発明の実施形態で携帯用通信機器本体２１０が地面２２０と平行な面について傾いた傾きを‘θ_１’と称する。この時、傾き感知部１２０で感知される傾きの基準を地面２２０を使用したことは本発明の理解を助けるためのことであり、傾き感知部１２０で感知される傾きの基準面はイメージを獲得する環境によって変更できる。また、前述した図２でθ_１は地面２２０について負の値を有することと理解できる。

傾き判断部１３０は、傾き感知部１２０を基準として傾き感知部１２０とイメージ獲得部１１０の光軸１１１の間の角度を考慮してイメージ獲得部１１０の傾きを算出できる。この時、傾き判断部１３０によって判断された傾きは傾き感知部１２０で感知された傾きと同様に第２の貯蔵部１６０に貯蔵でき、前述した傾き感知部１２０で感知された傾きと共に傾き感知部１２０とイメージ獲得部１１０の角度を考慮してイメージ獲得部１１０の傾きを算出することによって、所定の被写体を基準に携帯用通信機器がどの所に設けられるかを判断できる尺度になることができる。具体的には、傾き判断部１３０は図４に示すように、携帯電話機通信機器の本体２１０に設けられた傾き感知部１２０とイメージ獲得部１１０の光軸１１１の間の角度を判断し、判断された角度と傾き感知部１２０で感知された傾きを通じてイメージ獲得部１１０の傾きを判断できる。以下、本発明の実施形態でイメージ獲得部１１０と傾き感知部１２０の間の角度を‘θ_２’と称する。また、前述した図４で θ_２は傾き感知部１２０について正の値を有することと理解できる。従って、傾き判断部１３０で判断される傾きは ‘θ_１＋θ_２’になることができる。

補正部１４０は、傾き判断部１３０で判断された傾きである‘θ_１＋θ_２’を通じて現在イメージ獲得部１１０が被写体から上側に設けられるか、又は下側に設けられるかの要否を判断できる。例えば、前述した図３及び図４で地面２２０を０度と仮定する場合、θ_１＋θ_２が０度であれば、イメージ獲得部１１０の光軸１１１が地面２２０と平行なことと判断できる。他の実施形態で、傾き感知部１２０がイメージ獲得部１１０の光軸１１１と平行に設けられれば、傾き感知部１２０で感知された傾きがつまり地表面基準カメラの傾きとみなされることができる。従って、図５に示すように、判断された傾きである‘θ_１＋θ_２’が負の値であれば、イメージ獲得部１１０が被写体３００の上側、判断された傾きである‘θ_１＋θ_２’が正の値であれば、イメージ獲得部１１０が被写体３００の下側に設けられたことと判断できる。

この時、本発明の実施形態で被写体は使用者自分の顔であり、使用者が所望のイメージは使用者自分の顔を基準にイメージ獲得部１１０が上側に設けられた場合に獲得された場合を例を挙げて説明する。また、本発明の実施形態でイメージ獲得部１１０の光軸１１１が使用者を向いている場合を例を挙げて説明しているが、これに限定されず使用者以外に他の被写体を向くことができる。従って、前述した‘θ_１＋θ_２’によって判断されるイメージ獲得部１１０の位置はイメージ獲得部１１０に光軸１１１によって変更できる。

この時、補正部１４０はイメージ獲得部１１０が使用者自分の顔下側で使用者の顔を獲得した場合、すなわち‘θ_１＋θ_２’が正の値である場合獲得したイメージは使用者が所望のイメージではないため、補正部１４０は獲得したイメージの補正を遂行するようになる。この時、補正部１４０は使用者が事前に指定された位置やデフォルトに設定された位置と前述した傾き判断部１３０によって判断された傾きを比較して使用者が所望のイメージの獲得要否を判断するようになり、判断結果によって補正遂行要否を決定するようになる。言い換えれば、判断された傾きが使用者が所望ではない顔イメージにおける遠近歪曲を誘発する角度と判断されれば、補正部１４０は発生した歪曲を補正することである。

具体的には、使用者自分の顔下側でイメージ獲得部１１０が使用者の顔イメージを獲得した場合には図６の（ａ）に示すように、使用者が所望のイメージとは違って、顎部分３１０が強調され、額部分３２０が小さく出る歪曲されたイメージを獲得するようになる。従って、補正部１４０は前述した図６の（ａ）のイメージについての遠近現象補正を遂行して図６の（ｂ）に示すように、顎部分３１０を前述した図６の（ａ）に比べて縮め、額部分３２０を広めて図６の（ａ）の歪曲されたイメージを使用者が所望のイメージで補正を遂行できる。例えば、図６の（ａ）の顎部分３１０の幅をＡといい、図６の（ｂ）の顎部分３１０の幅をＢと仮定すれば、Ａ＞Ｂである関係を有するものである。

また、本発明の実施形態におけるイメージ補正は、前述した図６のようにイメージを変形することと同時に、撮影時カメラフラッシュの強制発光やイメージの明るさを高めて陰影効果を減少させるなどの多様な補正が一緒に遂行できる。

このようなイメージの補正をさらに詳細に調べれば、図７に示すように、補正部１４０は獲得されたイメージの横方向をｘ軸、縦方向をｙ軸といい、獲得されたイメージを横方向及び縦方向に等間隔を有する格子に分けたとき、（ｘ、ｙ）が（０、０）である地点を基準にｙが増加することによって、イメージの幅（Ｗ）及び縦方向の格子間隔（ｄ）が縮小されるように補正が遂行できる。従って、補正部１４０はイメージ獲得部１１０が使用者自分の顔下側で獲得したイメージをイメージ補正を通じて図８に示すように、イメージの上側を広め、イメージの下側を狭め、縦方向の格子間隔（ｄ）を縮めて使用者が所望のイメージを得るようになる。言い換えれば、補正部１４０は補正前イメージで形態と面積が同一であり、上下方向に位置を異にする所定の二つ領域を決めたとき、補正後大きさと形状が変化した二つイメージを比較する場合、二つ領域のうち相対的に下側に設けられた領域が上側に設けられた領域より面積が狭くなるように補正することである。

この時、補正部１４０によって獲得されたイメージの補正が遂行された後、補正されたイメージがディスプレイされる領域と補正されたイメージの領域が異なる場合、すなわち補正されたイメージの領域がディスプレイ領域より小さいか、或いは位置が一致しない場合、ディスプレイ領域に見てやるイメージがない空いていた領域によって使用者が拒否感が起こるようになることを事前に防止するために補正部１４０は空いていた領域についての処理を遂行できる。例えば、前述した図７及び図８による補正が遂行された場合、補正されたイメージの下側は上側に比べてその幅が狭くなる。従って、ディスプレイ領域が四角形形態である場合、補正されたイメージの上側はディスプレイ領域の幅と同じが、補正されたイメージの下側はディスプレイ領域の幅より狭くなって補正されたイメージ両側に空いていた領域が発生できることである。

言い換えれば、図９のように補正部１４０は、ディスプレイ領域４１０及び補正されたイメージ領域４２０の大きさが互いに異なって発生する空いていた領域４３０についての処理を遂行できる。

本発明の実施形態で空いていた領域４３０についての処理方法では、図１０Ａのように、空いていた領域４３０を補正前イメージ４４０に空いていた領域４３０を構成するピクセル値で充填するか、図１０Ｂのように、空いていた領域４３０を空いていた領域４３０の所定ピクセルを基準に同じ行内で一番近い位置に存在する補正されたイメージ４２０のピクセル値で充填するか、図１０Ｃのように空いていた領域４３０が覆われるようにディスプレイ領域４１０周りに所定フレーム４５０（例えば、額縁形フレームなど）をオーバーレイさせることができる。この時、前述したようなオーバーレイ及びピクセル値を用いる方法は補正されたイメージの上側幅がディスプレイ領域４１０の幅と同一な場合の一例で理解できる。また、図１０Ｄのように、獲得されたイメージがディスプレイ領域４１０より十分に大きい場合、獲得されたイメージ補正後ディスプレイ領域４１０の大きさにあうように補正されたイメージを切断する方法が使用できるが、これに限定されない。この時、獲得されたイメージがディスプレイ領域４１０より大きい場合一般的にイメージ獲得部１１０で獲得されるイメージの解像度は、ディスプレイ領域４１０の解像度より高いということを考慮したものであり、イメージ補正後にディスプレイ領域４１０を外れるイメージ領域を除去することである。

また、前述した図１０Ａ〜図１０Ｄを通じた空いていた領域４３０についての処理方法以外にも、補正されたイメージ４２０で空いていた領域４３０を除外した内側の完全な四角形イメージを切り出した後、切られたイメージをディスプレイ領域４１０に充填できる大きさで拡大処理する方法も使用できる。

このように、ディスプレイ領域４１０と補正されたイメージ４２０の大きさが一致しなくて空いていた領域４３０が発生されることについての処理方法で、前述した図１０Ａ〜図１０Ｄを例を挙げて説明しているが、これに限定されない。

一方、補正部１４０はイメージ補正時、幾何変換技法及び幾何変換の一つ種類である遠近変換技法などを使用してイメージの補正を遂行できるが、これは本発明の理解を助けるための一例に過ぎなく、イメージ補正時使用される多様な技法を使用できる。

参考に、遠近変換技法は通常の行列基盤映像変換アルゴリズムであって、例えば式１によってイメージの補正が行われることができ、式１でｘ及びｙは補正前イメージの所定地点を意味し、ｘ´及びｙ´はｘ及びｙによる地点が遠近変換技法によって位置が変更されて補正された地点を意味し、ｗは加重値を意味する。本発明の実施形態では傾き判断部１３０によって最終判断されたイメージ獲得部１１０の地面基準傾きに基づいて式１の変換行列係数であるｍ００、ｍ０１、ｍ０２、ｍ１０、ｍ１１、ｍ１２、ｍ２０、ｍ２１、ｍ２２の値を調節する。

この時、式１でｘ及びｙは補正前イメージの座標であり、ｘ´及びｙ´は補正されたイメージの座標を意味する。また、式１では３×３行列を使用する場合を例を挙げて説明しているが、これに限定されず２×２行列が使用されてもよい。この時、使用者は、使用者補正部１９０を通じて使用者が実際に変更できるパラメータは横方向値であるｍ００及び縦方向値であるｍ１１を変更して補正部１４０によって補正されたイメージを再補正できる。

伝送部１７０は、第１の貯蔵部１５０に貯蔵されたイメージをイーサネット（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの有線ネットワークやＣＤＭＡ、ＴＤＭＡ、ＧＳＭなどの携帯電話網或いはブルートゥース、８０２．１１ａ／ｂ／ｇなどの無線ネットワークなどを通じて他の使用者や外部機器に伝送できる。この時、伝送部１７０は第１の貯蔵部１５０に貯蔵されたイメージを所定の処理過程を経るか、又は経ない状態で伝送でき、第１の貯蔵部１５０に貯蔵されたイメージを所定の処理過程を経ず直接伝送する場合には早い伝送が要求される場合で、これのためのバッファ（図示せず）などに補正されたイメージが貯蔵され、バッファに貯蔵されたイメージを外部に伝送できる。

図１１は、本発明の第２の実施形態によるイメージ補正機能を備えた画像撮影装置が示されている図面である。

図示するように、本発明の第２の実施形態によるイメージ補正機能を備えた画像撮影装置１００は、所定の被写体についてのイメージを獲得するイメージ獲得部１１０、事前指定されたイメージ獲得部１１０の傾きについての情報を貯蔵する傾き貯蔵部１８０、貯蔵された傾きについての情報によってイメージ獲得部１１０の傾きを判断する傾き判断部１３０、及び判断された傾きによって獲得されたイメージの補正を遂行する補正部１４０を含むことができる。

この時、図１１のイメージ補正機能を備えた画像撮影装置１００は前述した図２のイメージ補正機能を備えた画像撮影装置１００とは違って、傾きを感知することではない事前指定された傾きを使用することが分かる。言い換えれば、傾き貯蔵部１８０に貯蔵される傾きについての情報はイメージ獲得部１１０が含まれた装置使用時に通常取られる姿勢から実験的に求められたことと理解できる。また、傾き貯蔵部１８０に貯蔵される傾きについての情報は製品生産工程で貯蔵されるか、以後にファームウェアアップグレードなどを通じて貯蔵できるが、これに限定されない。

一方、図１１の各構成要素のうち前述した図２と同一な参照番号を使用する構成要素は互いに同一な機能を使用することと理解でき、それによって図９の構成要素のうち前述した図２と重複される構成要素に対する説明は省略する。

但し、図１１の傾き判断部１３０は前述した図２の傾き判断部１３０とは違って傾き貯蔵部１８０に貯蔵された傾きについての情報を使用してイメージ獲得部１１０の傾きを判断するという点で差があるということができる。

このように、前述した図２及び図１１では、傾き判断部１３０によって判断された傾きによって補正部１４０がイメージ獲得部１１０によって獲得されたイメージの補正を遂行する場合を例を挙げて説明しているが、補正部１４０によって補正が遂行された後にも使用者の性向及び趣向によって使用者が直接補正を遂行してもよい。

このため、図１２及び図１３のように前述した図２及び図１１に使用者が直接補正を遂行できる使用者補正部１９０がさらに含むことができる。この時、図１２及び図１３で使用者補正部１９０は、本発明の実施形態によるイメージ補正機能を備えた画像撮影装置１００が携帯用通信機器である場合には携帯用通信機器に設けられたボタン、タッチバッド、ジョイスティック及び無線リモコンなど多様な形態でなすことができるが、これに限定されない。従って、使用者は使用者補正部１９０を通じて補正部１４０によって補正されたイメージを再補正して自分にあうイメージを得ることができるようになる。この時、使用者が使用者補正部１９０を通じて前述した式１のパラメータであるｍ００及びｍ１１を変更して補正部１４０によって補正されたイメージを再補正できる。

例えば、被写体が人物被写体である場合、傾き判断部１３０によって判断された傾きによるｍ００＝０．７である状態で人物の顔がさらにやや細いように見えることを望む場合使用者補正部１９０を通じてｍ００＝０．８に変更でき、使用者が大部分の使用者より携帯用通信機器を上側に上げた状態で使用すれば、傾き判断部１３０によって判断された傾きによるｍ１１＝０．９０を使用者補正部１９０を通じてｍ１１＝０．９５に変更できることである。

図１４は、本発明の第１の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法が示されている図面である。

図示するように、本発明の第１の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法は、先ず傾き感知部１２０でイメージ獲得部１１０が設けられた機器の傾きを感知する（Ｓ１１０）。本発明の実施形態では、イメージ獲得部１１０が携帯用通信機器に設けられたカメラである場合を例を挙げて説明し、傾き感知部１２０は携帯用通信機器の本体２１０に設けられた場合を例を挙げて説明している。従って、傾き感知部１２０は前述した地面２２０について携帯用通信機器本体２１０の傾きを感知するようになり、感知された傾きは第２の貯蔵部１６０に貯蔵される。

また、傾き判断部１３０は傾き感知部１２０とイメージ獲得部１１０の光軸の間の角度を考慮してイメージ獲得部１１０の傾きを判断する（Ｓ１２０）。判断された傾きを前述した傾きと同様に第２の貯蔵部１６０に貯蔵できる。

以後、補正部１４０はイメージ獲得部１１０を通じてイメージが獲得されたかの要否を判断する（Ｓ１３０）。言い換えれば、使用者の操作によってイメージ獲得部１１０で獲得したイメージが第１の貯蔵部１５０に貯蔵されたかの要否を判断するようになる。

また、補正部１４０は前述したイメージ獲得部１１０の傾きを通じて獲得されたイメージに歪曲が発生したかを判断する（Ｓ１４０）。言い換えれば、本発明の実施形態では使用者がイメージ獲得部１１０を通じて被写体の上側イメージを獲得することを望む場合を例を挙げて説明しているので前述したイメージ獲得部１１０の傾きに基づいて被写体の上側に設けられたか又は下側に設けられたかを判断したことである。

判断結果獲得されたイメージが使用者が所望の位置で獲得されない場合、補正部１４０は前述した遠近技法などを使用して第１の貯蔵部１５０に貯蔵されたイメージの補正を遂行するようになる（Ｓ１５０）。例えば、使用者は自分から上側でイメージを獲得することを望むが、前述した図６の（ａ）のように自分の下側でイメージが獲得した場合には前述した遠近技法などを使用して前述した図６の（ｂ）のように第１の貯蔵部１５０に貯蔵されたイメージを補正することである。

補正部１４０は、イメージの補正が完了されれば、補正されたイメージを第１の貯蔵部１５０に再び貯蔵するようになる（Ｓ１６０）。

以後、使用者は補正されたイメージを通じて自分の携帯用通信機器の画面を設定するか、或いは他の使用者に自分のイメージを送信してコミュニケーションを図るようになる。

この時、使用者が補正部１４０によって補正されたイメージを再補正することを望む場合（Ｓ１７０）、使用者は使用者補正部１９０を通じて補正部１４０によって補正されたイメージを再補正するようになる（Ｓ１８０）。

図１５は、本発明の第２の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法が示されている図面である。

図示するように、本発明の第２の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法は、先ず傾き判断部１３０は、傾き貯蔵部１８０に貯蔵された傾きについての情報を参照してイメージ獲得部１１０の傾きを判断する（Ｓ２１０）。

以後、補正部１４０はイメージ獲得部１１０を通じてイメージが獲得されたかの要否を判断する（Ｓ２２０）。言い換えれば、使用者の操作によってイメージ獲得部１１０で獲得したイメージが第１の貯蔵部１５０に貯蔵されたかの要否を判断するようになる。

イメージ獲得部１１０によって被写体のイメージが獲得された場合、補正部１４０は判断された傾きを参照して獲得されたイメージについての補正を遂行する（Ｓ２３０）。

補正部１４０は、イメージの補正が完了されれば、補正されたイメージを第１の貯蔵部１５０に再び貯蔵するようになる（Ｓ２４０）。

この時、使用者が補正部１４０によって補正されたイメージを再補正することを望む場合（Ｓ２５０）、使用者は使用者補正部１９０を通じて補正部１４０によって補正されたイメージを再補正するようになる（Ｓ２６０）。

このような本発明の実施形態によるイメージ補正機能を備えた画像撮影装置及びその動作方法において、前記‘部’はソフトウェア又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は注文型半導体（ＡＳＩＣ）のようなハードウェア構成要素を意味し、部はどんな役割を遂行する。だが、部はソフトウェア又はハードウェアに限定される意味ではない。部は、アドレッシングできる貯蔵媒体にあるように構成されてもよく、一つ又はその以上のプロセッサーを実行させるように構成されてもよい。従って、一例として、部はソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素と部で提供される機能はさらに小さい数の構成要素及び部で結合されるか、或いは追加的な構成要素と部でさらに分離できる。 以上のように本発明に従うイメージ補正機能を備えた画像撮影装置及びその動作方法を例示された図面を参照して説明したが、本明細書に開示された実施形態と図面によって本発明は限定されなく、その発明の技術思想範囲内で当業者によって多様な変形が行われることができるものは勿論である。

一般的な画像撮影装置によって獲得されたイメージが示されている図面である。 本発明の第１の実施形態によるイメージ補正機能を備えた画像撮影装置が示されている図面である。 本発明の実施形態による傾き感知部が示されている図面である。 本発明の実施形態によるイメージ獲得部及び傾き感知部が示されている図面である。 本発明の実施形態によって被写体のイメージを撮影する携帯用通信機器が示されている図面である。 本発明の実施形態によって獲得されたイメージ及び補正されたイメージが示されている図面である。 本発明の実施形態による補正前イメージの形態が示されている図面である。 本発明の実施形態による補正されたイメージの形態が示されている図面である。 本発明の実施形態によるディスプレイ領域での剰余領域が示されている図面である。 本発明の実施形態によるディスプレイ領域の剰余領域処理方法が示されている図面である。 本発明の実施形態によるディスプレイ領域の剰余領域処理方法が示されている図面である。 本発明の実施形態によるディスプレイ領域の剰余領域処理方法が示されている図面である。 本発明の実施形態によるディスプレイ領域の剰余領域処理方法が示されている図面である。 本発明の第２の実施形態によるイメージ補正機能を備えた画像撮影装置が示されている図面である。 図２に使用者補正部が追加されたイメージ補正機能を備えた画像撮影装置が示されている図面である。 図１０に使用者補正部が追加されたイメージ補正機能を備えた画像撮影装置が示されている図面である。 本発明の第１の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法が示されている図面である。 本発明の第２の実施形態によるイメージ補正機能を備えた画像撮影装置の動作方法が示されている図面である。

符号の説明

１１０：イメージ獲得部
１２０：傾き感知部
１３０：傾き判断部
１４０：補正部
１５０：第１の貯蔵部
１６０：第２の貯蔵部
１７０：伝送部

Claims (48)

1. 所定の被写体についてのイメージを獲得するイメージ獲得部；
   前記被写体についての前記イメージ獲得部の傾きを判断する傾き判断部；及び
   前記判断された傾きによって前記獲得されたイメージを補正する補正部を含むことを特徴とする画像撮影装置。
2. 前記被写体は、人物被写体であることを特徴とする請求項１に記載の画像撮影装置。
3. 前記イメージ獲得部は、前記被写体を上げてみる位置で前記被写体についてのイメージを獲得することを特徴とする請求項１に記載の画像撮影装置。
4. 前記イメージ獲得部が設けられた機器の傾きを感知する傾き感知部をさらに含むことを特徴とする請求項１に記載の画像撮影装置。
5. 前記傾き感知部は、前記イメージ獲得部が獲得したイメージを用いて人物被写体の顔面特徴点間の大方位置から前記被写体と前記イメージ獲得部間の傾きを感知することを特徴とする請求項４に記載の画像撮影装置。
6. 前記イメージ獲得部によって獲得されたイメージを貯蔵する第１の貯蔵部；及び
   前記感知された傾きと前記判断された傾きに対する情報を貯蔵する第２の貯蔵部
   をさらに含むことを特徴とする請求項４に記載の画像撮影装置。
7. 前記傾き感知部は、慣性センサーを用いて重力の作用方向と垂直な面について前記イメージ獲得部が設けられた機器の傾きを感知することを特徴とする請求項４に記載の画像撮影装置。
8. 前記被写体について事前指定された前記イメージ獲得部の傾きを貯蔵する傾き貯蔵部をさらに含むことを特徴とする請求項１に記載の画像撮影装置。
9. 前記傾き判断部は、前記貯蔵された傾きを前記イメージ獲得部の傾きで判断することを特徴とする請求項８に記載の画像撮影装置。
10. 前記補正部は、前記傾き判断部によって判断された傾きによって前記獲得されたイメージ補正要否及び補正水準を決定することを特徴とする請求項１に記載の画像撮影装置。
11. 前記補正部は、前記獲得されたイメージを幾何変換技法を通じて補正することを特徴とする請求項１０に記載の画像撮影装置。
12. 前記補正部は、前記判断された傾きによって前記イメージ補正に使用される変換行列係数を調節することを特徴とする請求項１１に記載の画像撮影装置。
13. 前記補正部は、前記獲得されたイメージの幾何変換技法のうち遠近変換技法を使用することを特徴とする請求項１１に記載の画像撮影装置。
14. 前記補正部は、前記獲得されたイメージを前記幾何変換技法を通じて補正する場合、補正前イメージで形態と面積が同一であり、上下方向に位置を異にする所定の二つ領域を決めるとき補正後前記二つ領域のうち相対的に下側に設けられた領域の面積が上側に設けられた領域の面積より狭くなるように補正を遂行することを特徴とする請求項１１に記載の画像撮影装置。
15. 使用者が前記判断された傾き又は前記補正部で決定された補正水準を変更して前記補正部によってイメージが補正される程度を調整するための使用者補正部をさらに含むことを特徴とする請求項１に記載の画像撮影装置。
16. 前記使用者補正部は、ボタン、タッチパッド、ジョイスティック及び無線リモコンなどのうち少なくとも一つを含むことを特徴とする請求項１５に記載の画像撮影装置。
17. 前記補正部によって補正されたイメージをディスプレイするディスプレイ部をさらに含み、
    前記補正部は、前記補正されたイメージの領域が前記ディスプレイ部のディスプレイ領域より小さいか、或いは位置が一致しなくて前記ディスプレイ部で見えてやるイメージがない空いていた領域が発生する場合、前記空いていた領域についての処理を遂行することを特徴とする請求項１１に記載の画像撮影装置。
18. 前記補正部は、前記空いていた領域を補正前イメージで当該領域を構成するイメージピクセル値で充填することを特徴とする請求項１７に記載の画像撮影装置。
19. 前記補正部は、前記空いていた領域を前記空いていた領域内の所定ピクセルを基準に同じ行で一番近い位置に存在する補正されたイメージのピクセル値で充填することを特徴とする請求項１７に記載の画像撮影装置。
20. 前記補正部は、前記空いていた領域が覆われるように前記ディスプレイ領域周りにかけて所定フレームをオーバーレイさせることを特徴とする請求項１７に記載の画像撮影装置。
21. 前記補正部は、前記イメージ獲得部で前記ディスプレイ領域に比べて大きいイメージを獲得した場合、補正を遂行した後、前記ディスプレイ領域に合うように前記補正されたイメージを切断することを特徴とする請求項１７に記載の画像撮影装置。
22. 前記補正部は、前記補正されたイメージで前記空いていた領域を除外した領域を四角形形態で切り出した後、前記ディスプレイ領域を充填できる大きさで拡大処理することを特徴とする請求項１７に記載の画像撮影装置。
23. 所定の被写体についてのイメージを獲得する段階；
    前記被写体についての前記イメージ獲得部の傾きを判断する段階；及び
    前記判断された傾きによって前記獲得されたイメージを補正する段階を含むイメージ補正機能を備えたことを特徴とするイメージ補正方法。
24. 前記被写体は、人物被写体であることを特徴とする請求項２３に記載のイメージ補正方法。
25. 前記イメージを獲得する段階は、前記被写体を上げてみる位置で前記被写体についてのイメージを獲得する段階を含むことを特徴とする請求項２３に記載のイメージ補正方法。
26. 前記イメージを獲得するモジュールが設けられた機器の傾きを感知する段階をさらに含むことを特徴とする請求項２３に記載のイメージ補正方法。
27. 前記傾きを感知する段階は、前記モジュールによって獲得されたイメージを用いて人物被写体の顔面特徴点間の大手位置から前記被写体と前記モジュール間の傾きを感知する段階を含むことを特徴とする請求項２６に記載のイメージ補正方法。
28. 前記イメージ獲得部によって獲得されたイメージを貯蔵する段階；及び
    前記感知された傾きと前記判断された傾きについての情報を貯蔵する段階をさらに含むことを特徴とする請求項２６に記載のイメージ補正方法。
29. 前記傾きを感知する段階は、慣性センサーを用いて重力の作用方向と垂直な面について前記イメージを獲得するモジュールが設けられた機器の傾きを感知する段階を含むことを特徴とする請求項２６に記載のイメージ補正方法。
30. 前記傾きを判断する段階は、事前に指定されて貯蔵された傾きを参照して前記イメージを獲得するモジュールの傾きを判断する段階をさらに含むことを特徴とする請求項２３に記載のイメージ補正方法。
31. 前記獲得されたイメージを補正する段階は、前記判断された傾きによって前記獲得されたイメージの補正要否及び補正水準を決定する段階を含むことを特徴とする請求項２３に記載のイメージ補正方法。
32. 前記獲得されたイメージを補正する段階は、前記獲得されたイメージを幾何変換技法を通じて補正する段階を含むことを特徴とする請求項３１に記載のイメージ補正方法。
33. 前記獲得されたイメージを補正する段階は、前記判断された傾きによって前記イメージ補正に使用される変換行列係数を調節する段階を含むことを特徴とする請求項３２に記載のイメージ補正方法。
34. 前記獲得されたイメージを補正する段階は、前記獲得されたイメージの幾何変換技法のうち遠近変換技法を通じて補正する段階を含むことを特徴とする請求項３２に記載のイメージ補正方法。
35. 前記獲得されたイメージを補正する段階は、前記獲得されたイメージを前記幾何変換技法を通じて補正する場合、補正前イメージで形態と面積が同一であり、上下方向に位置を異にする所定の二つ領域を決めるとき補正後前記二つ領域のうち相対的に下側に設けられた領域の面積が上側に設けられた領域の面積より狭くなるように補正を遂行する段階を含むことを特徴とする請求項３２に記載のイメージ補正方法。
36. 使用者が前記判断された傾き又は前記決定された補正水準を変更して前記補正されたイメージが補正される程度を調整する段階をさらに含むことを特徴とする請求項２３に記載のイメージ補正方法。
37. 前記補正されたイメージが補正される程度を調整する段階は、上記使用者がボタン、タッチパッド、ジョイスティック及び無線リモコンなどのうち少なくとも一つを利用して前記補正されたイメージが補正される程度を調整する段階を含むことを特徴とする請求項３６のイメージ補正方法。
38. 前記獲得されたイメージを補正する段階は、前記補正されたイメージの領域が前記補正されたイメージがディスプレイされるディスプレイ領域より小さいか、或いは位置が一致しなくて前記ディスプレイ領域で見えてやるイメージがない空いていた領域が発生する場合、前記空いていた領域についての処理を遂行する段階を含むことを特徴とする請求項３２に記載のイメージ補正方法。
39. 前記獲得されたイメージを補正する段階は、前記空いていた領域を補正前イメージで当該領域を構成するイメージピクセル値で充填する段階を含むことを特徴とする請求項３８に記載のイメージ補正方法。
40. 前記獲得されたイメージを補正する段階は、前記空いていた領域を前記空いていた領域内の所定ピクセルを基準に同じ行で一番近い位置に存在する補正されたイメージのピクセル値で充填する段階を含むことを特徴とする請求項３８に記載のイメージ補正方法。
41. 前記獲得されたイメージを補正する段階は、前記空いていた領域が覆われるように前記ディスプレイ領域周りにかけて所定フレームをオーバーレイさせる段階を含むことを特徴とする請求項３８に記載のイメージ補正方法。
42. 前記獲得されたイメージを補正する段階は、前記ディスプレイ領域に比べて大きいイメージが獲得された場合、補正を遂行した後、前記ディスプレイ領域に合うように前記補正されたイメージを切断する段階を含むことを特徴とする請求項３８に記載のイメージ補正方法。
43. 前記獲得されたイメージを補正する段階は、前記補正されたイメージで前記空いていた領域を除外した領域を四角形形態で切り出した後、前記ディスプレイ領域を充填できる大きさで拡大処理する段階を含むことを特徴とする請求項３８に記載のイメージ補正方法。
44. 所定機器のメインボディーに動きが可能に設けられるイメージ獲得部；
    水平面についての前記メインボディーの傾きを感知する傾き感知部；
    前記メインボディーの面と前記イメージ獲得部の光軸の間の角度に基づいて前記イメージ獲得部の傾きを判断する傾き判断部；及び
    前記判断された傾きに基づいて前記イメージ獲得部によって獲得されたイメージの歪曲を補正する補正部を含むことを特徴とする画像通話装置。
45. 前記補正部は、前記獲得されたイメージが遠近歪曲を有するかの要否を判断し、前記判断結果によって前記獲得されたイメージを遠近変換技法を使用して補正することを特徴とする請求項４４に記載の画像通話装置。
46. 水平面についてイメージ獲得部が設けられた機器の傾きである第１の傾きを感知する段階；
    前記機器についての前記イメージ獲得部の傾きである第２の傾きを感知する段階；
    前記第１の傾き及び前記第２の傾きに基づいて所定被写体の上側、下側及び正面のうち何れか一つの位置で前記被写体のイメージを獲得する段階；
    前記イメージ獲得部が前記被写体の上側又は下側に設けられるとき前記獲得されたイメージの歪曲を補正する段階を含むことを特徴とするイメージ補正方法。
47. 請求項２３に記載の方法を遂行するためのプログラムが記録されたコンピュータ判読可能なことを特徴とする記録媒体。
48. 請求項４６に記載の方法を遂行するためのプログラムが記録されたコンピュータ判読可能なことを特徴とする記録媒体。

Images