JP2012527139A - 画像加工機能を有するカメラ装置 - Google Patents

Abstract

カメラ装置および対応する方法が提供される。一実施形態におけるカメラ装置は、ジェスチャを判定し、特定されたジェスチャに基づき画像の加工を決定するために、記録された画像を分析する回路を含む。

Description

本発明は、統合された画像加工機能を有するカメラ装置および対応する方法に関する。この点において、「カメラ装置」の用語は、専らカメラ機能を有するもののみならず、他の携帯電子装置に統合されたカメラ装置、例えば、携帯電話、パーソナルデジタルアシスタント、ポータブルゲーム装置あるいはラップトップコンピュータに統合されたカメラ装置を含むものであることを意図している。

近年、デジタル写真がフィルム写真に広くとって代わった。デジタルカメラ装置を用いて撮られた写真、すなわち画像、については例えばコンピュータ上で後処理することができる。このような後処理は、記録された画像のわずかな修正はもちろんのこと、画像が異なる印象となるような大幅な修正や加工を行うことができる。しかし、このような後処理は、コンピュータおよび対応する画像処理ソフトウェアの利用を必要とし、それは必ずしも操作が簡単であるとは限らない。また、特に、携帯電話に統合されたデジタルカメラ装置の利用の増加に伴い、画像を記録した直後に、例えばＳＭＳ、ＭＭＳまたは電子メールによって、例えば友達に画像を送信し、その画像をさらに加工できることが望まれる場合も多い。

一実施形態によれば、少なくとも１つの画像をデジタルで記録するデジタルカメラユニットと、前記記録された少なくとも１つの画像の被写体のジェスチャを判定し、該判定されたジェスチャに応じて写真の加工を決定する分析回路とを有することを特徴とするカメラ装置が提供される。

一実施形態によれば、前記分析回路は、前記決定された加工に応じて、前記少なくとも１つの画像を加工する。

一実施形態によれば、前記カメラユニットは、更に、少なくとも１つの他の画像を記録し、前記分析回路は、更に、前記決定された加工に応じて前記少なくとも１つの他の画像を加工する。

一実施形態によれば、前記カメラ装置は、ユーザ入力装置を更に有し、前記分析回路は、前記ユーザ入力装置から受信した入力に基づいて、前記加工を決定する。

一実施形態によれば、前記分析回路は、選択された画像記録モードに基づいて、前記加工を決定する。

一実施形態によれば、前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含む。

一実施形態によれば、前記記録された画像の一部分は、前記記録された画像の背景、前記記録された画像の被写体の服装部分、および前記記録された画像の枠部分から成る群から選択される部分を含む。

一実施形態によれば、前記加工は、前記画像の一部分を、前記記録された画像の一部分の外観を変えるアルゴリズムにかけることを含む。

一実施形態によれば、前記記録された画像の一部分は、前記画像の被写体の顔部分を含む。

一実施形態によれば、前記アルゴリズムは、モーフィングアルゴリズムおよびぼかしアルゴリズムから成る群から選択されるアルゴリズムを含む。

一実施形態によれば、前記加工は、サイズ変更と中心位置調整とを組み合わせた演算を含む。

一実施形態によれば、前記ジェスチャは、前記記録された画像の被写体の顔の前での手の運動、前記記録された画像の被写体による長方形の描画、前記記録された画像の被写体の頭部の耳を引っ張ること、前記記録された画像の被写体の指でプラス記号を作ること、前記記録された画像の被写体によってなされる敬礼、および前記記録された画像の被写体によってとられる武術のポーズから成る群から選択される。

一実施形態によれば、前記カメラ装置は、携帯電話、ポータブルゲーム装置、パーソナルデジタルアシスタント、スマートフォンおよびラップトップコンピュータから成る群から選択される電子装置の一部分である。

一実施形態によれば、前記分析回路は、前記分析を実行する前に、前記少なくとも１つの画像のコントラストを強調する。

さらなる実施形態によれば、少なくとも１つの画像を記録するステップと、前記少なくとも１つの画像を分析して該少なくとも１つの画像の被写体によってとられるジェスチャを識別するステップと、前記識別されたジェスチャに応じて加工を決定するステップとを有することを特徴とする方法が提供される。

一実施形態によれば、前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含む。

一実施形態によれば、前記加工は、記録された画像の一部分の外観を変えるアルゴリズムを実行することを含む。

一実施形態によれば、方法は、前記分析の前に、前記少なくとも１つの画像のコントラストを強調するステップを更に有する。

一実施形態によれば、方法は、前記加工を、前記少なくとも１つの画像および更に記録された画像から成る群から選択される画像を用いて、前記加工を実行するステップを更に有する。

上述の特徴は、反対のことであると特に断らない限り、互いに自由に組み合わせられてよいことに留意されたい。

一実施形態におけるカメラ装置を示す図。 一実施形態における方法を示す図。 他の実施形態における方法を示す図。 、 、 、 、 、 、 、 、 、 、 、 実施形態の機能を説明するための写真を示す図。

以下、添付の図面を参照しながら本発明の様々な実施形態を詳細に記載する。以下の記載および図面は説明のためにのみ与えられているものであり、限定的な意味で捉えられてはならないことを理解されたい。

図面において、様々な要素は、当業者にそれぞれの実施形態の明確な理解を与えるべく示されており、必ずしも原寸に比例して描かれてはいないことを理解されたい。同様に、異なる図は、同一または類似の要素を示していても、必ずしも互いに一定の縮尺比になっているとは限らない。

図面における構造要素同士またはブロック同士の間に示される結合または接続はいずれも、直接接続、すなわち介在要素のない接続、によって実現されてもよいし、間接接続、すなわち１つ以上の介在要素を介した接続、によって実現されてもよいことに留意されたい。さらに、例示のための機能ブロックは独立したユニットとして示されてもよく、その一方で、反対のことであると特に断らない限り、対応する機能は、共通のユニット、例えば共通の回路またはチップ、内に実装されてもよいことを理解されたい。

複数の特定の要素を含む実施形態の記載は、本発明を実施するためにこれらの要素がすべて必要であることを示していると解釈されてはならないことに留意されたい。それよりむしろ、他の実施形態では、より少ない要素および／または代替の要素が提供されてよい。一方、図面に示されているものに対する追加の要素が存在してもよい。

様々な実施形態の特徴は、反対のことであると特に断らない限り、互いに組み合わせられてよい。

本発明の範囲は、本願明細書において以下に記載されている実施形態に限定されるものではなく、添付の特許請求の範囲およびその均等の範囲によってのみ限定されるものである。

図１に、本発明の実施形態によるカメラ装置１５のブロック図を示す。図１に示されるカメラ装置１５は、専用のデジタルカメラの一部であってよいし、任意の他の電子携帯装置、例えば携帯電話、パーソナルデジタルアシスタント、ポータブルゲーム装置、スマートフォンあるいはラップトップコンピュータ、に組み込まれたものであってもよい。このような装置の、本願明細書において以下に説明する実施形態の機能に直接関連しない構成要素については図示されていないことに留意されたい。例えば、カメラ装置１５が携帯電話の一部である場合には、電話機能の実行に関連する携帯電話のパーツは示されていない。

図１の実施形態のカメラ装置１５は、デジタル写真を撮る、すなわちデジタル画像を記録する、デジタルカメラユニット１０を含む。デジタルカメラユニット１０は、任意の従来の様式で実装されればよく、通常、光を電気信号に変換する画像センサ、例えばＣＣＤセンサ（電荷結合素子（charged-coupled device））またはＣＭＯＳセンサ（相補型金属酸化膜半導体（complementary metal oxide semiconductor））、ならびに光を画像センサ上に集める１つ以上のレンズを含む。画像センサによって記録された画像はメモリ１１内に記憶されうる。メモリ１１としては、フラッシュ型メモリ、ランダムアクセスメモリ、および／または他の種類のメモリで構成され、カメラ装置１５の内蔵メモリとして、取り外し可能なチップカードのメモリとして、またはそれらの組み合わせとして実装されうる。

制御部１２は、例えばマイクロプロセッサを含み、メモリ１１にアクセスし、すなわちメモリ１１に対して読み出しおよび書き込みを行い、デジタルカメラユニット１０を制御することができる。ユーザは、入力部１４を介して入力を行い、制御部１２によって行使される制御に影響を与えることができる。例えば、ユーザは、入力部１４の特定のボタンを押すことによって、制御部１２に、デジタルカメラユニット１０を制御して画像を記録させることができる。他の入力には、画像を記録するための各種設定、例えば露光時間、フラッシュのアクティブ化、絞り、解像度、セルフタイマーのアクティブ化、または特定の画像記録モード、例えば白黒撮影、夜間ショット用の画像モード、のアクティブ化が含まれ、あるいは、以下にいくらかより詳細に説明される、撮影対象の被写体のジェスチャに基づく写真加工のための設定も含まれる。

カメラ装置１５は、メモリ１１内に記憶されている、デジタルカメラ１０によって記録された画像を処理し分析する画像プロセッサ１３を更に含む。対応する画像記録モードにおいて、画像プロセッサ１３は分析のために画像を準備し、それらを分析して撮影対象の被写体、特に人間、の特定の所定のジェスチャを識別することができる。もっとも、実施形態によっては、動物のジェスチャを識別できるようにしてもよい。これらのジェスチャに基づき、特定の画像操作または加工を実行することができる。そのための例は後述する。画像プロセッサ１３は、図１の実施形態における制御部１２によって制御されて、対応する画像記録モードにおける上述の分析および加工を実行する。

図１の実施形態では、分析回路として独立した画像プロセッサ１３が示されているが、一方、他の実施形態では、画像プロセッサ１３の機能が制御部１２によって、例えば制御部１２のマイクロプロセッサを用いることによって、実行されてもよい。

分析されたジェスチャに依存して実行される画像の加工は、実施形態によっては、メモリ１１内に記憶されているテクスチャまたは画像パーツによる、画像パーツの置換を含んでもよいし、あるいはモーフィングアルゴリズムまたはぼかしアルゴリズムのようなアルゴリズムを用いた、写真のパーツの加工を含んでもよい。

実施形態によっては、画像を分析することによってジェスチャが識別された後、他の画像が記録され、この他の画像に対する加工が実行される。図２に、対応する方法の実施形態が示されている。以下、図２を参照しながら記載される方法は、図１を参照しながら説明されているカメラ装置１５に実装されうる。ただし、そうしなければならないというわけではない。

２０において、１つ以上の画像が記録される。単一の画像を用いる場合には、例えば静止したジェスチャが識別されればよく、その一方でさらに、２つ以上の画像を記録し分析することによって、動きのあるジェスチャ、例えば手の動き、を識別するようにしてもよい。２つ以上の画像を記録することは、一般的に画像の高速連続したものである動画を記録することによって実行されてもよいし、または２つ以上の静止画像を記録することによって実行されてもよい。

２１において、２０において記録された１つ以上の画像が分析のために準備される。例えば、ジェスチャの検出を容易にするために画像または画像群のコントラストが強調されてもよい。

２２において、画像または画像群は、ジェスチャを識別するべく分析される。

２３において、識別されたジェスチャに応じて、１つ以上の加工に従って画像が加工されるべきかどうかが決定される。この決定は必ずしも識別されたジェスチャのみに基づく必要はなく、それに加えて、選択された画像記録モードやユーザ入力などの他のファクタに依存してもよい。例えば、ある加工を示すジェスチャが識別された場合、カメラ装置のユーザに、その加工を本当に実行するかどうかを問い合わせるようにしてもよい。

２４において、他の画像が記録され、２５において、該他の画像が、２３において決定された１または２以上の加工に対応して加工される。他の画像は、一部または全部が加工されうる複数の他の画像、例えば動画における各画像、のうちの１つであればよい。

他の実施形態では、分析される画像は、続いて加工される画像と同じである。図３に、このような実施形態に対応する方法の例が示されている。

３０において、少なくとも１つの画像が記録される。３１において、記録された画像は分析のために準備される。これは、現物を保存するために画像の複製を用いて行われればよい。ただし、そうしなければならないというわけではない。分析のための準備は、図２を参照しながら説明されたものと同じく、コントラスト強調を含んでよい。

３２において、画像は、画像の被写体のジェスチャを識別するべく分析される。３３において、判定されたジェスチャに応じて、場合によっては、図２の実施形態と同じく、ユーザ入力のような他のファクタに応じて加工が決定される。３４において、画像は、決定された加工に従って加工される。

図２の２２および図３の３２における画像分析は、皮膚色の認識、被写体の手の指のカウント、パターン認識、ニューラルネットワーク、顔検出アルゴリズムまたは体形識別などの１つ以上のアルゴリズムを実行することを含むことができる。

図２および３の実施形態では、ステップが省略されてもよいし、またはステップの順序が変えられてもよい。例えば、実施形態によっては、分析のための１または２以上の画像の準備が省かれてもよい。他の実施形態では、画像記録モードに基づく加工の決定が省かれてよく、方法を完全に実行するのは、対応する画像記録モードが選択される場合のみにしてもよい。図２の実施形態では、２０で複数の画像が記録される場合、２０から２２までの方法が画像ごとに別々に順々に実行されてもよい。

以下、例えば図２の２２または図３の３２において識別されうる所定のジェスチャならびに続いて実行される加工の例を、図４乃至９を参照しながら説明する。図４乃至７は特に、図２を参照しながら説明されている方法において用いられればよい例を示し、図８および９の例はどちらかといえば図３の方法に関連する。しかし、これらの例のこのような区分化はあくまで１つの可能性をなすものであり、図４乃至７において示されるジェスチャおよび加工が図３の実施形態において用いられてもよいし、図８および９において示されるジェスチャおよび加工が図２の実施形態において用いられてもよい。

図４Ａでは、撮影対象の被写体が自分の顔の前で手を下に動かすジェスチャが示されている。このようなジェスチャは、例えば、図２における２０において、手が異なる位置にある複数の画像を記録し、次に、２２における画像の分析の間に動きを再構築することによって識別されうる。一実施形態では、このようなジェスチャが識別されれば、動きの後、例えばその動きから所定の時間後に、他の画像が記録され、図４Ｂに示されるように、写真上で被写体が容易に識別され得ないように、該他の画像において被写体の頭部が特定され、ぼかされる。

図５Ａおよび５Ｂに、別の例が示されている。図５Ａでは、撮影対象の被写体は２本の指を交差させて十字記号を形作っている。このジェスチャが識別されると、一実施形態では他の画像が記録され、この画像は、図５Ｂに示されるように、被写体が写真の中央で目立つように、中心位置が調整されサイズ変更される。

図６Ａおよび６Ｂに、更に別の例が示されている。図６Ａでは、被写体が自分の手または指でほぼ長方形の枠を描くジェスチャの例が示されている。このようなジェスチャが識別されると、一実施形態では他の画像が記録され、図６Ｂに示されるように画像に枠が追加される。図６Ｂに示される画像の枠部分は、図１のメモリ１１のようなメモリに記憶されている既定の模様であればよい。このような場合には、被写体が枠の中央に配置されるように、画像はさらにサイズ変更および／または中心位置の調整を受けてもよい。

図７に、更に別の例が示されている。既定のジェスチャとして、図７Ａでは、画像の被写体は自分の耳を引っ張る。これは、例えば、図７Ａにおける線によって示されるように腕の特徴的な位置を検出することによって検出されればよい。

このようなジェスチャが識別されると、他の画像が記録され、次に、図７Ｂに示されるように戯画的な画像を提供するべく、被写体の顔がモーフィングアルゴリズムにかけられる。

図８Ａに、更に別の例が示されている。この例では、ジェスチャは軍隊の敬礼である。一実施形態では、このようなジェスチャが識別されると、図８Ｂに示されるように、記録された画像内で人物の衣服が軍服で置換される。別の実施形態では、図８Ｃに示されるように画像の背景が軍隊の背景に変えられる。図８Ｂおよび８Ｃのこれらの２つの可能性は組み合わせられてもよい。すなわち被写体に軍服を着せて、軍隊の背景を挿入してもよい。服装および軍隊の背景のテクスチャはどちらもカメラ装置内に、例えば図１のメモリ１１内に、あらかじめ記憶されていればよい。

図９に、さらにあり得るジェスチャが示されている。図９では、被写体はカンフーのようなポーズをとっている。実施形態では、このようなジェスチャが識別されると、被写体の衣服が武術着で置換され、および／または背景が極東の背景で置換されうる。

図６、８および９の例は、記録された画像の部分が既定のテクスチャ、模様または画像部分で置換される例である。図４および７の例は、アルゴリズム、図示の例ではぼかしアルゴリズムまたはモーフィングアルゴリズム、が写真の一部で実行される場合である。

上述のジェスチャおよび加工はあくまで例の役割を果たしているに過ぎない。さらに、実施形態はこれらのうち可能なものを１つ実装してもよいし、２つ以上実装してもよいし、あるいは、全部を実装してもよい。実施形態によっては、説明されている加工は、対応するジェスチャが検出されるとすぐに全部実行されてもよいし、他の実施形態では、加工を実行する前に撮影者への問い合わせをしてもよい。いくつかの実施形態においてすでに説明されたとおりの、ジェスチャ識別および加工は、カメラ装置が、対応する画像記録モードに設定されるときだけ実行されてもよいが、他の実施形態では、画像記録モードの設定にかかわりなく、いつ実行されてもよい。

以上より分かるように、複数の変形および加工が可能であり、従って、本発明は上述の実施形態によって限定されるものではなく、添付の特許請求の範囲およびその均等物によってのみ限定されることを意図している。

Claims (19)

1. 少なくとも１つの画像をデジタルで記録するデジタルカメラユニットと、
   前記記録された少なくとも１つの画像の被写体のジェスチャを判定し、該判定されたジェスチャに応じて写真の加工を決定する分析回路と、
   を有することを特徴とするカメラ装置。
2. 前記分析回路は、前記決定された加工に応じて、前記少なくとも１つの画像を加工することを特徴とする請求項１に記載のカメラ装置。
3. 前記カメラユニットは、更に、少なくとも１つの他の画像を記録し、
   前記分析回路は、更に、前記決定された加工に応じて前記少なくとも１つの他の画像を加工する
   ことを特徴とする請求項１または２に記載のカメラ装置。
4. ユーザ入力装置を更に有し、
   前記分析回路は、前記ユーザ入力装置から受信した入力に基づいて、前記加工を決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載のカメラ装置。
5. 前記分析回路は、選択された画像記録モードに基づいて、前記加工を決定することを特徴とする請求項１乃至４のいずれか１項に記載のカメラ装置。
6. 前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含むことを特徴とする請求項１乃至５のいずれか１項に記載のカメラ装置。
7. 前記記録された画像の一部分は、前記記録された画像の背景、前記記録された画像の被写体の服装部分、および前記記録された画像の枠部分から成る群から選択される部分を含むことを特徴とする請求項６に記載のカメラ装置。
8. 前記加工は、前記画像の一部分を、前記記録された画像の一部分の外観を変えるアルゴリズムにかけることを含むことを特徴とする請求項１乃至７のいずれか１項に記載のカメラ装置。
9. 前記記録された画像の一部分は、前記画像の被写体の顔部分を含むことを特徴とする請求項８に記載のカメラ装置。
10. 前記アルゴリズムは、モーフィングアルゴリズムおよびぼかしアルゴリズムから成る群から選択されるアルゴリズムを含むことを特徴とする請求項９に記載のカメラ装置。
11. 前記加工は、サイズ変更と中心位置調整とを組み合わせた演算を含むことを特徴とする請求項１乃至１０のいずれか１項に記載のカメラ装置。
12. 前記ジェスチャは、前記記録された画像の被写体の顔の前での手の運動、前記記録された画像の被写体による長方形の描画、前記記録された画像の被写体の頭部の耳を引っ張ること、前記記録された画像の被写体の指でプラス記号を作ること、前記記録された画像の被写体によってなされる敬礼、および前記記録された画像の被写体によってとられる武術のポーズから成る群から選択されることを特徴とする請求項１乃至１１のいずれか１項に記載のカメラ装置。
13. 前記カメラ装置は、携帯電話、ポータブルゲーム装置、パーソナルデジタルアシスタント、スマートフォンおよびラップトップコンピュータから成る群から選択される電子装置の一部分であることを特徴とする請求項１乃至１２のいずれか１項に記載のカメラ装置。
14. 前記分析回路は、前記分析を実行する前に、前記少なくとも１つの画像のコントラストを強調することを特徴とする請求項１乃至１３のいずれか１項に記載のカメラ装置。
15. 少なくとも１つの画像を記録するステップと、
    前記少なくとも１つの画像を分析して該少なくとも１つの画像の被写体によってとられるジェスチャを識別するステップと、
    前記識別されたジェスチャに応じて加工を決定するステップと、
    を有することを特徴とする方法。
16. 前記加工は、記録された画像の一部分を、あらかじめ記憶されている画像素材に基づく部分で置換することを含むことを特徴とする請求項１５に記載の方法。
17. 前記加工は、記録された画像の一部分の外観を変えるアルゴリズムを実行することを含むことを特徴とする請求項１５または１６に記載の方法。
18. 前記分析の前に、前記少なくとも１つの画像のコントラストを強調するステップを更に有することを特徴とする請求項１５乃至１７のいずれか１項に記載の方法。
19. 前記加工を、前記少なくとも１つの画像および更に記録された画像から成る群から選択される画像を用いて、前記加工を実行するステップを更に有することを特徴とする請求項１５乃至１８のいずれか１項に記載の方法。