JP2005031745A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2005031745A JP2005031745A JP2003192964A JP2003192964A JP2005031745A JP 2005031745 A JP2005031745 A JP 2005031745A JP 2003192964 A JP2003192964 A JP 2003192964A JP 2003192964 A JP2003192964 A JP 2003192964A JP 2005031745 A JP2005031745 A JP 2005031745A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- image processing
- imaging
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】撮像時における画像の仮想三次元物体に対する貼り付け後の画面イメージが把握できないという問題の解決や、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、手間が掛かるという問題を解決する。
【解決手段】画像処理装置であるカメラ付き携帯電話機１０は、撮像中の画像と予めメモリ部１４（画像記憶手段）に記憶されたキャラクタ２８の特徴位置（例えば、顔など）に対応した透過領域２７ａを備えるフレーム用画像２７とを、合成してプレビュー表示する表示部１６（表示手段）と、表示部１６にプレビュー表示された画像を撮像する撮像部１２（撮像手段）と、撮像部１２により撮像された画像情報をキャラクタ２８の特徴位置に貼り付けるＣＰＵ１３（画像処理手段）と、を有する。
【選択図】 図１
【解決手段】画像処理装置であるカメラ付き携帯電話機１０は、撮像中の画像と予めメモリ部１４（画像記憶手段）に記憶されたキャラクタ２８の特徴位置（例えば、顔など）に対応した透過領域２７ａを備えるフレーム用画像２７とを、合成してプレビュー表示する表示部１６（表示手段）と、表示部１６にプレビュー表示された画像を撮像する撮像部１２（撮像手段）と、撮像部１２により撮像された画像情報をキャラクタ２８の特徴位置に貼り付けるＣＰＵ１３（画像処理手段）と、を有する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
従来の画像処理装置として、撮像装置で撮像した画像を仮想空間内の仮想三次元物体に貼り付けるものがある。これによれば、画像情報を画像取り込み手段により取り込み、この取り込んだ画像情報から、仮想三次元物体の特徴位置に対応して設けられたゲージを備えている切り抜き範囲指定用の枠を使って、画像切り出し手段により所定範囲の画像情報を切り出すようにしている。また、このように切り出した所定範囲の画像情報を、仮想三次元物体に貼り付けている（例えば、特許文献１参照）。
【０００３】
この画像処理装置では、事前に撮像して取り込んだ二次元画像上にフレーム用の前記枠を表示して、この枠をユーザーに移動、拡大等させて切り出し位置を決定した後、画像上の一部を切り出し、仮想三次元物体上に貼り付けるという作業が必要となる。
【０００４】
【特許文献１】
特開２０００−２３５６５６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置にあっては、撮像装置による撮像時点においては、撮像した画像を仮想三次元物体に貼り付けた後の画像イメージが掴みずらく、期待通りの合成画像が得られない場合があるという問題があった。
また、撮像した画像に対して、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、この作業に手間が掛かるという問題もがあった。
【０００６】
本発明が解決しようとする課題としては、前記撮像時における画像の仮想三次元物体に対する貼り付け後の画面イメージが把握できないという問題の解決や、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、手間が掛かるという問題の解決などがそれぞれ一例として挙げられる。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、撮像中の画像と予め画像記憶手段に記憶されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示手段と、前記表示手段にプレビュー表示された画像を撮像する撮像手段と、前記撮像手段により撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理手段と、を有することを特徴とする。
【０００８】
請求項５に記載の画像処理方法は、撮像中の画像と予め画像記憶手段に入力されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示ステップと、前記表示手段にプレビュー表示された画像を撮像する撮像ステップと、前記撮像手段により撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理ステップと、を含むことを特徴とする。
【０００９】
請求項６に記載の画像処理プログラムは、コンピュータに、撮像中の画像と予め画像記憶手段に入力されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示機能と、プレビュー表示された画像を撮像する撮像機能と、撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理機能と、を実現させることを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムは、例えば、カメラ付き携帯電話機に使用される。図１は、本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用した一例であるカメラ付き携帯電話機の構成を示すブロック図である。
図１に示すように、カメラ付き携帯電話機１０は、データバス１１を介して、撮像部１２、ＣＰＵ１３、メモリ部１４、キー入力部１５および表示部１６を接続して構成される。
【００１１】
撮像部１２は、撮像手段として機能し、被写体の像を受光面に結像させて光電変換し、画像データとして出力する。この撮像部１２には、例えば、図示しないストロボ装置、被写体を受光面に合焦させるフォーカス調光手段、ズーム調節手段、絞り調節手段等を設けてもよい。
【００１２】
ＣＰＵ１３は、カメラ付き携帯電話機１０全体の動作を統括制御する情報処理手段および画像処理手段として機能する。このＣＰＵ１３は撮像部１２で得られた画像情報を切り出してキャラクタ登録部がある後述のメモリに送ったり、画像をキャラクタ（物体）に貼り付ける制御のほか、画像データのサンプリングタイミング制御、ストロボ装置の制御、露光制御、フォーカス制御、ズーム制御、画像データの記録制御、通信制御、表示制御、画像データの各種変換処理などの制御を行う。
【００１３】
メモリ部１４は、キャラクタの仮想三次元形状データのほか、キャラクタの頂点情報、ポリゴン構成情報、テクスチャ座標情報、変形用重み付け情報などの画像情報を記憶する画像記憶手段として機能する。
また、このメモリ部１４は、前記各情報とともに携帯電話機の動作プログラム、画像処理プログラム、各種定数、撮像条件を示すパラメータ、画像の性質を示すパラメータ等が記録されたＲＯＭや、プログラム実行時の作業領域となるＲＡＭなどから構成されている。
【００１４】
また、キー入力部１５は、データキーや制御キーを含み、それぞれ対応するデータの入力や撮像部１２の撮像に使われるレリーズキー（撮像時にシャッターを切るためのボタン）などの用途に用いられる。
表示部１６は各種のテキストデータのほか、画像データを表示する表示手段として機能し、例えば、液晶ディスプレイや有機ＥＬディスプレイ等からなる。
通信部１７は、通信・通話情報や前記画像情報等を携帯電話通信網を介して送受信する。
【００１５】
次に、本実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用するカメラ付き携帯電話機１０の外観の一例を挙げ、図２を用いて説明する。
図２は、カメラ付き携帯電話機の正面図である。このカメラ付き携帯電話機１０は外装体が縦長の箱体からなり、正面には液晶ディスプレイや有機ＥＬ表示パネルなどからなる表示部１６が設けられている。
【００１６】
この表示部１６の上方にはカメラ付き携帯電話機１０の受話部となるスピーカ１８が配置され、一方、表示部１６の下方には撮像部１２の撮像レンズ１９が配置されている。また、外装体の上面には通信部１７のアンテナ２３が突設されている。
【００１７】
さらに、撮像レンズ１９の下部には、レリーズキー２１やカーソル移動キー２２等を含む各種の機能を選択するための制御キー群２４およびダイヤルボタンを含むデータキー群２５が配置されている。
さらに、データキー群２５の下部にはマイク２６が配置されている。これらのデータキー群２５および制御キー群２４の各キーはキー入力部１５に設けられている。
【００１８】
次に、本実施の形態に係る画像処理装置の処理方法について、図面を用いて説明する。
最初に、撮像画像の取り込みからテクスチャ化までの処理手順を図３のフローチャートに沿って、図４、図５を用いて説明する。
【００１９】
まず、図４に示すような、予めガイドとなるフレーム用画像２７を用意する（ステップＳ１）。このフレーム用画像２７は、撮像部１２でのプレビュー画像表示時に、撮像画像が透過して表示される透過領域２７ａが設定されている。そして、撮像画像が貼り付けられた時のイメージができるだけ分かり易いようなデザインに設定されている。なお、このフレーム用画像２７のデータは、メモリ部１４内の所定領域に予め登録してある。
【００２０】
次に、撮像機能を開始すると（ステップＳ２）、撮像部１２は撮像レンズ１９を通してプレビュー用の画像（例えば、ユーザー自身の顔）を取り込む（ステップＳ３）。
【００２１】
この取り込んだプレビュー用の画像に、ステップＳ１で得たフレーム用画像２７を透過領域２７ａを除いて合成する（ステップＳ４）。この合成した画像を表示部１６で表示する（ステップＳ５）。
【００２２】
そして、ユーザーは図５に示すように、カメラ付き携帯電話機１０を持ちながら表示部１６の表示画像を見て、フレーム用画像２７の透過領域２７ａにユーザー自身の顔が入るように位置関係を調整しながら、カーソル移動キー２２を操作してズームや位置の微調整を行う。
【００２３】
次に、ユーザーが撮影の決断を下してレリーズキー２１を押したかどうかを判断し、押されていない場合にはステップＳ３以降の処理を繰り返す。これにより、リアルタイムでの撮像時の前記位置関係の調整を行える。
【００２４】
こうして最終的に決断した瞬間の画像をフレーム用画像２７と合成した状態で、汎用的な画像情報としてエンコードする（ステップＳ７）。
【００２５】
ここで、ステップＳ７で生成された画像情報と、テクスチャとして扱えるデータのフォーマットが異なる場合は、テクスチャ用のフォーマットに変換する（ステップＳ８）。こうして、テクスチャ化された写真画像が得られる。
【００２６】
続いて、写真画像テクスチャをキャラクタの特徴位置（例えば、顔）に貼り付けて表示するまでの処理手順を図６のフローーチャートに沿って、図７〜図１１を用いて説明する。
まず、図７に示すような、メモリ部１４に予め登録してあるキャラクタ２８の仮想三次元形状データ（例えば、ぬいぐるみ全身）を読み込む（ステップＳ１１）。
【００２７】
次に、キャラクタ２８の仮想三次元モーションデータを動画形成のための連続画データとして読み込む（ステップＳ１２）。
【００２８】
次に、図８に示すキャラクタ２８の仮想三次元テクスチャデータ２８Ａ（例えば、ぬいぐるみの顔を抜いた全身）を読み込む（ステップＳ１３）。
【００２９】
ここで云う、仮想三次元テクスチャデータ２８Ａとは、撮像画像テクスチャデータ（例えば、ユーザーの顔）の貼り付けによって置き換えられることがないテクスチャ（例えば、顔のないぬいぐるみ全身）を指す。ここで、図６のフローチャートで説明したような手順によって作成された撮像画像テクスチャデータの有無を判定する（ステップＳ１４）。
【００３０】
この判定で、撮像画像テクスチャデータが存在しない場合には、図９に示すような、キャラクタ２８の仮想三次元テクスチャデータ２８Ｂ（例えば、ぬいぐるみの顔）を読み込む（ステップＳ１５）。
【００３１】
ここで云う、キャラクタの仮想三次元テクスチャデータ２８Ｂとは、撮像画像テクスチャ（例えば、ユーザーの顔）の貼り付けによって置き換えられるテクスチャを指す。画像の撮影前やユーザーが撮像データを削除した場合にデフォルトの画像として貼り付けられるものである。
【００３２】
一方、撮像画像テクスチャデータがある場合は、図１０に示すような、撮像画像テクスチャデータ２９を読み込む（ステップＳ１６）。
【００３３】
キャラクタデータ作成時は、キャラクタ２８の仮想三次元テクスチャデータ２８Ｂの画像を貼り付けることを前提としてテクスチャ座標設定がなされているが、この仮想三次元テクスチャデータ２８Ｂとフレーム用画像２７に合わせて撮影された画像データのテクスチャ座標関係を事前に一致させておくことで、撮影後の位置調整等を必要とせずに、画像を置き換えるだけで適切な位置に撮像画像を貼り付けることができる。
【００３４】
こうして、図１１に示すように、仮想三次元テクスチャデータ２８Ａに撮像画像テクスチャデータ２９を貼り付けた画像（例えば、ユーザーの顔を貼り付けたぬいぐるみ）ができあがる。
【００３５】
さらに、図１２に示すようなキャラクタ２８の仮想三次元ワイヤーフレームに対して、３Ｄポリゴン表示やテクスチャマッピングの技術等を用いて、三次元シミュレーションを行えば、仮想三次元キャラクタ動画（例えば、ユーザーの顔を貼り付けたぬいぐるみが踊る動画など）を生成することができる（ステップＳ１７）。
【００３６】
最後に、こうして生成された仮想三次元キャラクタ動画は、表示部１６に表示される（ステップＳ１８）。
【００３７】
なお、前述のプレビュー時に撮像画像にフレーム用画像２７を合成するとき（ステップＳ４）、フレーム用画像２７は貼り付け位置設定用のガイドとしての役割を持つが、貼り付け時の特殊効果的な使い方もできる。
例えば、予めメモリ部１４に保存された画像データなどを使用して、枠として表わされる眼鏡の縁の画像や赤い鼻などの画像を合成して（例えば、ユーザーの顔に眼鏡や赤い鼻が合成される）、キャラクタ２８に貼り付けることができる。
【００３８】
また、撮像する際には、取り込んだ画像とフレーム用画像とを必ずしも合成しなくてもよく、これにより、撮像位置の目安としてのみ書き込んだ画像などにより、取り込んだ画像が上書きされてしまうことを防ぐことができる。
例えば、ユーザーの顔を撮る際に、目や口の撮像位置の目安となるマーク等を書き込んだ画像をフレームとして使用した場合、そのまま合成してしまうと、顔の上に上記マーク等が上書きされ、貼り付けに使用するには適さない画像になってしまう。合成しなければこのような問題は発生しないため、撮像に際してより細かなガイド機能を持つ（例えば、撮像位置の目安となるマーク等を書き込んだ）フレーム用画像が使用できる。
【００３９】
なお、本実施の形態では、仮想三次元キャラクタ動画を表示部１６に表示させるようにしているが、写真画像テクスチャをキャラクタに貼り付けて表示する画像は、二次元の動画や静止画でもよい。
【００４０】
なお、上記の仮想三次元キャラクタ動画や二次元の動画、静止画などは、必ずしも表示部１６に表示させる必要はなく、それらのデータを他の携帯電話機や端末等に無線あるいは有線で送信してもよい。
【００４１】
また、前述の実施の形態では、本発明に係る画像処理装置、画像処理方法および画像処理プログラムがカメラ付き携帯電話機に使用された例について述べたが、携帯情報端末（ＰＤＡ）やパーソナルコンピュータ（ＰＣ）、及びデジタルカメラなどでも使用できるものである。
【００４２】
以上詳述したように、本実施の形態における画像処理装置であるカメラ付き携帯電話機１０は、撮像中の画像と予めメモリ部１４（画像記憶手段）に記憶されたキャラクタ２８の特徴位置（例えば、顔など）に対応した透過領域２７ａを備えるフレーム用画像２７とを、合成してプレビュー表示する表示部１６（表示手段）と、表示部１６にプレビュー表示された画像を撮像する撮像部１２（撮像手段）と、撮像部１２により撮像された画像情報をキャラクタ２８の特徴位置に貼り付けるＣＰＵ１３（画像処理手段）と、を有している。
これにより、ユーザーは撮影時に、キャラクタ２８に対する撮像画像の貼り付け位置を簡単に掴むことができ、位置が適正となったタイミングにてレリーズキー２１を押すだけで、最適の合成画像が得られる。
また、この撮像した画像に対して、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要が無く、手間を掛けずにキャラクタ２８に貼り付けることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用した一例であるカメラ付き携帯電話機の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用した一例であるカメラ付き携帯電話機を示す正面図である。
【図３】本発明の実施の形態に係る画像処理方法の撮像画像の取り込みからテクスチャ化までの処理手順を示すフローチャートである。
【図４】フレーム用画像を示す図である。
【図５】ユーザーがカメラ付き携帯電話機を持ちながら撮像画像の取り込みを行っていることを示す説明図である。
【図６】写真画像テクスチャをキャラクタの特徴位置に貼り付けて表示するまでの処理手順を示すフローーチャートである。
【図７】予め登録してあるキャラクタ２８を示す図である。
【図８】キャラクタの仮想三次元テクスチャデータ２８Ａ（例えば、ぬいぐるみの顔を抜いた全身）を示す図である。
【図９】キャラクタの仮想三次元テクスチャデータ２８Ｂ（例えば、ぬいぐるみの顔）を示す図である。
【図１０】撮像画像テクスチャデータ２９を（例えば、ユーザーの顔）を示す図である。
【図１１】仮想三次元テクスチャデータ２８Ａに撮像画像テクスチャデータ２９を貼り付けた画像（例えば、ユーザーの顔を貼り付けたぬいぐるみ）を示す図である。
【図１２】キャラクタの仮想三次元ワイヤーフレームを示す図である。
【符号の説明】
１０ 携帯電話機（画像処理装置）
１２ 撮像部（撮像手段）
１３ ＣＰＵ（画像処理手段）
１４ メモリ部（画像記憶手段）
１６ 表示部（表示手段）
２７ フレーム用画像
２７ａ 透過領域
２８ キャラクタ
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
従来の画像処理装置として、撮像装置で撮像した画像を仮想空間内の仮想三次元物体に貼り付けるものがある。これによれば、画像情報を画像取り込み手段により取り込み、この取り込んだ画像情報から、仮想三次元物体の特徴位置に対応して設けられたゲージを備えている切り抜き範囲指定用の枠を使って、画像切り出し手段により所定範囲の画像情報を切り出すようにしている。また、このように切り出した所定範囲の画像情報を、仮想三次元物体に貼り付けている（例えば、特許文献１参照）。
【０００３】
この画像処理装置では、事前に撮像して取り込んだ二次元画像上にフレーム用の前記枠を表示して、この枠をユーザーに移動、拡大等させて切り出し位置を決定した後、画像上の一部を切り出し、仮想三次元物体上に貼り付けるという作業が必要となる。
【０００４】
【特許文献１】
特開２０００−２３５６５６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置にあっては、撮像装置による撮像時点においては、撮像した画像を仮想三次元物体に貼り付けた後の画像イメージが掴みずらく、期待通りの合成画像が得られない場合があるという問題があった。
また、撮像した画像に対して、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、この作業に手間が掛かるという問題もがあった。
【０００６】
本発明が解決しようとする課題としては、前記撮像時における画像の仮想三次元物体に対する貼り付け後の画面イメージが把握できないという問題の解決や、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、手間が掛かるという問題の解決などがそれぞれ一例として挙げられる。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、撮像中の画像と予め画像記憶手段に記憶されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示手段と、前記表示手段にプレビュー表示された画像を撮像する撮像手段と、前記撮像手段により撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理手段と、を有することを特徴とする。
【０００８】
請求項５に記載の画像処理方法は、撮像中の画像と予め画像記憶手段に入力されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示ステップと、前記表示手段にプレビュー表示された画像を撮像する撮像ステップと、前記撮像手段により撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理ステップと、を含むことを特徴とする。
【０００９】
請求項６に記載の画像処理プログラムは、コンピュータに、撮像中の画像と予め画像記憶手段に入力されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示機能と、プレビュー表示された画像を撮像する撮像機能と、撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理機能と、を実現させることを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムは、例えば、カメラ付き携帯電話機に使用される。図１は、本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用した一例であるカメラ付き携帯電話機の構成を示すブロック図である。
図１に示すように、カメラ付き携帯電話機１０は、データバス１１を介して、撮像部１２、ＣＰＵ１３、メモリ部１４、キー入力部１５および表示部１６を接続して構成される。
【００１１】
撮像部１２は、撮像手段として機能し、被写体の像を受光面に結像させて光電変換し、画像データとして出力する。この撮像部１２には、例えば、図示しないストロボ装置、被写体を受光面に合焦させるフォーカス調光手段、ズーム調節手段、絞り調節手段等を設けてもよい。
【００１２】
ＣＰＵ１３は、カメラ付き携帯電話機１０全体の動作を統括制御する情報処理手段および画像処理手段として機能する。このＣＰＵ１３は撮像部１２で得られた画像情報を切り出してキャラクタ登録部がある後述のメモリに送ったり、画像をキャラクタ（物体）に貼り付ける制御のほか、画像データのサンプリングタイミング制御、ストロボ装置の制御、露光制御、フォーカス制御、ズーム制御、画像データの記録制御、通信制御、表示制御、画像データの各種変換処理などの制御を行う。
【００１３】
メモリ部１４は、キャラクタの仮想三次元形状データのほか、キャラクタの頂点情報、ポリゴン構成情報、テクスチャ座標情報、変形用重み付け情報などの画像情報を記憶する画像記憶手段として機能する。
また、このメモリ部１４は、前記各情報とともに携帯電話機の動作プログラム、画像処理プログラム、各種定数、撮像条件を示すパラメータ、画像の性質を示すパラメータ等が記録されたＲＯＭや、プログラム実行時の作業領域となるＲＡＭなどから構成されている。
【００１４】
また、キー入力部１５は、データキーや制御キーを含み、それぞれ対応するデータの入力や撮像部１２の撮像に使われるレリーズキー（撮像時にシャッターを切るためのボタン）などの用途に用いられる。
表示部１６は各種のテキストデータのほか、画像データを表示する表示手段として機能し、例えば、液晶ディスプレイや有機ＥＬディスプレイ等からなる。
通信部１７は、通信・通話情報や前記画像情報等を携帯電話通信網を介して送受信する。
【００１５】
次に、本実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用するカメラ付き携帯電話機１０の外観の一例を挙げ、図２を用いて説明する。
図２は、カメラ付き携帯電話機の正面図である。このカメラ付き携帯電話機１０は外装体が縦長の箱体からなり、正面には液晶ディスプレイや有機ＥＬ表示パネルなどからなる表示部１６が設けられている。
【００１６】
この表示部１６の上方にはカメラ付き携帯電話機１０の受話部となるスピーカ１８が配置され、一方、表示部１６の下方には撮像部１２の撮像レンズ１９が配置されている。また、外装体の上面には通信部１７のアンテナ２３が突設されている。
【００１７】
さらに、撮像レンズ１９の下部には、レリーズキー２１やカーソル移動キー２２等を含む各種の機能を選択するための制御キー群２４およびダイヤルボタンを含むデータキー群２５が配置されている。
さらに、データキー群２５の下部にはマイク２６が配置されている。これらのデータキー群２５および制御キー群２４の各キーはキー入力部１５に設けられている。
【００１８】
次に、本実施の形態に係る画像処理装置の処理方法について、図面を用いて説明する。
最初に、撮像画像の取り込みからテクスチャ化までの処理手順を図３のフローチャートに沿って、図４、図５を用いて説明する。
【００１９】
まず、図４に示すような、予めガイドとなるフレーム用画像２７を用意する（ステップＳ１）。このフレーム用画像２７は、撮像部１２でのプレビュー画像表示時に、撮像画像が透過して表示される透過領域２７ａが設定されている。そして、撮像画像が貼り付けられた時のイメージができるだけ分かり易いようなデザインに設定されている。なお、このフレーム用画像２７のデータは、メモリ部１４内の所定領域に予め登録してある。
【００２０】
次に、撮像機能を開始すると（ステップＳ２）、撮像部１２は撮像レンズ１９を通してプレビュー用の画像（例えば、ユーザー自身の顔）を取り込む（ステップＳ３）。
【００２１】
この取り込んだプレビュー用の画像に、ステップＳ１で得たフレーム用画像２７を透過領域２７ａを除いて合成する（ステップＳ４）。この合成した画像を表示部１６で表示する（ステップＳ５）。
【００２２】
そして、ユーザーは図５に示すように、カメラ付き携帯電話機１０を持ちながら表示部１６の表示画像を見て、フレーム用画像２７の透過領域２７ａにユーザー自身の顔が入るように位置関係を調整しながら、カーソル移動キー２２を操作してズームや位置の微調整を行う。
【００２３】
次に、ユーザーが撮影の決断を下してレリーズキー２１を押したかどうかを判断し、押されていない場合にはステップＳ３以降の処理を繰り返す。これにより、リアルタイムでの撮像時の前記位置関係の調整を行える。
【００２４】
こうして最終的に決断した瞬間の画像をフレーム用画像２７と合成した状態で、汎用的な画像情報としてエンコードする（ステップＳ７）。
【００２５】
ここで、ステップＳ７で生成された画像情報と、テクスチャとして扱えるデータのフォーマットが異なる場合は、テクスチャ用のフォーマットに変換する（ステップＳ８）。こうして、テクスチャ化された写真画像が得られる。
【００２６】
続いて、写真画像テクスチャをキャラクタの特徴位置（例えば、顔）に貼り付けて表示するまでの処理手順を図６のフローーチャートに沿って、図７〜図１１を用いて説明する。
まず、図７に示すような、メモリ部１４に予め登録してあるキャラクタ２８の仮想三次元形状データ（例えば、ぬいぐるみ全身）を読み込む（ステップＳ１１）。
【００２７】
次に、キャラクタ２８の仮想三次元モーションデータを動画形成のための連続画データとして読み込む（ステップＳ１２）。
【００２８】
次に、図８に示すキャラクタ２８の仮想三次元テクスチャデータ２８Ａ（例えば、ぬいぐるみの顔を抜いた全身）を読み込む（ステップＳ１３）。
【００２９】
ここで云う、仮想三次元テクスチャデータ２８Ａとは、撮像画像テクスチャデータ（例えば、ユーザーの顔）の貼り付けによって置き換えられることがないテクスチャ（例えば、顔のないぬいぐるみ全身）を指す。ここで、図６のフローチャートで説明したような手順によって作成された撮像画像テクスチャデータの有無を判定する（ステップＳ１４）。
【００３０】
この判定で、撮像画像テクスチャデータが存在しない場合には、図９に示すような、キャラクタ２８の仮想三次元テクスチャデータ２８Ｂ（例えば、ぬいぐるみの顔）を読み込む（ステップＳ１５）。
【００３１】
ここで云う、キャラクタの仮想三次元テクスチャデータ２８Ｂとは、撮像画像テクスチャ（例えば、ユーザーの顔）の貼り付けによって置き換えられるテクスチャを指す。画像の撮影前やユーザーが撮像データを削除した場合にデフォルトの画像として貼り付けられるものである。
【００３２】
一方、撮像画像テクスチャデータがある場合は、図１０に示すような、撮像画像テクスチャデータ２９を読み込む（ステップＳ１６）。
【００３３】
キャラクタデータ作成時は、キャラクタ２８の仮想三次元テクスチャデータ２８Ｂの画像を貼り付けることを前提としてテクスチャ座標設定がなされているが、この仮想三次元テクスチャデータ２８Ｂとフレーム用画像２７に合わせて撮影された画像データのテクスチャ座標関係を事前に一致させておくことで、撮影後の位置調整等を必要とせずに、画像を置き換えるだけで適切な位置に撮像画像を貼り付けることができる。
【００３４】
こうして、図１１に示すように、仮想三次元テクスチャデータ２８Ａに撮像画像テクスチャデータ２９を貼り付けた画像（例えば、ユーザーの顔を貼り付けたぬいぐるみ）ができあがる。
【００３５】
さらに、図１２に示すようなキャラクタ２８の仮想三次元ワイヤーフレームに対して、３Ｄポリゴン表示やテクスチャマッピングの技術等を用いて、三次元シミュレーションを行えば、仮想三次元キャラクタ動画（例えば、ユーザーの顔を貼り付けたぬいぐるみが踊る動画など）を生成することができる（ステップＳ１７）。
【００３６】
最後に、こうして生成された仮想三次元キャラクタ動画は、表示部１６に表示される（ステップＳ１８）。
【００３７】
なお、前述のプレビュー時に撮像画像にフレーム用画像２７を合成するとき（ステップＳ４）、フレーム用画像２７は貼り付け位置設定用のガイドとしての役割を持つが、貼り付け時の特殊効果的な使い方もできる。
例えば、予めメモリ部１４に保存された画像データなどを使用して、枠として表わされる眼鏡の縁の画像や赤い鼻などの画像を合成して（例えば、ユーザーの顔に眼鏡や赤い鼻が合成される）、キャラクタ２８に貼り付けることができる。
【００３８】
また、撮像する際には、取り込んだ画像とフレーム用画像とを必ずしも合成しなくてもよく、これにより、撮像位置の目安としてのみ書き込んだ画像などにより、取り込んだ画像が上書きされてしまうことを防ぐことができる。
例えば、ユーザーの顔を撮る際に、目や口の撮像位置の目安となるマーク等を書き込んだ画像をフレームとして使用した場合、そのまま合成してしまうと、顔の上に上記マーク等が上書きされ、貼り付けに使用するには適さない画像になってしまう。合成しなければこのような問題は発生しないため、撮像に際してより細かなガイド機能を持つ（例えば、撮像位置の目安となるマーク等を書き込んだ）フレーム用画像が使用できる。
【００３９】
なお、本実施の形態では、仮想三次元キャラクタ動画を表示部１６に表示させるようにしているが、写真画像テクスチャをキャラクタに貼り付けて表示する画像は、二次元の動画や静止画でもよい。
【００４０】
なお、上記の仮想三次元キャラクタ動画や二次元の動画、静止画などは、必ずしも表示部１６に表示させる必要はなく、それらのデータを他の携帯電話機や端末等に無線あるいは有線で送信してもよい。
【００４１】
また、前述の実施の形態では、本発明に係る画像処理装置、画像処理方法および画像処理プログラムがカメラ付き携帯電話機に使用された例について述べたが、携帯情報端末（ＰＤＡ）やパーソナルコンピュータ（ＰＣ）、及びデジタルカメラなどでも使用できるものである。
【００４２】
以上詳述したように、本実施の形態における画像処理装置であるカメラ付き携帯電話機１０は、撮像中の画像と予めメモリ部１４（画像記憶手段）に記憶されたキャラクタ２８の特徴位置（例えば、顔など）に対応した透過領域２７ａを備えるフレーム用画像２７とを、合成してプレビュー表示する表示部１６（表示手段）と、表示部１６にプレビュー表示された画像を撮像する撮像部１２（撮像手段）と、撮像部１２により撮像された画像情報をキャラクタ２８の特徴位置に貼り付けるＣＰＵ１３（画像処理手段）と、を有している。
これにより、ユーザーは撮影時に、キャラクタ２８に対する撮像画像の貼り付け位置を簡単に掴むことができ、位置が適正となったタイミングにてレリーズキー２１を押すだけで、最適の合成画像が得られる。
また、この撮像した画像に対して、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要が無く、手間を掛けずにキャラクタ２８に貼り付けることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用した一例であるカメラ付き携帯電話機の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムを使用した一例であるカメラ付き携帯電話機を示す正面図である。
【図３】本発明の実施の形態に係る画像処理方法の撮像画像の取り込みからテクスチャ化までの処理手順を示すフローチャートである。
【図４】フレーム用画像を示す図である。
【図５】ユーザーがカメラ付き携帯電話機を持ちながら撮像画像の取り込みを行っていることを示す説明図である。
【図６】写真画像テクスチャをキャラクタの特徴位置に貼り付けて表示するまでの処理手順を示すフローーチャートである。
【図７】予め登録してあるキャラクタ２８を示す図である。
【図８】キャラクタの仮想三次元テクスチャデータ２８Ａ（例えば、ぬいぐるみの顔を抜いた全身）を示す図である。
【図９】キャラクタの仮想三次元テクスチャデータ２８Ｂ（例えば、ぬいぐるみの顔）を示す図である。
【図１０】撮像画像テクスチャデータ２９を（例えば、ユーザーの顔）を示す図である。
【図１１】仮想三次元テクスチャデータ２８Ａに撮像画像テクスチャデータ２９を貼り付けた画像（例えば、ユーザーの顔を貼り付けたぬいぐるみ）を示す図である。
【図１２】キャラクタの仮想三次元ワイヤーフレームを示す図である。
【符号の説明】
１０ 携帯電話機（画像処理装置）
１２ 撮像部（撮像手段）
１３ ＣＰＵ（画像処理手段）
１４ メモリ部（画像記憶手段）
１６ 表示部（表示手段）
２７ フレーム用画像
２７ａ 透過領域
２８ キャラクタ
Claims (6)
- 撮像中の画像と予め画像記憶手段に記憶されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示手段と、
前記表示手段にプレビュー表示された画像を撮像する撮像手段と、
前記撮像手段により撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理手段と、を有することを特徴とする画像処理装置。 - 前記フレーム用画像の一部が、撮像された前記画像情報に合成されることを特徴とする請求項１に記載の画像処理装置。
- 前記フレーム用画像は、撮像位置の目安となるマークを備え、該マークは撮像された前記画像情報に合成されないことを特徴とする請求項１に記載の画像処理装置。
- 前記キャラクタは仮想三次元キャラクタであり、前記画像処理手段が、仮想三次元キャラクタ動画を生成することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
- 撮像中の画像と予め画像記憶手段に入力されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示ステップと、
前記表示手段にプレビュー表示された画像を撮像する撮像ステップと、
前記撮像手段により撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理ステップと、を含むことを特徴とする画像処理方法。 - コンピュータに、撮像中の画像と予め画像記憶手段に入力されたキャラクタの特徴位置に対応した透過領域を備えるフレーム用画像とを、合成してプレビュー表示する表示機能と、プレビュー表示された画像を撮像する撮像機能と、撮像された画像情報を前記キャラクタの特徴位置に貼り付ける画像処理機能と、を実現させることを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003192964A JP4603249B2 (ja) | 2003-07-07 | 2003-07-07 | カメラ付き携帯電話機における画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003192964A JP4603249B2 (ja) | 2003-07-07 | 2003-07-07 | カメラ付き携帯電話機における画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005031745A true JP2005031745A (ja) | 2005-02-03 |
| JP4603249B2 JP4603249B2 (ja) | 2010-12-22 |
Family
ID=34204602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003192964A Expired - Fee Related JP4603249B2 (ja) | 2003-07-07 | 2003-07-07 | カメラ付き携帯電話機における画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4603249B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020107160A (ja) * | 2018-12-28 | 2020-07-09 | 株式会社イトーキ | 仮想空間提供システム、仮想空間提供方法及びプログラム |
| JP7214926B1 (ja) | 2019-12-18 | 2023-01-30 | 北京字節跳動網絡技術有限公司 | 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 |
-
2003
- 2003-07-07 JP JP2003192964A patent/JP4603249B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020107160A (ja) * | 2018-12-28 | 2020-07-09 | 株式会社イトーキ | 仮想空間提供システム、仮想空間提供方法及びプログラム |
| JP7312550B2 (ja) | 2018-12-28 | 2023-07-21 | 株式会社イトーキ | 仮想空間提供システム、仮想空間提供方法及びプログラム |
| JP7214926B1 (ja) | 2019-12-18 | 2023-01-30 | 北京字節跳動網絡技術有限公司 | 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 |
| JP2023504926A (ja) * | 2019-12-18 | 2023-02-07 | 北京字節跳動網絡技術有限公司 | 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 |
| US11651529B2 (en) | 2019-12-18 | 2023-05-16 | Beijing Bytedance Network Technology Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4603249B2 (ja) | 2010-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110072070B (zh) | 一种多路录像方法及设备、介质 | |
| KR102385841B1 (ko) | 촬영 이동 단말 | |
| CN110231905B (zh) | 一种截屏方法及电子设备 | |
| CN113489894B (zh) | 一种长焦场景下的拍摄方法及终端 | |
| CN111183632A (zh) | 图像捕捉方法及电子设备 | |
| WO2018119632A1 (zh) | 图像处理的方法、装置和设备 | |
| CN114915726A (zh) | 一种拍摄方法及电子设备 | |
| WO2022042776A1 (zh) | 一种拍摄方法及终端 | |
| WO2021244455A1 (zh) | 一种图像内容的去除方法及相关装置 | |
| CN112262563B (zh) | 图像处理方法及电子设备 | |
| US20090227283A1 (en) | Electronic device | |
| KR20040004135A (ko) | 3차원 표시 기능을 갖는 휴대 기기 | |
| JP2005094741A (ja) | 撮像装置及び画像合成方法 | |
| JP2010183317A (ja) | 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム | |
| JP2004336711A (ja) | 通信機能付撮像装置、画像データ記憶方法、及び、プログラム | |
| KR20140106779A (ko) | 이미지 촬영장치 및 방법 | |
| WO2017114048A1 (zh) | 移动终端及联系人标识方法 | |
| CN113194242A (zh) | 一种长焦场景下的拍摄方法及移动终端 | |
| JP4383140B2 (ja) | 画像処理装置および画像処理プログラム | |
| CN113497890B (zh) | 一种拍摄方法及设备 | |
| CN112866557A (zh) | 构图推荐方法和电子设备 | |
| CN114866659A (zh) | 一种拍摄方法及电子设备 | |
| JP4603249B2 (ja) | カメラ付き携帯電話機における画像処理装置 | |
| JP7128347B2 (ja) | 画像処理装置、画像処理方法及びプログラム、撮影装置 | |
| JP2007166383A (ja) | デジタルカメラ及び画像合成方法並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20060621 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20081008 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
| A02 | Decision of refusal |
Effective date: 20081216 Free format text: JAPANESE INTERMEDIATE CODE: A02 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090205 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090223 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090319 |
|
| A521 | Written amendment |
Effective date: 20100826 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20101001 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |