JP2019211828A - 画像制御装置、及びそのプログラム - Google Patents

Abstract

【課題】本発明の課題は、ユーザが画像コンテンツを調整せずに、ユーザが画像コンテンツと共に写っている画像を生成する技術を提供することである。【解決手段】本発明は、撮像画像から検出した人物の骨格に基づいて前記人物の体勢を推定し、前記推定した体勢に応じたポーズのキャラクタ画像を取得し、前記取得したキャラクタ画像のサイズを前記検出した骨格の前記撮像画像上での垂直方向の割合に応じて変換し、前記変換したキャラクタ画像を前記撮像画像に重畳した重畳画像を表示させる。【選択図】図２

Description

本願発明は、画像制御装置、及びそのプログラムに関する。

近年、携帯端末の発展により、携帯端末に搭載されているカメラで撮影された画像にキャラクタやスタンプ等の画像コンテンツを合成して表示する技術が数多く出回っている。これらの多くは、携帯端末のカメラで撮影した画像に画像コンテンツを配置することができる携帯端末向けのアプリケーションとして普及されている。このようなアプリケーションでは、カメラで撮影した画像上に、ユーザが大きさと位置とを調整した画像コンテンツを重ねて表示画面に表示することが行われている。

別の技術として、特許文献１がある。特許文献１では、表示画面に表示されているユーザ同士の顔の距離が所定の距離より近い場合に、画像コンテンツを表示画面上に出現させて表示し、ユーザと共に撮影する技術が記載されている。

特開２０１８−２３０５６号公報

例えばユーザがキャラクタの画像コンテンツとツーショット写真になるように撮影した場合、上述の携帯端末向けのアプリケーションでは、撮影したユーザの画像に合うようにユーザが大きさと位置とを調整する必要がある。

また、特許文献１の技術を用いる場合、ユーザの大きさ及び立ち位置がキャラクタに合うように、ユーザ自身が立ち位置を調整する必要がある。

そこで本願発明が解決しようとする課題は、上記問題点を解決することであり、ユーザが画像コンテンツを調整せずに、ユーザが画像コンテンツと共に写っている画像を生成する技術を提供することである。

上記課題を解決するための本願発明の画像制御装置は、撮像画像から検出した人物の骨格に基づいて前記人物の体勢を推定する推定手段と、前記推定した体勢に応じたポーズのキャラクタ画像を取得する取得手段と、前記取得したキャラクタ画像のサイズを前記検出した骨格の前記撮像画像上での垂直方向の割合に応じて変換し、前記変換したキャラクタ画像を前記撮像画像に重畳した重畳画像を表示させる表示制御手段とを有する。

本願によると、ユーザが画像コンテンツを調整せずに、ユーザが画像コンテンツと共に写っている画像を生成することができる。

画像制御装置の概略図である。 画像制御装置のブロック図の一例である。 キャラクタデータベースの一例である。 体勢モデルデータベースの一例である。 キャラクタ画像データベースの一例である。 キーポイントを説明するための図である。 キーポイントの階層構造の一例を示した図である。 本発明の動作を説明するための図である。

本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。

本発明の画像制御装置１０は、ユーザがキャラクタと一緒に写っている写真を提供するための装置である。画像制御装置１は、予め複数のポーズのキャラクタの画像を用意し、その中からユーザの体勢に合ったポーズのキャラクタの画像をユーザに合わせて調整して、キャラクタがユーザと一緒に写っている写真を生成する。尚、本発明で説明するユーザの体勢は、ユーザの体位、ポーズ、姿勢を含む上位概念である。

図１は、本発明の画像制御装置１が使用される例を示すイメージ図である。図１に示した例では、カメラを搭載したデジタルサイネージのように、人とほぼ同等の大きさの表示画面を有する装置を用いて説明するが、スマートフォンを本発明の画像制御装置のように用いても良いものとする。

画像制御装置１０は、図２の画像制御装置１０のブロック図に示す通り、記憶部１１と、撮像部１２と、推定部１３と、取得部１４と、表示制御部１５と、深度センサ１６と、画像キャプチャ部１７と、表示部２０を有する。表示部２０は、例えばタッチパネルを搭載した表示画面２１を有する。

記憶部１１は、キャラクタデータベース１１１と体勢モデルデータ１１２とキャラクタ画像データベース１１３と、画面データベース１１４を有する。

キャラクタデータベース１１１は、図３に示す通り、キャラクタを一意に識別するキャラクタＩＤとキャラクタ名とが互いに対応付けられて記憶されている。

体勢モデルデータベース１１２は、人物の各種体勢のモデルデータが記憶されており、撮影部１１が撮像した画像中の人物（ユーザ）の体勢を推定するのに用いられる。図４に示す通り、体勢モデルデータベース１１２は、体勢ＩＤとモデルデータとが対応付けられて記憶されている。体勢モデルデータベース１１２の体勢ＩＤはモデルデータを一意に識別する識別番号である。モデルデータには、ユーザの体勢を推定するための条件がリストで記されている。

キャラクタ画像データベース１１３には、図５に示す通り、異なるポーズのキャラクタ画像が体勢ＩＤに対応付けられて、キャラクタ毎に記憶されている。

表示画面データベース１１４は、ユーザが撮影する際に必要となるメニュー画面の画面データが記憶されている。

撮像部１２は、ユーザを撮影する為の特別な装置を設けても良いが、ＣＣＤやＣＭＯＳ等を備えた一般的なデジタルカメラであっても良い。撮像部１１が撮像した画像のファイル形式は本発明では問わず、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等で良い。撮像部１２は、表示装置２０の表示画面の外周に沿った位置に配置されるのが好ましい。

推定部１３は、撮像部１２が撮像した画像から、人物の体勢を推定する。推定部１３が推定する体勢は予め決められており、推定部１３は推定する体勢毎に定義付けられている推定条件に基づいて体勢を推定する。画像から人物の体勢を推定する方法は本発明では特に指定しないが、一例を以下に説明する。

推定部１３は、撮像部１２が撮像した画像中から人物の体勢を推定するにあたって、まず人物の骨格を認識する。推定部１３は、骨格を認識する際に、特徴点となりうるキーポイントを人物の画像から検出する。キーポイントは、例えば身体の部位の中心部、身体の部位同士の接続点、及び関節の少なくとも１つを含む。図６では、身体の部位の中心部、身体の部位同士の接続点、及び関節を含む以下の（１）から（１９）をキーポイントとして検出する場合の例を示している。
（１）ＪＯＩＮＴ ＨＥＡＤ（頭中心部）
（２）ＪＯＩＮＴ ＮＥＣＫ（頸部中心部）
（３）ＪＯＩＮＴ ＬＥＦＴ ＡＮＤ ＲＩＧＨＴ ＣＯＬＬＡＲ（胸鎖関節部）
（４）ＪＯＩＮＴ ＴＲＳＯ（体幹中心部）
（５）ＪＯＩＮＴ ＷＡＩＳＴ（腰中心部）
（６）ＪＯＩＮＴ ＲＩＧＨＴ ＳＨＯＬＤＥＲ（右肩関節部）
（７）ＪＯＩＮＴ ＬＥＦＴ ＳＨＯＬＤＥＲ（左肩関節部）
（８）ＪＯＩＮＴ ＲＩＧＨＴ ＥＬＢＯＷ（右肘関節部）
（９）ＪＯＩＮＴ ＬＥＦＴ ＥＬＢＯＷ（左肘関節部）
（１０）ＪＯＩＮＴ ＲＩＧＨＴ ＷＲＩＳＴ（右手首関節部）
（１１）ＪＯＩＮＴ ＬＥＦＴ ＷＲＩＳＴ（左手首関節部）
（１２）ＪＯＩＮＴ ＲＩＧＨＴ ＨＡＮＤ（右手関節部）
（１３）ＪＯＩＮＴ ＬＥＦＴ ＨＡＮＤ（左手関節部）
（１４）ＪＯＩＮＴ ＲＩＧＨＴ ＨＩＰ（右股関節部）
（１５）ＪＯＩＮＴ ＬＥＦＴ ＨＩＰ（左股関節部）
（１６）ＪＯＩＮＴ ＲＩＧＨＴ ＫＮＥＥ（右膝関節部）
（１７）ＪＯＩＮＴ ＬＥＦＴ ＫＮＥＥ（左膝関節部）
（１８）ＪＯＩＮＴ ＲＩＧＨＴ ＡＮＫＬＥ（右足関節部）
（１９）ＪＯＩＮＴ ＬＥＦＴ ＡＮＫＬＥ（左脚関節部）
各キーポイントは、他のキーポイントとの間で親子関係が予め組まれて階層構造を成している。キーポイントの階層構造の一例を図７に示す。ＪＯＩＮＴ ＨＥＡＤ（１）は階層構造の頂点である。ＪＯＩＮＴ ＨＥＡＤ（１）を最上位にして、ＪＯＩＮＴ ＮＥＣＫ（２）、ＪＯＩＮＴ ＬＥＦＴ ＡＮＤ ＲＩＧＨＴ ＣＯＬＬＡＲ（３）と、親子関係が順に下層へと繋がっていく。ＪＯＩＮＴ ＬＥＦＴ ＡＮＤ ＲＩＧＨＴ ＣＯＬＬＡＲ（３）では、子にあたるキーポイントが、ＪＯＩＮＴ ＴＲＳＯ（４）、ＪＯＩＮＴ ＲＩＧＨＴ ＳＨＯＬＤＥＲ（６）、ＪＯＩＮＴ ＬＥＦＴ ＳＨＯＬＤＥＲ（７）の３つになる。

ＪＯＩＮＴ ＴＲＳＯ（４）はＪＯＩＮＴ ＷＡＩＳＴ（５）と親子関係であり、ＪＯＩＮＴ ＷＡＩＳＴ（５）はＪＯＩＮＴ ＲＩＧＨＴ ＨＩＰ（１４）とＪＯＩＮＴ ＬＥＦＴ ＨＩＰ（１５）と親子関係が組まれている。ＪＯＩＮＴ ＲＩＧＨＴ ＨＩＰ（１４）は、自身を上位として、ＪＯＩＮＴ ＲＩＧＨＴ ＫＮＥＥ（１６）、ＪＯＩＮＴ ＲＩＧＨＴ ＡＮＫＬＥ（１８）の順に親子関係が下層へと繋がっていく。ＪＯＩＮＴ ＬＥＦＴ ＨＩＰは、ＪＯＩＮＴ ＲＩＧＨＴ ＨＩＰ（１４）同様に自身を上位として、ＪＯＩＮＴ ＬＥＦＴ ＫＮＥＥ（１７）、ＪＯＩＮＴ ＬＥＦＴ ＡＮＫＬＥ（１９）の順に親子関係が下層へと繋がっていく。

ＪＯＩＮＴ ＲＩＧＨＴ ＳＨＯＬＤＥＲ（６）は、自身を上位として、ＪＯＩＮＴ ＲＩＧＨＴ ＥＬＢＯＷ（８）、ＪＯＩＮＴ ＲＩＧＨＴ ＷＲＩＳＴ（１０）、ＪＯＩＮＴ ＲＩＧＨＴ ＨＡＮＤ（１２）の順に親子関係が下層へと繋がっていく。

ＪＯＩＮＴ ＬＥＦＴ ＳＨＯＬＤＥＲ（７）は、ＪＯＩＮＴ ＲＩＧＨＴ ＳＨＯＬＤＥＲ（６）同様に、ＪＯＩＮＴ ＬＥＦＴ ＥＬＢＯＷ（９）、ＪＯＩＮＴ ＬＥＦＴ ＷＲＩＳＴ（１１）、ＪＯＩＮＴ ＬＥＦＴ ＨＡＮＤ（１３）の順に親子関係が下層へと繋がっていく。

図７は、上述のような親子関係にあるキーポイント同士を直線で結んで木構造として示した図である。図６においても、親子関係が組まれているキーポイント間を直線で結んで示している。尚、図６及び図７にて示したキーポイント及び木構造は一例であり、キーポイント及び木構造は如何なる場所及び構造であっても本発明を適用することは可能である。

推定部１３は、親子関係にあるキーポイント間の直線を骨格と認識し、所定の骨格間の角度が体勢モデルデータベース１１２のモデルデータに記されている条件に当てはまるかを判定する。推定部１３は、所定の骨格間の角度が条件リストに一致する割合を算出し、一番高い割合に対応付けられている体勢がユーザの体勢であると推定する。即ち、認識した骨格と、モデルデータとの近似度を算出し、一番近いモデルデータの体勢をユーザの体勢であると推定する。

尚、推定部１３が画像中から人物の関節を検出する方法は特定しないが、例えば機械学習装置を用いて行ってもよい。機械学習装置は、画像中の人物の関節を指定して取得した人物と関節の関係を教師データとして用いて関節を検出しても、ディープラーニングにより人物と関節の関係を取得して、これを教師データとして用いて関節を検出しても良い。

取得部１４は、キャラクタ画像データベース１１３から、推定部１３によって推定された体勢に対応付けられているポーズのキャラクタ画像を取得する。

表示制御部１５は、表示画像データベース１１４からメニュー画面を読み出して表示画面２１に表示させる。表示制御部１５は、キャラクタ選択のメニュー画面を表示する際、キャラクタデータベース１１１のキャラクタＩＤを読み込む。読込んだキャラクタＩＤに対応付けられているキャラクタ名をキャラクタデータベース１１１から読み出す。更に、表示制御部１５は、読込んだキャラクタＩＤの画像をキャラクタ画像データベース１１３から読み出して、先に読み出したキャラクタ名と共に並べて表示画面２１に表示させる。キャラクタ画像データベース１１３から読み出す画像は、予め決められていてもランダムでも良い。

表示制御部１５は、撮像部１２が撮像した画像に、取得部１４が選択したキャラクタ画像を重畳（合成）して、表示画面２１に表示させる。キャラクタ画像を重畳する際、表示制御部１５は、推定部１３が認識した骨格の撮像画像上での垂直方向の割合に応じて、選択したキャラクタ画像の大きさを変換する。表示制御部１５は、推定部１３が認識した骨格の画像上での水平方向及び垂直方向（奥行）の位置の少なくとも一方に応じた位置に、大きさを変換させたキャラクタ画像を撮像画像に配置する。表示制御部１５が行う、キャラクタ画像の位置決定の例を説明する。

例えば、画像を右領域と左領域等の複数領域に分け、表示制御部１５は推定した骨格が位置する領域以外の領域にキャラクタ画像を配置する。また、体勢モデルデータベース１１２の体勢ＩＤに、画面上のどの位置に配置するかの配置情報を予め対応付けて記憶させおき、表示制御部１５はこの配置情報に基づいて、キャラクタ画像を配置する。

他の例としては、各ポーズのキャラクタ画像にも骨格を定義付けておき、キャラクタ画像データベース１１３の体勢ＩＤに、認識したユーザの骨格に対するキャラクタ画像の骨格の相対位置を配置情報として対応付けて記憶させておき、表示制御部１５はこの配置情報とキャラクタの骨格とユーザの骨格とに基づいて、キャラクタ画像を配置する。

本発明の表示制御部１５は、上記のいずれの方法を用いてキャラクタ画像を撮像画像に配置する。尚、表示制御部１５は、認識した骨格に応じて、キャラクタ画像を配置する角度を変更させて配置しても良い。

深度センサ１６は、撮像部１２からの撮像画像を用いて、ユーザが所定の動作を行うのを検出する。例えば、深度センサ１６が定期的に対象物までの距離を測定して深度画像を生成し、その中から人物にあたるユーザの形状を検出し、その形状の時系列の変化によってユーザが所定の動作を行ったかを監視する。

画像キャプチャ部１７は、深度センサがユーザの所定の動作を検出すると、表示制御部１５が撮像画像にキャラクタ画像を重畳した合成画像をキャプチャする。画像キャプチャ部１７は、キャプチャした画像を撮影画像として記憶部１１に記憶させる。尚、深度センサがユーザの所定の動作を検出すると、セルフタイマーが起動して、カウントダウン後に画像キャプチャ部１７が画像をキャプチャする構成であってもよい。

続いて、本実施の形態の動作について説明する。図８は、本発明の動作を説明するためのフロー図である。

表示制御部１５は、キャラクタデータベース１１１とキャラクタ画像データベース１１３とから読み出したキャラクタ名と該キャラクタの画像と、表示画面データベース１１４から読み出したメニュー画面とからユーザにキャラクタを選択させるためのメニュー画面を生成して、表示画面２１に表示させる（ステップ１５０１）。

ユーザが表示画面２１に表示されているメニュー画面を用いて、キャラクタを選択すると、入力部が該キャラクタのキャラクタＩＤを取得部１４に通知する（ステップ１５０２）。

キャラクタが選択されると、カメラが起動し、撮像部１２が撮像した撮像画像が表示画面２１に表示される（ステップ１５０３）。

推定部１３は、撮像画像からユーザの骨格を認識する（ステップ１５０４）。

推定部１３は、認識した骨格の所定の骨格間の角度が、体勢モデルデータベース１１２のモデルデータに記されている条件に一致する割合を算出する（ステップ１５０５）。

推定部１３は、一番高い割合のモデルデータに対応付けられている体勢ＩＤを読み出す（ステップ１５０６）。

取得部１４は、ステップ１５０２で選択されたキャラクタのキャラクタＩＤと、推定部１３が読み出した体勢ＩＤとに基づいて、キャラクタ画像データベース１１３からキャラクタ画像を取得する（ステップ１５０７）。

表示制御部１５は、ステップ１５０４で認識した骨格の撮像画像上での垂直方向の割合に応じて、ステップ１５０７で選択されたキャラクタ画像の大きさを変更する（ステップ１５０８）。

表示制御部１５は、ステップ１５０４で認識した骨格の画像上での水平方向及び奥行の位置の少なくとも一方に応じた位置に、ステップ１５０８で大きさが変換されたキャラクタ画像を撮像画像に配置して表示画面２１に表示させる（ステップ１５０９）。

深度センサ１６は、監視を開始し、ユーザが所定の動作を行うのを検出する（ステップ１５１０）。

画像キャプチャ部１７は、深度センサ１６がユーザの所定の動作を検出すると、表示画面２１に表示されている画像をキャプチャする（ステップ１５１１）。

画像キャプチャ部１７は、キャプチャした画像を記憶部１１に記憶させる（ステップ１５２２）。

上述した本発明を用いると、ユーザの体勢に応じてキャラクタ画像を配置するため、ユーザが画像コンテンツを調整せずに、ユーザがキャラクタ画像と共に写っている画像を撮ることができる。

また、本発明を用いると、ユーザの画面大きさに応じてキャラクタ画像の大きさを変更するため、ユーザが立ち位置を調整することなく、ユーザがキャラクタ画像と共に写っている画像を撮ることができる。

また、本発明を用いると、ユーザの所定の動作を検出すると画面をキャプチャする構成であるため、ユーザが表示画面のタッチパネルまで移動することなく、キャラクタ画像と共に写っている画像を撮ることができる。

尚、上記説明において、体勢を推定するにあたって、所定の骨格間の角度がモデルデータに記されている角度の条件リストに当てはまる割合に基づいて推定する場合を用いて説明したが、これ以外の方法であっても良い。例えば、認識した骨格の相対的な位置関係が、モデルデータに記されている位置関係に相似している割合に基づいて推定しても良い。

また、上記説明において、取得部は、推定した体勢に対応付けられているポーズのキャラクタ画像をキャラクタ画像データベース１１３から取得する場合を用いて説明したが、他の方法であっても良い。例えば、取得部は、推定した体勢に対応するポーズにキャラクタの画像を変更するようにしても良い。

また、上記説明において、深度センサ１６を用いてユーザが所定の動作を行うのを検出している例を用いて説明したが、他の方法であっても良い。例えば、深度センサの代わりに光学センサを用いてユーザが所定の動作を行うのを検出しても良い。他にも、推定部１３が認識した骨格の時系列の変化によってユーザが所定の動作を行ったかを検出しても良い。

尚、上述した本発明の装置は、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、画像制御装置１０は、プロセッサ、メモリ（ＲＯＭやＲＡＭ）、記憶装置（ハードディスク、半導体ディスクなど）、入力装置（キーボード、マウス、タッチパネル）、表示装置、通信部などのハードウェア資源を有する汎用のコンピュータによっても実現可能である。一部の機能のみをコンピュータプログラムにより実現することも可能である。

以上、好ましい実施の形態及び実施例が説明された。しかしながら、本発明は、必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形され実施できる。

以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１０ 画像制御装置１０
１１ 記憶部
１２ 撮像部
１３ 推定部
１４ 取得部
１５ 表示制御部
１６ 深度センサ
１７ 画像キャプチャ部
２０ 表示部
２１ 表示画面

Claims (11)

1. 撮像画像から検出した人物の骨格に基づいて前記人物の体勢を推定する推定手段と、
   前記推定した体勢に応じたポーズのキャラクタ画像を取得する取得手段と、
   前記取得したキャラクタ画像のサイズを前記検出した骨格の前記撮像画像上での垂直方向の割合に応じて変換し、前記変換したキャラクタ画像を前記撮像画像に重畳した重畳画像を表示させる表示制御手段と、
   を有する画像制御装置。
2. 前記人物の所定の動作を認識すると、前記重畳画像をキャプチャする画像キャプチャ手段を有する請求項１に記載の画像制御装置。
3. 前記推定手段は、前記撮像画像から前記人物の関節の位置を含む特徴点に基づいて、前記骨格を検出する
   請求項１又は請求項２に記載の画像制御装置。
4. 前記取得手段は、人物の体勢のモデルデータ各々に異なるポーズのキャラクタ画像が予め対応付けられている記憶部から、前記推定した体勢に対応付けられているポーズのキャラクタ画像を取得する
   請求項１から請求項３のいずれかに記載の画像制御装置。
5. 前記取得手段は、前記キャラクタの画像を前記推定した体勢に対応するポーズに変更する
   請求項１から請求項３のいずれかに記載の画像制御装置。
6. 前記画像制御手段は、前記検出した骨格の前記撮像画像上での水平方向の位置に応じて、前記取得したキャラクタ画像を重畳する重畳する位置を決定する
   請求項１から請求項５のいずれかに記載の画像制御装置。
7. 前記画像制御手段は、前記モデルデータに対応付けられて記憶されている配置情報に基づいて、前記取得したキャラクタ画像を重畳する位置を決定する
   請求項１から請求項５のいずれかに記載の画像制御装置。
8. 前記画像制御手段は、前記検出した骨格の前記撮像画像上での垂直方向の位置に応じて、前記取得したキャラクタ画像を重畳する垂直方向の位置を決定する
   請求項１から請求項７のいずれかに記載の画像制御装置。
9. 前記所定の動作は、前記推定手段が検出した骨格の時系列の動きによって認識される請求項１から請求項８のいずれかに記載の画像制御装置。
10. 前記所定の動作は、深度センサ又は光学センサによって認識される請求項１から請求項８のいずれかに記載の画像制御装置。
11. 画像制御装置のプログラムであって、前記プログラムは前記画像制御装置を、
    撮像画像から検出した人物の骨格に基づいて前記人物の体勢を推定する推定手段と、
    前記推定した体勢に応じたポーズのキャラクタ画像を取得する取得手段と、
    前記取得したキャラクタ画像のサイズを前記検出した骨格の前記撮像画像上での垂直方向の割合に応じて変換し、前記変換したキャラクタ画像を前記撮像画像に重畳した重畳画像を表示させる表示制御手段と、
    して機能させるプログラム。

Images