JP2019133276A - 画像処理システム、端末 - Google Patents

Abstract

【課題】人間や動物のデータを画像に合成する場合においても、違和感の少ない合成画像をユーザが容易に作成することができる画像処理システムを提供する。【解決手段】本発明の画像処理システムは、オブジェクトの三次元データを取得する取得手段と、端末が撮影する画像を取得する入力手段と、前記画像と前記三次元データとから合成画像を生成する合成手段と、を備え、前記合成手段は、前記オブジェクトの視線が所定の方向を向く構図の合成画像を生成する、ことを特徴とする。【選択図】図１

Description

本発明は、合成画像を生成する画像処理システム、端末に関する。

近年、自らを撮影した画像と、景色などの背景画像や集合写真とを合成して１つの画像を作成することが行われている。例えば、特許文献１には、携帯電話機を用いて、第１画像に含まれる被写体を第２画像へ合成する技術が開示されている。この技術には、第１画像と第２画像において同一の基準物を含ませておき、その大きさを比較することで当該被写体の大きさの補正を行う。このことにより、自然な大きさで当該被写体を合成することができる。

また、事前に作成した三次元データを他の画像に合成する技術も開示されており、例えば、非特許文献１の技術では、家具の三次元データを、スマートフォン等が撮影した画像に合成（重畳）させることを行っている。このとき、スマートフォンが撮影する画像において床が検出され、その床に家具が接するような配置の合成画像を生成することで、より自然に三次元データと画像を合成している。

特開２００５−９４７４１号公報 特開２０００−３４８２１３号公報 特開２０１１−２０９８１５号公報

"イケアのハイライト 2017――「IKEA place（イケア・プレイス）」アプリ - IKEA"、[online]、［平成３０年１月２２日検索］、インターネット<URL: http://www.ikea.com/ms/ja_JP/this-is-ikea/ikea-highlights/2017/ikea-place-app/index.html>

しかし、特許文献１では、被写体の大きさが調整されている場合においても、第１画像に含まれる被写体が第２画像に配置される位置によっては、合成画像に違和感を感じることがある。特許文献１の技術を用いても、第１画像に含まれる被写体を第２画像に配置する位置については、第２画像に写る人物以外の領域に合成させているにすぎず、違和感なく合成するためには再度人の目で確認し修正することが必要である。このため、ユーザが手間をかけずに、違和感の少ない合成画像を作成することは難しい。

また、非特許文献１では、家具という無機質な物体を合成させているため、三次元データを床に配置して自然な合成画像を生成することができる。ところが、表情や動きが想定される人間や動物などの三次元データを、ただ単に床に合成するだけでは自然な合成画像は生成できない。

そこで、本発明は、人間や動物のデータを画像に合成する場合においても、違和感の少ない合成画像をユーザが容易に作成することができる画像処理システムを提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を有する。
本発明の第１の様態は、オブジェクトの三次元データを取得する取得手段と、端末が撮影する画像を取得する入力手段と、前記画像と前記三次元データとから合成画像を生成する合成手段と、を備え、前記合成手段は、前記オブジェクトの視線が所定の方向を向く構図の合成画像を生成する、ことを特徴とする画像処理システムである。

このような構成によれば、合成画像においてオブジェクトの視線が所定の方向を向くため、視線が自然な方向に定まり、違和感の少ない合成画像が生成できる。また、三次元データと合成画像との合成は画像処理システムがおこなうため、ユーザにとって合成画像を作成するのが容易である。

また、本発明における前記オブジェクトは、人間であることが好ましい。もしくは、本発明におけるオブジェクトは、人間以外の動物であることが好ましい。

このような構成によれば、画像における人間または動物の視線の向きは特に重要であるため、その視線の向きを調整することによって違和感の少ない画像を生成できる。

また、本発明における前記合成手段は、前記オブジェクトの身体の部位を認識し、ユーザの指示に応じて前記三次元データでの前記部位を補正して、前記合成画像を生成することが好ましい。

このような構成によれば、ユーザの好みに応じて、三次元データを補正することができるため、生成される合成画像をユーザにとってより付加価値の高いものにすることができる。

また、本発明における前記取得手段は、前記オブジェクトを対象とした装飾品または衣類の第２三次元データを取得し、前記合成手段は、前記三次元データと前記第２三次元データを合成し第３三次元データを生成し、さらに前記第３三次元データと前記画像を合成し前記合成画像を生成することが好ましい。

このような構成によれば、ユーザが所望する装飾品や衣類をオブジェクトが身につけたような三次元データを作成でき、合成画像の幅が広がる。そのため、例えば、三次元データと合成をする画像の、雰囲気に合わせてオブジェクトの身につけるものを変えることができる。

また、本発明における前記所定の方向は、前記画像を撮影する端末がある方向であることが好ましい。もしくは、前記所定の方向は、前記画像に含まれる被写体がある方向であることが望ましい。

このような構成によれば、オブジェクトを最も一般的な視線の方向であるカメラ目線にすることができ、より自然な合成画像が生成できる。もしくは、画像に含まれる被写体を向くような構成の合成画像が生成でき、たとえば、オブジェクトと被写体同士が見つめあうような自然な合成画像が生成できる。

また、本発明における前記端末は、スマートフォン、タブレット型端末、又はスマートウォッチであることが好ましい。

このような構成によれば、スマートフォン、タブレット型端末、又はスマートウォッチが画像を撮影するための機能を有しているため、画像処理システムの実現が容易にできる
。

また、本発明において、前記三次元データを生成する生成手段を備え、前記生成手段は、前記オブジェクトを異なる複数の方向から撮影した静止画に基づいて前記三次元データを生成することが好ましい。

このような構成によれば、オブジェクトを撮影した動画から三次元データが生成できるため、ユーザ自身が容易に三次元データを生成することができる。

また、本発明における前記生成手段は、前記オブジェクトを３６０度の方向から同じ高さで撮影した動画から複数の静止画を抽出して、前記複数の方向から撮影した静止画とすることが好ましい。

このような構成によれば、全方向からのオブジェクトの見え方を考慮した三次元データが生成でき、合成画像においてオブジェクトをいかなる方向にも向かせることができる。

また、本発明における前記生成手段は、前記動画で前記オブジェクトが所定時間より長く撮影された方向を前記オブジェクトの視線の方向に決定することが好ましい。

このような構成によれば、動画からオブジェクトの視線の方向を容易に決定することができる。また、視線の方向を決定するために、動画以外の入力が不要であるので、どのような端末で撮影された動画からでも三次元データを生成することができる。

また、本発明における前記入力手段は、前記画像での平面部を取得し、前記合成手段は、前記平面部にオブジェクトが接している構図である前記合成画像を生成することが好ましい。

このような構成によれば、人や動物などは、撮影時に地面や撮影台などの平面部に立っていることが多いため、より自然な構図の合成画像が生成できる。

また、本発明における前記平面部は地面であることがことが好ましい。もしくは、本発明における前記平面部は人間の手のひらであることが好ましい。

このような構成によれば、多くの撮影時に想定される、人や動物が地面に立っている構図の、より自然な合成画像が生成できる。また、手のひらの上に人や動物が立っている構図の合成画像であれば、通常の撮影では作成しにくく希少価値があり、かつ、自然に立って見える合成画像が生成できる。

また、本発明における前記入力手段は、前記画像に含まれる被写体と前記端末との前記画像の撮影時の距離を取得し、前記合成手段は、前記距離から、前記撮影時の前記端末と前記オブジェクトとの前記合成画像内での距離を決定して、前記合成画像を生成することが好ましい。

このような構成によれば、被写体と端末の距離に応じて、オブジェクトと端末の距離を決定されるため、被写体にオブジェクトが溶け込むような合成画像が生成できる。

また、本発明における前記取得手段は、前記オブジェクトの高さを取得し、前記合成手段は、前記撮影時の前記端末と前記オブジェクトとの距離と前記高さに応じて、前記合成画像内での前記オブジェクトのサイズを調整して、前記合成画像を生成することが好ましい。

このような構成によれば、合成画像においてオブジェクトが自然なサイズで写っている合成画像が生成できる。

また、本発明において、前記三次元データを他の画像処理システムへ送信する送信手段をさらに備えることが好ましい。

このような構成によれば、あるユーザが三次元データを生成し、生成した三次元データを他のユーザの画像処理システムへ送信することで、他のユーザが当該三次元データを用いて画像と合成することができる。

また、発明における前記合成手段は、前記画像に含まれる被写体に当たる光の強さまたは光の入射角度に基づいて、前記三次元データを補正して前記合成画像を生成することが好ましい。

上記目的を達成するために本発明は、以下の構成であってもよい。
本発明の第２の様態は、オブジェクトを異なる複数の方向から撮影した複数の静止画を取得する取得手段と、端末が撮影する画像を取得する入力手段と、前記画像と前記複数の静止画とから合成画像を生成する合成手段と、を備え、前記合成手段は、前記オブジェクトの視線が所定の方向を向く構図の合成画像を生成する、ことを特徴とする画像処理システムである。

このような構成によれば、三次元データが不要になるため、画像処理システムの構成が簡略化できる。

本発明によれば、人間や動物のデータを画像に合成する場合においても、違和感の少ない合成画像をユーザが容易に作成することができる。

実施形態１に係る画像処理システムの構成を示す図 実施形態１に係る三次元データの生成方法を説明するための図 実施形態１に係るモデルの視線を端末に向けた合成画像の生成例を示す図 実施形態１に係るモデルの視線を被写体に向けた合成画像の生成例を示す図 実施形態１に係る基準画像の平面部を手のひらとする例を示す図 実施形態１に係るデータ生成部のフローチャート 実施形態１に係るデータ合成部のフローチャート 変形例１に係る画像処理システムの構成を示す図 変形例２に係る２つの三次元データの合成を示す図 実施形態２に係る画像処理システムの構成を示す図

以下に、本発明を実施するための実施形態を記載する。なお、以下に記載する内容は例示的な事項であり、この記載によって発明の特徴が限定されるわけではない。

以下の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。

＜実施形態１＞
以下、実施形態１について説明する。実施形態１では、事前に作成する三次元データと新たに撮影する画像とを合成することで、違和感の少ない合成画像を作成する技術を説明する。

図１は、本実施形態に係る画像処理システム１０の構成例を示す構成図である。画像処理システム１０は、データ生成部１１とデータ合成部１２を備える。ここで、データ生成部１１は、人間や動物などの三次元データを生成する。データ合成部１２は、画像を取得し、その画像とデータ生成部１１から入力される三次元データとを合成し合成画像を生成する。なお、本実施形態における画像処理システム１０はスマートフォンの端末１に搭載できるアプリケーションであり、端末１は内部カメラ２０を有している。端末１は、スマートフォンに限らずタブレット型端末やスマートウォッチ、ノートパソコン、デジタルカメラなどでもよい。

データ生成部１１は、第１入力部１０１、抽出部１０２、生成部１０３、記憶部１０４を備える。データ合成部１２は、取得部２０１、補正部２０２、第２入力部２０３、分析部２０４、モード選択部２０５、合成部２０６、修正部２０７、指示部２０８を備える。

［データ生成部の構成］
以下では、人間の三次元データを生成するデータ生成部１１の構成について説明する。第１入力部１０１は、モデル（オブジェクト）を撮影した画像（動画）が内部カメラ２０から入力される。本実施形態ではモデルは人間である。図２は、本実施形態におけるモデルの撮影方法を示す。図２では、撮影者が端末１を用いてモデル３０１を撮影している。撮影者は、端末１に付随する内部カメラ２０により、モデル３０１に対して撮影する方向を変えて同じ高さから動画を撮影する。本実施形態では、モデル３０１の周りを３６０度、撮影者がまわるようにして動画を撮影する。このとき、撮影者は、一定の速度で方向を変えながら撮影するとよい。入力された動画は、抽出部１０２へ出力される。

ただし、この限りではなく端末１を固定しモデル３０１自身がその場で回転して３６０度撮影してもよいし、モデル３０１の周りは３６０度でなく９０度や１８０度であってもよい。なお、モデル３０１は人間に限らず、例えば、人間以外の動物（ペット）や人形、ロボットなどでもよい。また、本実施形態では、撮影する方向（角度）を変えて同じ高さから撮影するが、この限りではなく高さを変えて動画を撮影してもよい。入力される画像は動画に限らず、例えば、異なる方向から撮影した複数の静止画であってもよい。また、本実施形態では、内部カメラ２０から動画が入力されるが、端末１の外部（サーバやビデオカメラ等）から動画が入力されてもよい。

また、動画を撮影する際に、モデル３０１の正面の方向を把握するために、撮影者は、モデル３０１の正面となる位置から、例えば２秒以上動画を撮影する。これは、２秒に限らず、あらかじめユーザが所定の時間を決定しておけばよい。このとき、モデル３０１の視線（目線）の向きから所定の時間以上撮影すると、モデル３０１の正面の方向を視線の方向とすることができるため自然な合成画像が生成できる。そして、正面から所定の時間撮影した後に、撮影者は３６０度の方向からモデル３０１を撮影する。また、正面を把握するためには、この方法に限らず、例えば、モデル３０１は正面を向いた際に一時的に手を振るや目をつむるなどの所定の動作をする、モデル３０１の正面に対応する地面にマークをつけておくなどの方法でもよい。なお、動画の撮影のスタートとエンドも同様に所定の動作で判断できるようにしておくとよい。また、端末１がユーザインターフェース（ＵＩ）を介し音声を発して、例えば、「２０秒かけて一定の速度で３６０度回転してください」などとユーザに撮影方法の案内を通知してもよい。動画の撮影のスタートとエンドのタイミングも、端末１がＵＩを介し音声を発してユーザに通知してもよい。

抽出部１０２は、第１入力部から入力された画像から複数の方向から撮影された静止画を抽出する。本実施形態では、抽出部１０２はモデル３０１の正面を０度とした場合に、時計回りで０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の８枚を抽出する。このとき、本実施形態では、０度の位置は、入力された動画において同じ方向から所定時間以上撮影されている位置である。抽出方法は、例えば、モデル３０１を正面の方向から撮影した時間を除いた撮影時間が１６秒であったら、０秒目の静止画を０度、２秒目を４５度、４秒目を９０度、・・・、１４秒目を３１５度として静止画を抽出する。なお、抽出部１０２は、端末１に搭載されている加速度センサー等から撮影された方向を求めて、上述の８つの方向に対応する静止画を抽出してもよい。また、抽出される静止画は８枚に限らず、９０度ごとの４枚であってもよいし、２２．５度ごとの１６枚でもよい。ここで、抽出される静止画が多いほど、後の工程で高精細な三次元データが生成できる。また、等間隔の方向（例えば、４５度ごと）で抽出する必要もなく、例えば、モデル３０１の前面からの写真を多く抽出するようにしてもよい。これにより、合成で利用されやすいモデル３０１の前面が後面よりも高精細な三次元データが作成することができる。抽出された静止画と正面の情報（正面情報）は生成部１０３に出力される。

生成部１０３は、抽出された複数の静止画からモデル３０１の三次元データを生成する。撮影された複数の画像から三次元データを生成する方法は、例えば、特許文献２（特開２０００−３４８２１３）や特許文献３（特開２０１１−２０９８１５）などに記載の方法がある。なお、このとき、モデル３０１の身長情報（高さ）をユーザがＵＩを介し入力するものとする。また、身長情報だけでなく、幅として眉と眉の間の距離や唇の幅、奥行としてモデル３０１の横から頭の奥行や靴のサイズなども入力されると、より精度の高い三次元データの生成が可能である。生成された三次元データは正面情報と身長情報が付加されて記憶部１０４へ出力される。

記憶部１０４は、生成部１０３が生成した三次元データを記憶する。また、記憶部１０４は、取得部２０１からの要求に従い、三次元データを取得部２０１に出力する。

［データ合成部の構成］
以下にて、三次元データと、新たに取得する画像とを合成し合成画像を生成するデータ合成部１２の構成について説明する。

取得部２０１は、指示部２０８から入力される指示に応じて、記憶部１０４に三次元データの出力を要求し、三次元データを取得する。このとき、指示部２０８からの指示は、取得したい三次元データを示す指示である。例えば、記憶部１０４が３つの三次元データα，β，γを記憶している場合に、三次元データαを取得するように指示がされる。取得した三次元データは補正部２０２へ出力される。なお、取得部２０１は、記憶部１０４に記憶されている全ての三次元データを取得してもよいし、最も直近に生成された三次元データを取得してもよい。

補正部２０２は、入力された三次元データの補正処理を行う。具体的には補正部２０２は、三次元データのモデル３０１の部位を認識し、後述の指示部２０８からの指示に応じて三次元データを補正する。例えば、補正部２０２は、三次元データのモデル３０１の肌の明るさ、顔や目のサイズ、または、背の大きさなどを変更する。このような補正をすることで、ユーザにとって利用価値の高い三次元データを生成することができる。補正された三次元データは合成部２０６へ出力される。なお、指示部２０８から指示がない場合は、三次元データの補正処理は行われない。この補正は、例えば、端末１であるスマートフォンにおけるフィンガーアクションなどで行うことができる。

第２入力部２０３は、内部カメラ２０を用いて撮影された基準画像が入力される。このとき、例えば、レンズの焦点距離のみ基準画像から変えて同じ被写体を撮影した画像も入力される。なお、焦点距離に限らず、焦点位置や絞り（Ｆナンバー）を変更させた画像でもよい。また、本実施形態では、内部カメラ２０から基準画像が入力されるが、端末１の外部（サーバやステレオカメラ等）から基準画像が入力されてもよい。

分析部２０４は、入力された基準画像における被写体の位置や環境を分析する。まず、分析部２０４は、入力されたレンズの焦点距離の異なる複数の画像の、例えば、ボケの大きさや相関量からＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法を用いて、端末１と基準画像に写る被写体や平面部との距離の情報（距離情報）を求める。また、分析部２０４は、基準画像の中に平面部がある場合は、基準画像と距離情報から平面の位置の情報である平面情報を求める。この平面部とは、地面や机の上、壁、天井、人間の手のひら、などのことである。なお、分析部２０４は基準画像から確認できる範囲外に平面部が広がっていると推測できる場合は、基準画像の範囲外にも平面部が続いていると仮定して平面情報を決定する。さらに、分析部２０４は、基準画像の被写体の輝度分布などから、基準画像の撮影時の光源の位置や光の入射角度、光の強さなどの光源情報を取得する。距離情報、平面情報、光源情報は基準画像に付加されてモード選択部２０５に出力される。なお、本実施形態はユーザがより容易にできることを考慮し分析部２０４が画像を用いて分析し距離情報、平面情報、光源情報を取得するものとしたが、これらの情報はユーザから入力があってもよい。

モード選択部２０５は、後述の指示部２０８からの指示に基づき、合成画像の構図を決定する合成モードを選択する。まず、モード選択部２０５は、合成画像において、三次元データのモデル３０１の正面（視線）がどの方向に向くのか（正面選択情報）を決定する。本実施形態では、モード選択部２０５は、モデル３０１の視線が「基準画像を撮影した端末に向く」か「基準画像における被写体に向く」を選択する。また、モード選択部２０５は、「基準画像における被写体に向く」を選択し、被写体が複数ある場合、複数の被写体の中からモデル３０１の視線が向く対象の被写体を選択する。なお、視線が向く方向は、基準画像においてモデル３０１の視線が自然に見える方向が選択されればよい。例えば、基準画像の撮影時に端末１や被写体の周りに存在すると基準画像に基づいて推定される物体の方向に視線が向くなどでもよい。さらに、モード選択部２０５は、三次元データのモデル３０１の配置する平面部を「地面に配置する」か「手のひらに配置する」のいずれかから選択する。また、平面部は、地面と手のひらに限らず、上述のように、机の上、壁、天井が選択されてもよい。正面選択情報と選択した平面部の情報は合成モードとして基準画像に付加されて合成部２０６に出力される。なお、合成モードは、事前にデフォルトの設定として、例えば「基準画像を撮影した端末に向く」および「手のひらに配置する」としておき、ユーザからの指示があった場合のみ、上述のような選択による変更が行われてもよい。

合成部２０６は、補正部２０２から入力される三次元データ、モード選択部２０５から入力される基準画像を用いて合成画像を生成する。このとき、合成部２０６は、基準画像の中に、三次元データのモデル３０１が存在するように自然に見える合成画像を生成する。

具体的な合成画像の生成方法を、図３（Ａ）の基準画像にモデル３０１の三次元データを合成させて、図３（Ｂ）の合成画像を生成する例を用いて説明する。図３（Ａ）は端末１を用いて、地面４０４に立つ被写体４０１〜４０３を撮影した基準画像である。図３（Ｂ）は、図３（Ａ）の基準画像にモデル３０１の三次元データを合成させた合成画像である。

まず、合成部２０６は、合成モードに含まれる選択された平面部と平面情報とから、基準画像における三次元データのモデル３０１の配置位置を決定する。このとき、三次元データのモデル３０１の下端が平面部に接するように配置する。また、基準画像に人や動物などの被写体が含まれている場合は、距離情報に含まれる被写体と端末１との距離と、モデル３０１と端末１との距離が同じになるように配置する。図３（Ｂ）では、三次元データのモデル３０１は選択された平面部である地面４０４に接するように配置されており、端末１と被写体４０１との距離と、端末１とモデル３０１との距離は等しい。このとき、モデル３０１は人間であるので地面４０４に立っているように配置される。また、図３（Ｂ）の合成画像において、被写体４０１と一定の距離にモデル３０１を配置するとよい。なお、機械学習によって生成された構図の適切さを判定する識別器を用いて、端末１と被写体４０１〜４０３との距離情報、被写体４０１の配置、平面情報などから、モデル３０１の最適な配置位置が決定されてもよい。

次に、合成部２０６は、基準画像に配置する際のモデル３０１のサイズを調整する。これは、三次元データに含まれる身長情報（高さ）と基準画像でのモデル３０１の距離から調整できる。具体的には、基準画像の端末１とモデル３０１との距離と、モデル３０１の身長情報との関係から基準画像におけるモデル３０１のサイズを調整する。この関係は事前に作成しておき、画像処理システム１０の内部に、関数として保持させておいてもよいし、テーブルとして保持させておいてもよい。また、基準画像における被写体４０１〜４０３の身長（高さ）に応じて、モデル３０１のサイズをさらに細かく調整させてもよい。

次に、合成部２０６は、基準画像に配置する際のモデル３０１の向きを調整する。合成部２０６は、合成モードの正面選択情報から、モデル３０１の向きを調整する。図３（Ｂ）は、モデル３０１は端末１の方向に正面（視線）が向くと選択された場合である。図３（Ｂ）の破線は、モデル３０１の視線の向きを示している。合成部２０６は三次元データに含まれる正面情報から、モデル３０１の視線が端末１を向くように、つまり、カメラ目線であるように調整をおこなう。なお、モデル３０１の全身を回転させ視線を端末１に向けてもよいし、モデル３０１の顔や上半身のみを回転させ視線を端末１に向けてもよい。

最後に、合成部２０６は、光源情報からモデル３０１への光の当たり方などを調整する。このとき、モデル３０１と光源の位置関係を考慮して影を作成してもよい。この調整されたデータは合成画像として修正部２０７に出力される。

以上のように、合成部２０６は、モデル３０１を平面部に配置し、モデル３０１のサイズを調整し、向きを調整することで、合成された三次元データのモデル３０１を違和感なく基準画像に合成することができる。また、図４（Ａ）の合成画像のように、モデル３０１の視線が被写体５０１（木など）に向くようにしてもよい。分析部２０４は、基準画像の撮影範囲外の平面情報を取得しているため、図４（Ａ）と同じ位置から撮影した図４（Ｂ）のように、基準画像の撮影範囲外にある地面５０２にモデル３０１の下端が配置されるようにしてもよい。さらには、平面部を手のひらとした場合には、図５のように手のひら５０３の上にモデル３０１が配置されてもよい。

修正部２０７は、後述の指示部２０８からの指示に応じて、合成画像に細かな修正（補正）を加える。例えば、修正部２０７は、三次元データにおけるモデル３０１の正面の向きを変更したり、光の当たりかたを変化させたり、配置（着地点）を変更する。修正が行われたデータは合成画像として端末１の画面などに表示される。なお、補正部２０２が行うような補正を再度、修正部２０７が三次元データのモデル３０１に対して行ってもよい。また、指示部２０８から指示がない場合は、修正部２０７は、合成画像に対して修正を行わない。

指示部２０８は、取得部２０１に対して取得する三次元データを指示する。指示部２０８は、補正部２０２に対して三次元データの補正を指示する。この指示は例えば、モデル３０１の顔を大きさの変更やモデル３０１の横幅の変更などである。また、指示部２０８は、モード選択部２０５にモード選択に関する指示をする。この指示は、複数ある平面部を選択する指示とモデル３０１の向きの選択の指示がある。さらに、指示部２０８は、修正部２０７に三次元データの修正の指示をする。これは、モデル３０１の正面の向きを変更したり、光の当たり方を変化させる指示などである。なお、これらの指示はユーザから入力されてもよいし、デフォルトで指示を決定しておいてもよい。ユーザからの入力の場合は、端末１の表示画面に指示を入力可能なＵＩが表示され、そのＵＩの表示に応じてユーザが指示を入力してもよいし、外部の入力用パッド等を用いてユーザが指示を入力してもよい。

［データ生成部の処理フロー］
図６はデータ生成部１１の処理フローを示す図である。以下では、データ生成部１１が、人間や動物の三次元データを生成し、データ合成部１２に出力するフローを説明する。

（Ｓ１００１）
まず、三次元データの基となるモデル３０１の動画が撮影される。前述のようにモデル３０１の周りを３６０度回転しながら撮影するものとする。このとき、モデル３０１の正面（視線の方向）が分かるように、正面からは所定の時間以上、例えば２秒、撮影が行われる。

（Ｓ１００２）
つづいて、抽出部１０２は撮影された動画から複数枚の静止画を抽出する。抽出する静止画は、例えば、モデル３０１の正面を０度として、その周り４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度、３６０度の４５度ごとの８枚である。また静止画の抽出とともにモデル３０１の正面情報が取得される。

（Ｓ１００３）
生成部１０３は、複数の静止画から三次元データを生成する。このとき、モデル３０１の身長情報（高さ）がユーザから入力される。身長情報は三次元データに付加される。

（Ｓ１００４）
記憶部１０４は、三次元データを記憶し、取得部２０１の要請に応じて、生成した三次元データをデータ合成部１２へ出力する。

［データ合成部１２の処理フロー］
図７は、データ合成部１２の処理フローを示す図である。以下では、三次元データと基準画像との合成画像を生成するフローについて説明する。以下のフローのうちＳ１１０１〜Ｓ１１０３とＳ１１０４〜Ｓ１１０６とは、並列的（同時）に処理が行われてもよいし、直列的にＳ１１０３の後にＳ１１０４の処理が行われてもよい。

（Ｓ１１０１）
まず、三次元データと合成する基準画像が取得される。この基準画像は端末１の内部カメラ２０で撮影する静止画である。また、第２入力部２０３は、後工程で基準画像の被写体の距離情報を取得するため、ピントを被写体に合わせた画像とピントを被写体から外した画像（焦点距離を変化させた画像）とを複数枚取得する。

（Ｓ１１０２）
ここでは、分析部２０４が、取得した基準画像と、基準画像と焦点距離を変化させた画
像とを上述のように分析することで基準画像の距離情報、平面情報、光源情報を求める。この距離情報、平面情報、光源情報は基準画像に付加される。

（Ｓ１１０３）
モード選択部２０５は、合成画像の構図に関わる合成モードを選択する。合成モードは、モデル３０１を合成する先となる基準画像の平面部の選択と、モデル３０１の正面が向く方向（正面選択情報）とが選択される。

（Ｓ１１０４）
取得部２０１は、指示部２０８からの指示に応じて三次元データを取得する。このとき、本実施形態では、記憶部１０４から入力される三次元データが取得される。

（Ｓ１１０５）
補正部２０２は、指示部２０８から三次元データの補正処理を行う指示があるか否かを判定する。指示があれば、工程はＳ１１０６に遷移し、指示がなければＳ１１０７に遷移する。

（Ｓ１１０６）
補正部２０２は、指示部２０８から入力された指示に従って三次元データに補正処理を行う。この補正処理には、例えば、モデル３０１の頭部などの身体の部位を認識し、その部位の大きさを変化させる、モデル３０１の肌の色を明るく（白く）させるなどがある。

（Ｓ１１０７）
合成部２０６は、三次元データと基準画像とを合成する。このとき、基準画像に三次元データのモデル３０１が存在するかのように合成させ合成画像を生成する。合成部２０６は、合成モードに従い、平面部、モデル３０１の正面の向きを考慮して合成する。また、合成部２０６は、光源情報からモデル３０１への光の当たり方を変化させて合成する。

（Ｓ１１０８）
指示部２０８から、合成画像の修正を行う指示があるか否かを判定される。修正指示がない場合は、修正が行われずに全ての工程が終了する。修正指示がある場合は、工程はＳ１１０９へ遷移する。

（Ｓ１１０９）
修正部２０７は、指示部２０８からの指示に従って、合成画像に修正を行う。この修正は、例えば、光の当たり方の修正、モデル３０１の向きの修正、配置の修正など、合成画像への細かな構図の修正である。合成画像が修正されると、全ての工程が終了する。

［効果］
以上のように、三次元データのモデルの正面情報（視線方向）や基準画像の平面部などを考慮した構図で合成を行うことで、基準画像に違和感なくモデルを合成することができる。また、合成先である基準画像でのモデルの配置や正面の向きの決定などは、システムで決定することができるため、簡易にユーザが合成画像を作成することができる。

具体的には、観光地などで桜の木が素敵であると感じたユーザが、事前に生成しておいた着物を着て撮影した自身の三次元データと桜の木を撮影した画像とを合成することができる。また、故人の三次元データを事前に生成しておくことで、例えば、家族写真に故人が加わったかのような合成画像を生成することができる。さらに、三次元データの補正が可能であるため、ユーザの三次元データの顔を小顔にして、スタイル（身体）を自身の望むように修正して、合成画像を生成することもできる。

［変形例１］
実施形態１では、動画を撮影して三次元データを生成し、基準画像と合成することを同じ端末において行われた。それに対し、実施形態２では、１つの端末が三次元データを生成し、異なる１つの端末が三次元データと基準画像とを合成する。

図８は変形例１に係る画像処理システム１０の構成を示す。つまり、変形例１に係る画像処理システム１０は、実施形態１と同様に、データ生成部１１とデータ合成部１２を備える。データ生成部１１は、第１入力部１０１、抽出部１０２、生成部１０３、記憶部１０４を備える。データ合成部１２は、取得部２０１、補正部２０２、第２入力部２０３、分析部２０４、モード選択部２０５、合成部２０６、修正部２０７、指示部２０８を備える。ここで、記憶部１０４と取得部２０１の動作が実施形態１と異なるため差異について説明する。その他の機能部は実施形態１の同名の機能部と同じ動作をするため説明は省略する。

記憶部１０４は、記憶している三次元データを外部サーバ６０１に送信する。なお、本変形例では外部サーバとしているが例えば、外部メモリや外部ハードディスクであってもよい。また、送信の際の通信は有線で行ってもよいし無線で行ってもよい。なお、記憶部１０４は、直接他の端末の取得部２０１へ送信してもよい。外部サーバ６０１は、送信された三次元データを保存する。

取得部２０１は、指示部２０８からの指示に応じて外部サーバ６０１から三次元データを取得する。取得した三次元データは補正部２０２へ送信される。取得部２０１が外部サーバ６０１から三次元データを取得する際に、ダウンロードＵＲＬやダウンロードパスワードが設定されているとユーザの利便性やセキュリティの観点から望ましい。

以上より、１つ端末で生成された三次元データを他の端末（他の画像処理システム）に送信することができる。よって、例えば、事前に生成しておいたユーザ自身の三次元データを友人に送信し、友人が基準画像と合成することで、あたかも基準画像が撮影された場所にユーザがいるかのような合成画像を作成することができる。具体的には、ユーザが自身の三次元データを友人に送信することで、ユーザが出席できなかったパーティーにおいて撮影される集合写真にユーザがいるかのような合成画像を生成することなどができる。

また、ミュージシャンやアイドルなどの販促などにも利用できる。例えば、ＣＤや本の購入特典として、三次元データを配信し、配信された三次元データと基準画像とをユーザが合成することで、ミュージシャンやアイドルと一緒に撮影したような合成画像が作成できる。さらに、別途、三次元データを、インターネットを通じて売買するといったことも想定できる。

［変形例２］
実施形態１では、１つの三次元データと１つの基準画像とを合成した。しかし、これに限らず２つ以上の三次元データと１つの基準画像とが合成されてもよい。このとき、２つ以上の三次元データ同士が重なり合わない配置であれば、実施形態１の構成で実現可能である。また、三次元データは人間や動物に限らず、例えば、人間や動物を対象とした衣類やアクセサリ（装飾品）、靴、ウィッグ（かつら）であってもよい。このとき、衣類やアクセサリの三次元データを、人や動物の三次元データと重畳させる。これにより、例えば、所望の衣類を自分が着ているような合成画像を生成することができる。

以下にて、人間の三次元データと衣類の三次元データとが重なりあう場合の合成画像の生成方法を説明する。具体的には、補正部２０２が衣類の三次元データと人の三次元デー
タとの合成を行う場合を図９を用いて説明する。図９は三次元データを正面から見た図と左側面から見た図を示す。図９（Ａ）のモデル３０１は実施形態１と同様に人間の三次元データ、図９（Ｂ）の装着品３０２は衣類の三次元データである。モデル３０１と装着品３０２はともに正面情報を有しているため、補正部２０２は図９（Ｃ）のように２つの三次元データを正面を向いた状態で重なりあうように合成する。また、補正部２０２は図９（Ｃ）のように側面から見ても重なっているように合成させる。この合成のとき、例えば、事前に、モデル３０１の三次元データは足の先から肩までの高さの情報を含ませておき、装着品３０２の三次元データには衣類のサイズの情報を含ませておく。補正部２０２は、この情報を基に、装着品３０２の位置を調整することで、モデル３０１が装着品３０２を着ているモデル３０３の三次元データを生成する。このとき、モデル３０１の姿勢に合わせて、補正部２０２は装着品３０２の形状を変化させてもよい。生成したモデル３０３は、合成部２０６へ出力される。なお、指示部２０８は、装着品３０２のサイズの調整や細かな位置の調整などの指示を行う。合成部２０６、修正部２０７は実施形態１と同様の処理を行う。

また、衣類やアクセサリなどの三次元データは、データ生成部１１によって作成されていなくてもよい。例えば、ＣＡＤなどで衣類の三次元データを事前に生成しておき、取得部２０１がその三次元データを取得してもよい。この場合、衣類やアクセサリの三次元データだけでなく、ＣＡＤで作成したキャラクターの三次元データを合成に用いてもよい。

以上より、衣類やアクセサリをつけた人の三次元データを生成することができる。これにより、合成画像のバリエーションを増加させることができる。また、衣類やアクセサリの三次元データを別途生成しておき、その三次元データを友人や知人とで交換するといったこともできる。さらには、企業が製作した衣類の三次元データを生成しインターネット等で配信し、消費者に三次元データを合成画像に使ってもらい衣類を着た際の印象などを確認してもらうことで、衣類の宣伝等にも活用できる。このとき、印象を確認した衣類やアクセサリを消費者が気に入った場合は、その衣類やアクセサリの組合せを保存し、購入サイトに引継ぐことで、ショッピングを容易して販売促進することもできる。

［変形例３］
実施形態１では、距離情報に基づいて三次元データのモデルを基準画像に配置したが、画像処理システム１０は、距離情報の取得をしなくてもよい。つまり、距離情報を用いずに、三次元データのモデルを基準画像に配置してもよい。例えば、分析部２０４が基準画像を分析して、合成部２０６が基準画像に写っている被写体の大きさと位置から三次元データのモデルの配置を決定してもよい。また、機械学習によって生成された構図の適切さを判定する識別器を用いて、基準画像に応じて三次元データのモデルの配置を決定してもよい。なお、実施形態１では、分析部２０４は、距離情報に基づき平面情報の算出を行っているため、距離情報を用いない本変形例では基準画像の画像解析により平面情報を算出する。

以上によれば、第２入力部２０３は焦点距離を変更した複数の画像を取得する必要がなくなるため、第２入力部２０３は１つの画像（基準画像）を取得するだけでよい。したがって、例えば、過去に撮影された１枚の思い出の画像と、三次元データのモデルとを合成することができる。

＜実施形態２＞
実施形態１では三次元データを基準画像に合成することで、自然な合成画像を生成させていたが、実施形態２では複数の静止画と基準画像とを用いて自然な合成画像を生成させる。

図１０は、本実施形態に係る画像処理システム１０の構成例を示す構成図である。画像処理システム１０は、データ生成部１１とデータ合成部１２を備える。また、データ生成部１１は、第１入力部１０１、抽出部１０２、切取部７０１、記憶部１０４を備える。データ合成部１２は、取得部２０１、補正部７０２、第２入力部２０３、分析部２０４、モード選択部２０５、合成部７０３、修正部２０７、指示部２０８を備える。切取部７０１と補正部７０２と合成部７０３の処理を以下にて説明する。その他の機能部は実施形態１における同名の機能部の処理を「三次元データ」を「複数の静止画」と読み替えた場合の処理と同様であるため説明は省略する。

切取部７０１は、抽出部１０２から入力される複数の静止画からモデル（対象の人間）のみを切り取る処理を行う。つまり、複数の静止画に対し写っているモデル以外の背景などを取り除く処理が行われる。切り取る処理が行われた複数の静止画は記憶部１０４に出力される。

補正部７０２は、指示部２０８の指示に応じて複数の静止画に補正処理を行う。補正処理の内容は、実施形態１と同じである。このとき、補正部７０２は、１枚の静止画に対して、ある補正処理が指示された場合、その他の静止画に対しても同様の処理が行われるようにする。たとえば、１つの静止画のモデルに対して肌の明るさの補正がされたら、その他の静止画のモデルに対しても肌の明るさの補正がされる。補正された複数の静止画は合成部７０３に出力される。

合成部７０３は、まず、合成モードのモデルが向く方向の情報から、複数の静止画の中から一番近い向きである静止画を選択する。選択された静止画は、実施形態１と同様に、身長情報と距離情報からサイズが調整され、選択された平面部と平面情報を基に配置され、光のあたり方などが調整されて基準画像と合成される。合成されたデータは合成画像として修正部２０７へ出力される。

［効果］
以上のように、三次元データを生成することなく実施形態１と同様の効果を得ることができる。また、三次元データを作成しないために処理を簡易にすることができる。変形例１のように、異なる端末同士で複数の画像を送受信することもできる。なお、精度よくモデルの向きに該当する静止画を選択するために、抽出部１０２は多くの方向（角度）からの静止画を取得すること（例えば、３度ごとに１２０枚）が望ましい。

１０ 画像処理システム
２０１ 取得部
２０３ 第２入力部
２０６ 合成部

Claims (20)

1. オブジェクトの三次元データを取得する取得手段と、
   端末が撮影する画像を取得する入力手段と、
   前記画像と前記三次元データとから合成画像を生成する合成手段と、
   を備え、
   前記合成手段は、前記オブジェクトの視線が所定の方向を向く構図の合成画像を生成する、
   ことを特徴とする画像処理システム。
2. 前記オブジェクトは、人間である、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記オブジェクトは、人間以外の動物である、
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記合成手段は、前記オブジェクトの身体の部位を認識し、ユーザの指示に応じて前記三次元データでの前記部位を補正して、前記合成画像を生成する、
   ことを特徴とする請求項２または請求項３に記載の画像処理システム。
5. 前記取得手段は、前記オブジェクトを対象とした装飾品または衣類の第２三次元データを取得し、
   前記合成手段は、前記三次元データと前記第２三次元データを合成し第３三次元データを生成し、さらに前記第３三次元データと前記画像を合成し前記合成画像を生成する、
   ことを特徴とする請求項２から４のいずれか１項に記載の画像処理システム。
6. 前記所定の方向は、前記画像を撮影する端末がある方向である、
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理システム。
7. 前記所定の方向は、前記画像に含まれる被写体がある方向である、
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理システム。
8. 前記端末は、スマートフォン、タブレット型端末、又はスマートウォッチである、
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理システム。
9. 前記三次元データを生成する生成手段を備え、
   前記生成手段は、前記オブジェクトを異なる複数の方向から撮影した静止画に基づいて前記三次元データを生成する、
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理システム。
10. 前記生成手段は、前記オブジェクトを３６０度の方向から同じ高さで撮影した動画から複数の静止画を抽出して、前記複数の方向から撮影した静止画とする、
    ことを特徴とする請求項９に記載の画像処理システム。
11. 前記生成手段は、
    前記動画で前記オブジェクトが所定時間より長く撮影された方向を前記オブジェクトの視線の方向に決定する、
    ことを特徴とする請求項１０に記載の画像処理システム。
12. 前記入力手段は、前記画像での平面部を取得し、
    前記合成手段は、前記平面部にオブジェクトが接している構図である前記合成画像を生成する、
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理システム。
13. 前記平面部は地面である、
    ことを特徴とする請求項１２に記載の画像処理システム。
14. 前記平面部は人間の手のひらである、
    ことを特徴とする請求項１２に記載の画像処理システム。
15. 前記入力手段は、前記画像に含まれる被写体と前記端末との前記画像の撮影時の距離を取得し、
    前記合成手段は、前記距離から、前記撮影時の前記端末と前記オブジェクトとの前記合成画像内での距離を決定して、前記合成画像を生成する、
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理システム。
16. 前記取得手段は、前記オブジェクトの高さを取得し、
    前記合成手段は、前記撮影時の前記端末と前記オブジェクトとの距離と前記高さに応じて、前記合成画像内での前記オブジェクトのサイズを調整して、前記合成画像を生成する、
    ことを特徴とする請求項１５に記載の画像処理システム。
17. 前記三次元データを他の画像処理システムへ送信する送信手段をさらに備える、
    ことを特徴とする請求項１から１６のいずれか１項に記載の画像処理システム。
18. 前記合成手段は、前記画像に含まれる被写体に当たる光の強さまたは光の入射角度に基づいて、前記三次元データを補正して前記合成画像を生成する、
    ことを特徴とする請求項１から１７のいずれか１項に記載の画像処理システム。
19. オブジェクトを異なる複数の方向から撮影した複数の静止画を取得する取得手段と、
    端末が撮影する画像を取得する入力手段と、
    前記画像と前記複数の静止画とから合成画像を生成する合成手段と、
    を備え、
    前記合成手段は、前記オブジェクトの視線が所定の方向を向く構図の合成画像を生成する、
    ことを特徴とする画像処理システム。
20. 請求項１から１９のいずれか１項の画像処理システムが搭載された端末。

Images