本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施例を参照すると明確になるだろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で実装されるものであり、単に本実施例は、本発明の開示が完全になるようにし、本発明が属する技術分野で通常の知識を持つ者に発明の範疇を完全に知らせるために提供されているものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一参照符号は同一の構成要素を指す。
本明細書で使用される用語は、実施例を説明するためのものであり、本発明を制限するものではない。本明細書では、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」および/または「含んでいる(comprising)」は、言及された構成要素、段階、動作、および/または素子は、一つ以上の他の構成要素、段階、動作、および/または素子の存在または追加を排除しない。
他の定義がない場合は、本明細書で使用されるすべての用語(技術および科学的用語を含む)は、本発明が属する技術分野で通常の知識を持つ者に共通して理解される意味で使用することができる。また、一般的に使用される辞書に定義されている用語は、明白に特別に定義されていない限り、理想的または過度に解釈されない。
まず、以下では、図面を参照して、本発明の実施形態に係る端末スタンドの制御及び画像合成システムについて詳細に説明する。
図1は、本発明のいくつかの実施形態に係る端末スタンドの制御及び画像合成システムを示す概略図である。
図1を参照すると、本発明の実施形態に係る端末スタンドの制御及び画像合成システムは、端末スタンド(100)、ユーザー端末(200)、及び制御サーバー(300)を含む。
端末スタンド(100)は、ユーザー端末(200)を取り付けた後、ユーザー端末(200)のカメラを利用して、被写体を撮影するために使用される撮影補助装置である。端末スタンド(100)は、回転可能な取付け部に固定されたユーザー端末(200)の撮影方向と撮影角度を自動的に調整することができ、ユーザー端末(200)にインストールされているアプリケーションを介して制御することができる。
ユーザー端末(200)は、インストールされているアプリケーションを介して制御サーバー(300)で撮影画面内の被写体の位置、被写体の移動方向、移動速度、および撮影された画像などのデータを送信することができる。
本発明の実施例において、ユーザー端末(200)は、携帯電話、スマートフォン、及びウェアラブルデバイス(例えば、ウォッチ型端末など)などの個体識別番号を持つことができる移動可能な電子機器を意味することができる。ここで、ユーザー端末(200)のオペレーティングシステム(OS)は、特定のオペレーティングシステム(例えば、アイオーエス(iOS)またはアンドロイド(Android(登録商標))オペレーティングシステム)に限定されないのはもちろんである。
また、ユーザー端末(200)は、ユーザーの入力を受信する入力部、ビジュアル情報をディスプレイするディスプレイ部、外部と信号を送受信する通信部、及びデータをプロセッシングし、ユーザー端末(200)の内部の各ユニットを制御し、ユニット間のデータ送信/受信を制御する制御部を含むことができる。以下、ユーザーの命令に基づいて制御部がユーザー端末(200)の内部で実行することは、ユーザー端末(200)が実行することと通称する。このとき、端末スタンド(100)の回転速度及び回転方向などを制御するのに必要な演算は、ユーザー端末(200)で実行することができる。
追加的に、本発明の他の実施例において、制御サーバー(300)は、ユーザー端末(200)にインストールされているアプリケーションを介して入力されたデータを用いて、端末スタンド(100)の回転速度及び回転方向などを制御することができる。
制御サーバー(300)とユーザー端末(200)は、クライアントサーバシステムで実装することができる。また、端末スタンド(100)を制御するために必要な演算を実行する演算実行主体は制御サーバー(300)になることができる。
このとき、ユーザー端末(200)は、インストールされてアプリケーションを介して制御サーバー(300)で撮影画面内の被写体の位置、被写体の移動方向と移動速度などのデータを送信することができる。
ユーザー端末(200)は、通信部を介して、移動通信のための技術標準又は通信方式に基づいて構築された移動通信網上で、制御サーバー(300)で少なくとも1つの無線信号を送受信することができる。
制御サーバー(300)は、ユーザー端末(200)から受信したデータを管理及び保存することができる。制御サーバー(300)に保存されたデータは、端末スタンド(100)及びユーザー端末(200)に共有される。ここで、制御サーバー(300)は、クライアントに通信網を介して情報やサービスを提供するコンピュータシステムで、コンピュータ(sever program)またはデバイス(device)を意味することができる。
また、制御サーバー(300)は、特定の業者や個人によって直接運営ないし管理されるか、外部に委託されることがあり、同じ主体によって運営されることもある。また、制御サーバー(300)で行う機能は、多数のサーバーから分離して行うことができる。ただし、以下では、説明の便宜のために、ユーザー端末(200)が端末スタンド(100)の制御動作の演算実行主体であることを例に挙げて説明する。
一方、本発明の他の実施例において、制御サーバー(300)は、ユーザー端末(200)にインストールされているアプリケーションを介して入力されたデータを用いて、端末スタンド(100)の回転速度及び回転方向などを制御することができる。また、クリアゾーンを利用して撮影された画像を合成することができる。
同様に、制御サーバー(300)と端末スタンド(100)は、クライアントサーバシステムで実装することができる。制御サーバー(300)は、ユーザー端末(200)にプレインストールされているアプリケーションから提供するユーザーインターフェース(例えば、50:50の機能のインターフェース及びMany Me機能インターフェースなど)(以下、ユーザーインターフェース)を介して回転角度と回転方向を入力することができる。このとき、回転角度は、合成する画像の数とクリアゾーンの大きさをもとに決定することができる。制御サーバー(300)は、ユーザー端末(200)の撮影画面上にクリアゾーンを表示することができる。
第1領域に対する撮影が完了した後、制御サーバー(300)は制御信号を介して、あらかじめ設定された回転角度と回転方向を含むあらかじめ設定された角度で端末スタンド(100)の回転部(図2の110)を回転させた後、次の領域に対する撮影を進行することができる。
このとき、撮影された画像は、制御サーバー(300)に送信することができる。
制御サーバー(300)は、複数個の撮影された画像間のクリアゾーンの共通部分を抽出することができる。続いて、共通部分が重なるように複数の画像を合成することができる。
このとき、制御サーバー(300)は、インターネット、例えば、有線または無線ネットワークを介して端末スタンド(100)とユーザー端末(200)とデータを送受信することができる。
図面上には一つの端末スタンド(100)だけを図示したが、本発明がこれに限定されるものではなく、制御サーバー(300)は、複数の端末スタンド(100)と連動して動作することができる。
本発明の画像合成方法において、端末スタンド(100)を制御する主体は、ユーザー端末(200)または制御サーバー(300)であることができる。ただし、以下では説明の便宜のために、ユーザー端末(200)が端末スタンド(100)を制御することを例に挙げて説明する。
図2は、本発明のいくつかの実施形態に係る端末スタンドを示す図面である。図3は、本発明のいくつかの実施形態に係る端末スタンドの構成を説明するためのブロック図である。
図1、図2、及び図3を参照すると、本発明の実施形態に係る端末スタンド(100)は、回転部(110)と本体部(120)を含むことができる。
回転部(110)には、固定台(CH)、水平台(SL)、絞り(FM)、及び360度回転台(RP)を含むことができる。固定台(CH)、水平台(SL)、及び絞り(FM)は、360度回転台(RP)上に配置することができる。
具体的には、固定台(CH)はユーザー端末(200)を固定することができる。ユーザーは、ユーザー端末(200)を水平台(SL)の上にのせた後、固定台(CH)で固定することにより、ユーザー端末(200)を水平に固定することができる。
ユーザーは、固定台(CH)と絞り(FM)との間にユーザー端末(200)を位置させた後、絞り(FM)を絞ることで、ユーザー端末(200)が揺れないように固定させることができる。
360度回転台(RP)は、ユーザー端末(200)を回転させることで、動く被写体を撮影できるようにする。360度回転台(RP)は、モーター部(121)と、外部的に接続することができる。これにより、360度回転台(RP)の回転方向と回転速度は、本体部(120)内のモーター部(121)の動きに応じて変更することができる。360度回転台(RP)が回転する場合、360度回転台(RP)の上に結合されている固定台(CH)、水平台(SL)、及び絞り(FM)は、一緒に回転することができる。
このとき、ユーザー端末(200)が固定台(CH)に固定された場合、ユーザー端末(200)は、360度回転台(RP)の回転に応じて、一緒に回転することができる。
本体部(120)の外観には、電源ボタン(LS)及び支持台などを含むことができる。ユーザーは、電源ボタン(LS)をタッチ又はクリックすることで、端末スタンド(100)の電源をオンオフすることができる。
このとき、ユーザーは端末スタンド(100)の電源ボタン(LS)のランプの発光有無をもとに、端末スタンド(100)の作動状態を確認することができる。
例えば、端末スタンド(100)が動作している場合、端末スタンド(100)は、電源ボタン(LS)に含まれているランプ(例えば、LED)を発光させることができる。しかし、端末スタンド(100)の電源が切れた場合、端末スタンド(100)は、電源ボタン(LS)の発光を停止させることができる。
追加的に、端末スタンド(100)は、本体部(120)の下側に形成された支持部をさらに含むことができる。支持台は、端末スタンド(100)の重心を下げることにより、端末スタンド(100)が揺れずに水平に維持されるように固定することができる。
図2及び図3を参照すると、端末スタンド(100)は、回転部(110)と本体部(120)を含むことができる。
本体部(120)は、モーター部(121)、制御部(122)、及び通信部(123)を含むことができる。制御部(122)で受信した制御信号をもとに、モーター部(121)は端末スタンド(100)内モーターの回転方向と回転速度を設定することができる。以下では、モーターがモーター部(121)の内部で実行することは、モーター部(121)が実行することと通称する。モーター部(121)が設定された回転方向と回転速度で回転する場合、モーター部(121)と接続された360度回転台(RP)は、モーター部(121)と同じ回転方向と回転速度で回転することができる。
制御部(122)は、ユーザー端末(200)を介して抽出された被写体の移動速度及び移動方向などを算出することができる。制御部(122)は、算出された値をもとに、モーター部(121)の回転速度及び回転方向を算出することができる。続いて、算出したモーター部(121)の回転速度及び回転方向を制御信号に変換してモーター部(121)に送信することができる。
このとき、制御部(122)は、ユーザー端末(200)を介して事前に入力された角度で端末スタンド(100)の回転部(110)が回転するように制御部(122)を制御することができる。事前に入力された角度を制御信号に変換してモーター部(121)に送信することができる。
通信部(123)は、無線通信プロトコルを利用する通信モジュール(例えば、Wi-FiまたはBluetooth(登録商標))を介して、ユーザー端末(200)とデータを送受信することができる。また、通信部(160)は、制御部(122)から受信した制御信号などをモーター部(121)に送信することができる。
図4は、本発明の一実施形態に係る端末スタンドの制御方法を説明するための流れ図である。
図1、図3、及び図4を参照すると、本発明の一実施形態に係る端末スタンドの制御方法において、ユーザー端末(200)は、端末スタンド(100)とペアリングする(S110)。このとき、ユーザー端末(200)と端末スタンド(100)は、事前に定められた通信プロトコルに基づいて、ペアリングすることができる。
続いて、ユーザー端末(200)は、ユーザーから撮影開始信号を受信する(S120)。このとき、ユーザーは、ユーザー端末(200)にインストールされているアプリケーションを介して自動撮影を設定することができる。また、撮影画面内の撮影ボタンとリモコン撮影ボタンを利用して撮影を開始することができる。
続いて、ユーザー端末(200)は、画像撮影動作を行う(S130)。このとき、撮影された画像は、制御サーバー(300)に送信することができる。
続いて、ユーザー端末(200)は、撮影された画像から被写体を抽出する(S140)。このとき、ユーザーは、抽出する被写体を直接設定することができ、端末スタンド(100)の制御システムが抽出する被写体を自動的に設定することができる。
続いて、ユーザー端末(200)は、被写体が撮影された画像の中央領域に位置するように端末スタンド(100)のモーター部(121)を制御する(S150)。このとき、中央領域は、ユーザー端末(200)によって自動的に設定されるか、またはユーザーがアプリケーションを利用して、被写体の位置領域を指定することによって設定される。
具体的には、ユーザー端末(200)は、抽出した被写体が動いた場合、被写体の移動方向と移動速度などのデータを算出することができる。算出されたデータをもとに、ユーザー端末(200)は、端末スタンド(100)の制御部(122)を介して制御信号を生成することができる。送信された制御信号を用いて、制御部(122)は、モーター部(121)の回転速度及び回転方向を制御することにより、被写体を中央領域に位置させることができる。
このとき、モーター部(121)は、端末スタンドの回転部(110)と結合され、モーター部(121)が回転する場合、回転部(110)は、モーター部(121)と同じ回転速度及び回転方向に回転することができる。ただし、本発明がこれに限定されるものではなく、ユーザーはアプリケーションを介して抽出された被写体を位置させる位置(例えば、右、左など)を変更して設定することができる。
続いて、ユーザー端末(200)は、撮影が終了するまで、S140段階乃至S150段階を繰り返して実行する。
続いて、ユーザー端末(200)は、ユーザー端末(200)から撮影停止信号を受信する(S160)。
図5は、本発明の一実施形態に係る端末スタンドを制御するインターフェースを説明するための図面である。
図1、図3、及び図5の<a1>を参照すると、ユーザーはアプリケーション内の撮影メニューを利用して、撮影機能を選択することができる。
ユーザーがアプリケーションの撮影メニューボタンをクリックまたはタッチする場合、ユーザー端末(200)は、ユーザー端末(200)に撮影メニューのポップアップを表示することができる。撮影メニューのポップアップはキャプチャモード、パノラマモード、メニ―ミ―(Many Me)モード、及び50:50モードなどを含むことができる。ユーザーは、必要とする撮影モードアイコンをクリックまたはタッチすることにより実行することができる。
<a2>を参照すると、ユーザーはトラッキング設定のポップアップを利用して、トラッキングを設定することができる。
具体的には、ユーザーがキャプチャモード撮影画面をタッチしたり、スワイプ及び設定ボタンをクリックしたりする場合、ユーザー端末(200)は、トラッキング設定のポップアップを表示することができる。トラッキング設定のポップアップはトラッキング種類設定メニュー(AT)、被写体位置設定メニュー(TS)、及び予測追跡設定メニュー(FT)などを含むことができる。
ユーザーはトラッキング種類設定メニュー(AT)を用いて、トラッキングの種類を選択することができる。
例えば、ユーザーがフェイストラッキングを選択した場合、ユーザー端末(200)は、撮影された画像から被写体の顔を特徴点で抽出することができる。続いて、ユーザー端末(200)は、被写体の顔が動くたびに、モーター部(121)の回転速度及び回転方向を変化させることにより、被写体の顔を撮影された画像の中央領域に位置させることができる。
他の例として、ユーザーがアクショントラッキングを選択した場合、ユーザー端末(200)は、撮影された画像から被写体を抽出することができる。続いて、ユーザー端末(200)は、被写体が動くたびに、端末スタンド(100)のモーター部(121)と回転部(110)を回転させることで、被写体を撮影された画像の中央領域に位置させることができる。
また、ユーザーは、被写体位置設定メニュー(TS)を利用して、撮影された画像内の被写体の位置領域(例えば、左、右、中央)を選択することができる。
例えば、ユーザーが左を選択した場合、ユーザー端末(200)は、撮影された画像内の被写体が左側領域のブロック内に位置するように端末スタンド(100)のモーター部(121)を回転させることができる。画面内で被写体が右に動く場合、端末スタンド(100)のモーター部(121)を右に回転することにより、撮影された画像内の被写体が左側領域のブロック内に位置するように撮影することができる。
このとき、被写体の位置領域の大きさと位置は、ユーザー端末(200)によって自動的に設定することができ、ユーザーによって直接設定することができる。
具体的には、ユーザーは被写体位置設定メニュー(TS)で被写体の位置領域を選択することができる。ユーザーが被写体の位置領域を選択すると、ユーザー端末(200)は、撮影画面に被写体の位置領域のブロックを表示することができる。ユーザーは、撮影画面内の被写体の位置領域のブロックをタッチ又はクリックすることで、大きさと位置を調整することができる。
また、ユーザーは、予測追跡設定メニュー(FT)を利用して、予測追跡モードを実行することができる。ユーザーが予測追跡モードを実行する場合、被写体が撮影画面を離脱しても、ユーザー端末(200)は、端末スタンド(100)を回転させることで被写体を追尾して撮影することができる。
これに対する具体的な内容は、図10乃至図11を参照して、詳細に説明する。
以下では、本発明の実施形態に係るフェイストラッキング機能及びアクショントラッキング機能について詳しく説明する。
図6は、本発明の一実施形態に係る端末スタンドのフェイストラッキング機能を説明するための図面である。
図1、図3、及び図6の<b1>を参照すると、ユーザー端末(200)は、フェイストラッキング機能を利用して画像を撮影することができる。
具体的には、ユーザーがフェイストラッキングを選択すると、ユーザー端末(200)は、撮影画面内の被写体の顔を抽出した後、被写体の顔に顔認識マーク(FC)を表示することができる。
このとき、被写体の顔は、ユーザー端末(200)が自動的に抽出するか、またはユーザーが直接指定することによって抽出される。
続いて、ユーザー端末(200)は、顔認識マーク(FC)が中央領域ブロック(CA)内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。ユーザーが被写体の位置を右側または左側に設定する場合、ユーザー端末(200)は、顔認識マーク(FC)が右側領域のブロックまたは左側領域のブロック内に表示されるように、端末スタンド(100)のモーター部(121)を回転させることができる。
続いて、顔認識マーク(FC)が中央領域ブロック(CA)内に表示された場合、ユーザー端末(200)は、画像を撮影することができる。
このとき、ユーザーが自動モードを設定した場合、ユーザー端末(200)は、自動的に撮影を進行することができる。
一方、ユーザーが手動モードを設定した場合、ユーザーは、リモコンの撮影ボタンを選択したり、撮影画面内の撮影ボタン(CB)をクリックまたはタッチしたりすることで、直接撮影することができる。
ユーザーが動画撮影切り替えボタン(VM)をタッチまたはクリックすると、ユーザー端末(200)は、画像撮影画面を動画撮影画面に切り替えることができる。
<b2>を参照すると、ユーザー端末(200)は、フェイストラッキングを利用して動画を撮影することができる。
動画撮影待機画面(VS)を見ると、ユーザー端末(200)は、撮影画面内の被写体の顔に顔認識マーク(FC)を表示することができる。
続いて、ユーザー端末(200)は、顔認識マーク(FC)が中央領域ブロック(CA)内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。
このとき、ユーザーは画像撮影切り替えボタン(CM)をタッチまたはクリックすることにより、動画撮影画面を画像撮影画面に切り替えることができる。
本発明がこれに限定されるではなく、ユーザー端末(200)は、被写体の顔が抽出された後、被写体の顔に表示された顔認識マーク(FC)が、ユーザーが設定した領域のブロック内に表示されるときに、自動的に撮影を開始することができる。
動画撮影開始前に、ユーザーは画像撮影切り替えボタン(CM)をタッチまたはクリックすることにより、画像撮影画面に自由に切り替えることができる。
動画撮影進行画面(VE)を見ると、被写体の顔が、ユーザーが設定した領域のブロック(例えば、中央領域のブロック)内に維持されている。
このとき、ユーザーは、キャプチャボタン(CB)をタッチまたはクリックすることで、撮影されている動画画面をキャプチャすることができる。また、一時停止ボタン(SB)をクリックすることにより撮影を一時中断することができ、再クリックすることにより再び進行することができる。
例えば、ユーザーが被写体の位置を中央領域ブロック(CA)に設定した場合、ユーザー端末(200)は、被写体の顔の位置を中央領域のブロック内に維持することができる。動画撮影中、被写体の顔の位置が変更される場合、ユーザー端末(200)は、端末スタンド(100)のモーター部(121)を回転させることができる。被写体の顔を検出した後、ユーザー端末(200)は、画面内の被写体の顔に顔認識マーク(FC)を表示することができる。続いて、ユーザー端末(200)は、顔認識マーク(FC)が中央領域ブロック(CA)内に位置するように端末スタンド(100)のモーター部(121)を回転させることができる。
続いて、ユーザーは、撮影終了ボタン(VB2)をタッチまたはクリックすることで、撮影を終了することができる。
このとき、ユーザー端末(200)は、動画撮影開始後、動画撮影進行時間が、ユーザーがあらかじめ設定した動画撮影の長さに達すると、撮影を自動的に終了することができる。
図7は、図6のフェイストラッキング機能の一例を説明するための図面である。
図1、図3、及び図7の<c1>を参照すると、ユーザー端末(200)は、被写体の顔を自動的に抽出することができる。ユーザー端末(200)は、抽出された被写体の顔に顔認識マーク(FC)を表示することができる。続いて、ユーザー端末(200)は、被写体の顔認識マーク(FC)が中央領域ブロック(CA)内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。
<c2>を参照すると、被写体が左側に動いたことを確認することができる。ユーザー端末(200)は、制御信号をもとに、端末スタンド(100)のモーター部(121)を左側方向に回転させることができる。端末スタンド(100)のモーター部(121)が回転することにより、ユーザー端末(200)は、左側に回転することができる。続いて、ユーザー端末(200)は、被写体の顔に顔認識マーク(FC)を表示し、顔認識マーク(FC)が中央領域のブロック内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。
<c3>を参照すると、被写体が右側に動いたことを確認することができる。ユーザー端末(200)は、被写体の顔に顔認識マーク(FC)を表示し、顔認識マーク(FC)が中央領域のブロック内に表示されるように端末スタンド(100)のモーター部(121)を右側に回転させることができる。端末スタンド(100)のモーター部(121)が回転することにより、ユーザー端末(200)も一緒に回転して動画撮影を行うことができる。
図8は、本発明の一実施形態に係る端末スタンドのアクショントラッキング機能を説明するための図面である。
図1、図3、及び図8の<d1>を参照すると、ユーザーはアクショントラッキング撮影画面内の被写体をタッチしたり、抽出する被写体の特徴点に図形(例えば、正方形の円)などを描いたりすることで、抽出する被写体を設定することができる。
ユーザー端末(200)は、入力された被写体の特徴点を抽出することができる。
<d2>を参照すると、ユーザー端末(200)は、抽出された被写体の特徴点に被写体認識マーク(OC)を表示することができる。続いて、ユーザー端末(200)は、被写体認識マーク(OC)が中央領域ブロック(CA)内に位置するように、端末スタンド(100)のモーター部(121)を回転させることができる。
例えば、ユーザーが自転車妙技を披露する人の足を特徴点に設定した場合、ユーザー端末(200)は、人の足に被写体認識マーク(OC)を表示することができる。続いて、人の足が右側に動く場合、ユーザー端末(200)は、端末スタンド(100)のモーター部(121)を右側に回転させることができる。ユーザー端末(200)は、被写体認識マーク(OC)を表示し、被写体認識マーク(OC)が中央領域ブロック(CA)に入ってくると、端末スタンド(100)のモーター部(121)の回転を停止することができる。
図9は、図8のアクショントラッキング機能の一例を説明するための図面である。
図1、図3、及び図9の<e1>を参照すると、ユーザー端末(200)は、被写体の体に被写体認識マーク(OC)を表示することができる。被写体認識マーク(OC)が中央領域ブロック(CA)内に位置するように、ユーザー端末(200)は、端末スタンド(100)のモーター部(121)を回転させることができる。
<e2>を参照すると、ユーザー端末(200)は、被写体が右側に動く様子を撮影している。ユーザー端末(200)は、被写体認識マーク(OC)が中央領域ブロック(CA)内に位置するように端末スタンド(100)のモーター部(121)を右側に回転させることができる。
<e3>を参照すると、ユーザー端末(200)が端末スタンド(100)のモーター部(121)を回転させることで、右側に動いた被写体の被写体認識マーク(OC)が中央領域ブロック(CA)内に位置することを確認することができる。<e1>、<e2>、及び<e3>の端末スタンド(100)方向を確認すると、ユーザー端末(200)が端末スタンド(100)の回転部を(110)右側に回転させたことを確認することができる。
図10は、本発明の他の実施形態に係る端末スタンドの制御方法を説明するための流れ図である。
図1、図3、及び図10を参照すると、ユーザー端末(200)は、抽出された被写体の移動速度と方向を算出する(S201)。
このとき、ユーザー端末(200)は、被写体に被写体認識マークを表示することができ、ユーザー端末(200)は、被写体認識マークの移動速度と方向を算出することにより、被写体の移動速度と方向を算出することができる。
続いて、ユーザー端末(200)は、算出された移動速度と方向をもとに、モーター部(121)の回転速度と方向を算出する(S202)。
このとき、算出された移動速度と方向のデータは端末スタンド(100)内の制御部に伝達することができ、制御部(122)は、これをもとに制御信号を生成することができる。
続いて、ユーザー端末(200)は、算出された回転速度及び回転方向をもとに、モーター部(121)を制御する(S203)。
このとき、ユーザー端末(200)は、制御信号をモーター部(121)に伝達することにより、モーター部(121)の回転方向と可変速度などを制御することができる。
続いて、ユーザー端末(200)は、被写体が画面外に離脱したかどうかを確認する(S204)。
被写体が画面の外に離脱していない場合、ユーザー端末(200)は、S201段階乃至S204段階を繰り返して実行する。
一方、被写体が画面の外に離脱した場合、ユーザー端末(200)は、モーター部(121)の回転速度をあらかじめ決められた最大回転速度に設定する(S205)。具体的には、ユーザー端末(200)は、前記で抽出した被写体の移動方向をもとに、モーター部(121)の回転方向を被写体が離脱した方向と同一に設定することができる。ユーザー端末(200)は、あらかじめ決められた最大回転速度でモーター部(121)の回転速度を制御することにより、端末スタンド(100)の回転部(110)を回転させることができる。
このとき、ユーザーはアプリケーションのユーザーインターフェースを介して、被写体が撮影画面外に離脱した場合、モーター部(121)をあらかじめ決められた最大回転速度に設定する動作に対するオンオフを設定することができる。ユーザーがオンに設定した場合、被写体が撮影画面外に離脱したとき、モーター部(121)は、被写体が離脱した方向にあらかじめ決められた最大回転速度で回転することができる。一方、ユーザーがオフに設定した場合、モーター部(121)は、被写体が離脱した方向に既存の回転速度を維持しながら回転することができる。
続いて、ユーザー端末(200)は、被写体を検出したかどうかを確認する(S206)。
被写体を検出していない場合、ユーザー端末(200)は、S205段階乃至S206段階を繰り返して実行する。
一方、撮影画面内から離脱した被写体が検出された場合、ユーザー端末(200)は、モーター部(121)の回転速度をあらかじめ決められた範囲内に再設定する(S207)。
モーター部(121)の回転速度が再設定されると、ユーザー端末(200)は、S201段階乃至S207段階を繰り返して実行する。
図11は、図10の端末スタンドの制御方法において、離脱した被写体の検出及び撮影方法の一例を説明するための図面である。
図1、図3、及び図11の<f1>を参照すると、ユーザー端末(200)は、抽出された被写体の顔に被写体認識マーク(FC)を表示することができる。ユーザー端末(200)は、被写体認識マーク(FC)を利用して、被写体の移動方向と移動速度などを算出することができる。ユーザー端末(200)は、算出したデータをもとに、モーター部(121)を制御することにより、被写体認識マーク(FC)をユーザーが設定した中央領域ブロック(CA)内に位置させることができる。
<f2>を参照すると、抽出された被写体が画面の左側の外に離脱して、被写体が認識されない画面を確認することができる。このとき、ユーザー端末(200)は、被写体の離脱前に算出した被写体の移動方向と移動速度をもとに、モーター部(121)の制御信号を生成することができる。ユーザー端末(200)は、制御信号を介して、モーター部(121)の回転方向を左側に設定して回転速度を最大に設定することができる。続いて、モーター部(121)が制御されることによって、回転部(110)は、最大速度で左側方向に向かって回転することができる。
<f3>を参照すると、ユーザー端末(200)は、被写体の顔を検出し、被写体認識マーク(FC)を表示することができる。
このとき、ユーザー端末(200)は、被写体の顔を検出するまで、モーター部(121)を制御して回転部(110)を回転させることができる。被写体が検出された場合、ユーザー端末(200)は、被写体認識マーク(FC)を表示した後、被写体認識マーク(FC)が中央領域ブロック(CA)内に位置するように回転部(110)を回転させることができる。
図12は、本発明の他の実施形態に係る端末スタンドの制御方法を説明するための流れ図である。
図1、図3、及び図12を参照すると、ユーザー端末(200)は、抽出された被写体特徴点の移動速度及び移動方向を算出する(S301)。
このとき、抽出された被写体特徴点は、ユーザー端末(200)によって自動的に設定することができ、ユーザーが直接タッチあるいはクリックして設定することができる。また、ユーザー端末(200)は、抽出された被写体の特徴点に特徴点認識マークを表示することができる。
続いて、ユーザー端末(200)は、算出された移動速度及び移動方向をもとに、モーター部(121)の回転速度と方向を算出してモーター部(121)を制御する(S302)。
このとき、ユーザー端末(200)は、制御部(122)で生成した制御信号を介して、モーター部(121)を制御することができる。
続いて、ユーザー端末(200)は、被写体特徴点が画面内から消えるかどうかを判断する(S303)。
このとき、被写体の特徴点が画面内に存在する場合、ユーザー端末(200)は、S401段階乃至S403段階を繰り返して実行する。
一方、被写体の特徴点が画面内から消えた場合、ユーザー端末(200)は、被写体の他の特徴点を抽出する(S304)。
このとき、被写体の他の特徴点は、ユーザー端末(200)によって自動抽出されたり、ユーザーによって直接設定したりすることができる。他の特徴点が抽出された場合、ユーザー端末(200)は、被写体認識マークを表示し、被写体が設定された位置領域ブロック内に位置するように回転部(110)を回転させることができる。
続いて、ユーザー端末(200)は、前述したS301段階乃至S303段階を繰り返して実行することができる。
図13及び図14は、図12の端末スタンドの制御方法に対する一例を説明するための図面である。
図1、図3、及び図13を参照すると、ユーザー端末(200)は、抽出された被写体の顔の移動速度と方向を算出する(S401)。
このとき、ユーザーは、撮影画面内の被写体の顔をクリックまたはタッチすることで、被写体の顔を特徴点として抽出することができる。また、ユーザー端末(200)は、抽出された被写体の顔に顔認識マークを表示することができる。
このとき、最初に抽出された被写体の顔は、基本的な抽出値に設定することができる。
続いて、ユーザー端末(200)は、算出された移動速度と方向を利用して、モーター部(121)を制御する(S402)。
続いて、ユーザー端末(200)は、被写体の顔が画面内から消えるかどうかを確認する(S403)。
このとき、被写体の顔が画面内に存在する場合、ユーザー端末(200)は、S401段階乃至S403段階を繰り返して実行する。
一方、被写体の顔が画面内から消えた場合は、ユーザー端末(200)は、被写体の他の特徴点を抽出する(S404)。
このとき、ユーザー端末(200)は、被写体に含まれる顔と隣接した他の身体、物体、及び動きがある部分などを他の特徴点として自動的に抽出することができる。またはユーザーが直接クリックまたはタッチすることで、他の特徴点を設定することができる。また、ユーザー端末(200)は、抽出された他の特徴点に特徴点認識マークを表示することができる。
続いて、ユーザー端末(200)は、抽出された他の特徴点の移動速度及び移動方向を算出する(S405)。
続いて、ユーザー端末(200)は、再抽出された特徴点の算出された移動速度及び移動方向を利用して、モーター部(121)を制御する(S406)。
このとき、ユーザー端末(200)は、基本抽出値である被写体の顔を自動的に検索することができる。
続いて、ユーザー端末(200)は、被写体の顔を検出したかどうかを確認する(S407)。
このとき、被写体の顔が画面内に検出されていない場合、ユーザー端末(200)は、S404段階乃至S407段階を繰り返して実行する。
このとき、被写体の顔が画面内に検出された場合、ユーザー端末(200)は、他の特徴点抽出を中断して、基本抽出値である被写体の顔を特徴点として優先的に認識して抽出することができる。ユーザー端末(200)は、抽出された被写体の顔に顔認識マークを表示することができる。
続いて、ユーザー端末(200)は、S401段階乃至S407段階を繰り返して実行する。
図1、図3、及び図14を参照すると、ユーザー端末(200)の被写体の他の特徴点抽出及び制御方法を利用した動画撮影画面を示す。
図14の<g1>を参照すると、ユーザー端末(200)は、抽出された被写体の顔に顔認識マーク(FC)を表示することができる。また、ユーザー端末(200)は、回転部(110)を回転させ、顔認識マーク(FC)を中央領域ブロック(CA)内に位置させることができる。
<g2>を参照すると、抽出された被写体の顔が左側に移動して、抽出された被写体の顔と顔認識マークが画面内から消えたことを確認することができる。ユーザー端末(200)は、抽出された被写体の顔が認識される間、算出した移動速度及び移動方向をもとに、端末スタンド(100)のモーター部(121)を制御することができる。モーター部(121)の回転により、回転部(110)は左側に回転させることができる。
このとき、前記抽出された被写体の顔が消えた場合は、ユーザー端末(200)は、被写体の胴体を他の特徴点として抽出することができる。被写体の他の特徴点を抽出した後、ユーザー端末(200)は、被写体の胴体に胴体認識マーク(TC)を表示することができる。
続いて、被写体胴体は右側に移動し続けることができる。ユーザー端末(200)は、被写体の胴体が中央領域ブロック(CA)内に位置するように回転部(110)を回転し続けることができる。
<g3>を参照すると、ユーザー端末(200)は、前記抽出された被写体の顔を検出した後、被写体の抽出特徴点を顔に再設定することで、顔認識マーク(FC)を表示することができる。
続いて、ユーザー端末(200)は、抽出された被写体の顔が中央領域ブロック(CA)内に位置するように、モーター部(121)を制御することができる。
一方、以下では、本発明の実施形態に係る画像合成方法及びこれを実行するシステムについて説明する。
図15は、本発明の実施形態に係る画像合成システムの動作方法を説明するための流れ図である。
図1、図14、及び図15を参照すると、本発明の実施形態に係る画像合成システムにおいて、まず、ユーザーは端末スタンド(100)とユーザー端末(200)をペアリングする(S510)。
このとき、ユーザー端末(200)は、プリインストールされているアプリケーションをもとに、Bluetooth、Wi-Fi、及びデータなどを利用して端末スタンド(100)及び端末サーバ(300)と、信号及びデータを送受信することができる。
続いて、画像合成システムは、ユーザー端末(200)から撮影開始信号を受信した後、撮影動作を実行する(S520)。
このとき、ユーザーはプリインストールされているアプリケーションを利用して、フェイストラッキング、アクショントラッキング、及び50:50など、必要とするタイプの撮影を選択することができる。ユーザーは手動モード又は自動モードを選択することで、撮影を開始することができる。
撮影が開始された場合、画像合成システムは、ユーザー端末(200)の撮影画面上にクリアゾーンを表示する(S530)。
このとき、クリアゾーンを撮影画面の一側または向かい合う両側に表示することができ、ユーザーの入力をもとに、位置及び大きさを変化することができる。
このとき、クリアゾーンは、ユーザー端末(200)の画面上に点、線、及び明暗などで表示することができる。また、ユーザーは、クリアゾーンを確認した後、撮影する被写体の位置や構図などを構想することができる。
続いて、ユーザー端末(200)は、第1領域に対する画像を撮影する(S540)。
このとき、画像合成システムは、ユーザー端末(200)を介して、フラッシュを発光させたり音を出したりすることで、ユーザーに各領域に対する撮影開始及び終了の瞬間を伝えることができる。
続いて、第1領域に対する画像撮影が完了した場合、画像合成システムは、端末スタンド(100)の回転部(110)があらかじめ決められた角度で回転するようにモーター部(121)を制御する(S550)。
具体的には、画像合成システムは、ユーザーインターフェースを通じて、あらかじめ設定された角度をもとに、ユーザー端末(200)が第2領域を向くように端末スタンドの回転部(110)を回転させることができる。
続いて、ユーザー端末(200)は、第2領域に対する画像を撮影する(S560)。
このとき、画像合成システムは、ユーザーがアプリケーションを利用して、あらかじめ設定したすべての領域をすべて撮影するまで、S550乃至S560を繰り返して実行する。
続いて、すべての領域の撮影が終わった場合、画像合成システムは、重なり合うクリアゾーンを利用して撮影された画像を合成する(S570)。
このとき、撮影された画像は、それぞれクリアゾーンの領域を含むことができる。
具体的には、制御サーバー(300)は、ユーザー端末(200)を介して撮影された画像及びデータを転送することができる。続いて、制御サーバー(300)は、撮影された画像内の共通のクリアゾーンの領域を導出することができる。続いて、制御サーバー(300)は、画像内の共通のクリアゾーンの領域を重ねあうことで、画像を合成することができる。
以下では、撮影した画像及び動画を合成して1つの動画に示す50:50の技術を詳細に説明する。
図16は、本発明の実施形態に係る画像合成システムの50:50の機能の動作方法を説明するための流れ図である。
図14及び図16を参照すると、画像合成システムは、ユーザー端末(200)を介して50:50の機能選択を受信する(S610)。
続いて、画像合成システムは、端末スタンド(100)の回転方向と動画撮影時間を受信する(S620)。
具体的には、ユーザーは、ユーザーインターフェースを使用して、端末スタンド(100)に含まれているモーター部(121)の回転方向(例えば、時計回り、反時計回り)、回転角度、及び動画撮影時間を直接設定することができる。
続いて、画像合成システムは、ユーザー端末(200)の撮影画面にクリアゾーンを表示する(S630)。
このとき、クリアゾーンは、ユーザーの入力によるモーター部(121)の回転角度と回転方向に応じて表示される位置と大きさを変化することができる。続いて、ユーザー端末(200)は、第1領域に対する画像を撮影する(S640)。
このとき、第1領域の画像は、静止画像を含むことができる。続いて、画像合成システムは、端末スタンド(100)の回転部(110)があらかじめ決められた角度で回転するようにモーター部(121)を制御する(S650)。
具体的には、画像合成システムは、ユーザーインターフェースを介して、あらかじめ設定された角度をもとに、モーター部(121)の制御信号を生成することができる。続いて、受信した制御信号をもとに、モーター部(121)は、ユーザー端末(200)が第2領域を向くように、モーター部(121)を回転させることができる。モーター部(121)が回転することによって、モーター部(121)と接続されていた回転部(110)も回転することができる。
続いて、ユーザー端末(200)は、第2領域に対する動画を撮影する(S660)。
このとき、ユーザーは、自動又は手動で動く動画を撮影することができる。例えば、自動モードを設定した場合、ユーザー端末(200)は、ユーザーインターフェースを介して、あらかじめ設定された動画の撮影長さをもとに動画を撮影することができる。また、手動モードを設定した場合、ユーザーは、リモコンを使用して、撮影開始と撮影終了を手動で行うことができる。続いて、画像合成システムは、撮影された画像のクリアゾーンと撮影された動画のクリアゾーンとの間の共通部分を抽出する(S670)。
このとき、画像合成システムは、端末スタンド(100)が回転した角度をもとに、画像のクリアゾーンと動画のクリアゾーンとの間の共通部分を抽出することができる。
続いて、画像合成システムは、撮影された画像と、撮影された動画を合成して新たな動画を生成して、ユーザー端末(200)に提供する(S680)。
具体的には、画像合成システムは、クリアゾーンの共通部分を中心に、一側に静止画像が配置され、他側に動く動画が配置された第1領域及び第2領域を併合して新しい動画を生成することができる。
このとき、ユーザーは、撮影された動画で合成に使用する区間を設定することができる。画像合成システムは、撮影された画像と、ユーザーが設定した動画区間を合成して1つの動画に表すことができる。
図17は、本発明の実施形態に係る画像合成システムの50:50機能インターフェースを示す図面である。
図1、図14、及び図17の<h1>を参照すると、ユーザーが50:50機能の撮影画面をタッチしたり、スワイプ及び設定ボタンをクリックしたりする場合、画像合成システムは、50:50の機能の設定ポップアップ(SB)を表示することができる。50:50機能の設定ポップアップ(SB)は、撮影方向メニュー(CD)、撮影モードメニュー(MS)、及び動画撮影長さメニュー(VL)などを含むことができる。ユーザーは50:50機能の設定ポップアップ(SB)を利用して、50:50機能に対する撮影方向、撮影モード、及び動画撮影時間などを設定することができる。
ユーザーは、撮影方向メニュー(CD)を利用して、画像や動画の撮影方向を設定することができる。
例えば、ユーザーがCCW(以下、反時計回り)ボタンを選択すると、モーター部(121)は、反時計回りに回転することができる。ユーザー端末(200)とペアリングされた端末スタンド(100)が反時計回りに回転する場合、ユーザー端末(200)は、端末スタンド(100)の回転部(110)のように反時計回りに回転し、画像や動画を撮影することができる。このとき、モーター部(121)は、50:50機能の設定ポップアップ(SB)を介してあらかじめ設定された角度で回転することができる。
一方、ユーザーがCW(以下、時計回り)ボタンを選択すると、モーター部(121)は、時計方向に回転することができる。モーター部(121)と接続された回転部(110)が時計回りに回転することにより、ユーザー端末(200)は、時計方向に回転し、画像や動画を撮影することができる。
また、ユーザーは、撮影モードメニュー(MS)を利用して、手動撮影モードまたは自動撮影モードを設定することができる。
ユーザーは、撮影モードメニュー(MS)でManual(以下、手動撮影モード)またはAuto(以下、自動撮影モード)ボタンを選択することができる。ただし、本実施例がこれらに限定されるものではない。
ユーザーが自動撮影モードを選択した場合、ユーザー端末(200)は、自動的に撮影を行うことができる。
例えば、ユーザー端末(200)が、第1領域で画像の自動撮影を完了した場合、モーター部(121)は、あらかじめ設定された方向と角度で回転することができる。モーター部(121)と回転部(110)の回転が完了した場合、ユーザー端末(200)は、第2領域に対する動画撮影を自動的に実行することができる。
ユーザーが手動撮影モードを選択した場合、ユーザーは直接撮影ボタンをタッチ又はクリックしたり、リモコンを使用したりすることで、撮影を行うことができる。
例えば、ユーザー端末(200)と端末スタンド(100)が、第1領域に向かって位置している状態で、ユーザーは、リモコン撮影ボタンを利用したり、撮影画面内の撮影ボタンを直接タッチまたはクリックしたりすることにより、手動で画像撮影を実行することができる。第1領域の撮影を完了した場合、ユーザーは、リモコン及び撮影画面の回転ボタンを選択することにより、モーター部(121)をあらかじめ設定された方向と角度に回転させることができる。このとき、モーター部(121)と回転部(110)の回転が完了した場合、ユーザーは、リモコン及び撮影画面の撮影ボタンを選択することにより、動画撮影を開始することができる。続いて、ユーザーは、撮影ボタンを再クリックすることで、動画撮影を終了することができる。
ただし、本発明がこれに限定されるものではなく、モーター部(121)は、手動撮影モードでボタンを選択しなくても、あらかじめ設定された角度をもとに、自動的に回転することができる。
また、ユーザーは、動画撮影長さメニュー(VL)を利用して撮影する動画の長さを設定することができる。
例えば、ユーザーが1sボタンを選択すると、ユーザー端末(200)は、動画撮影が開始した後、1秒後に自動的に撮影を終了することができる。
本発明がこれに限定されるものではなく、動画の撮影長さは10s、1minなどいくつかの時間のボタンが含まれており、また、ユーザーが直接入力して設定することができる。
<h2>を参照すると、ユーザー端末(200)の撮影画面にクリアゾーン(CZ)を表示することができる。クリアゾーン(CZ)は、点、線、及び陰影などで撮影画面上に表示される。
モーター部(121)の回転角度に応じて、クリアゾーン(CZ)の大きさ(例えば、横幅及び縦幅など)を変更することができる。
例えば、ユーザーがモーター部(121)の回転角度を大きく設定する場合、第1領域の画像と第2領域動画の共通部分が少なくなる。このとき、クリアゾーン(CZ)の大きさが縮小される。逆に、回転角度を小さく設定する場合、共通部分が多くなってクリアゾーン(CZ)の大きさが拡大される。
図18は、本発明の実施形態に係る画像合成システムの50:50機能の一例を説明するための図面である。
ここで、図18の<i1>は、合成された動画の一場面を表し、<i2>は、合成された動画の他の場面を示す。
図14及び図18の<i1>を参照すると、画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)を合成して1つの動画に表すことができる。
画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)を並べて配置することができる。続いて、画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)の共通クリアゾーン(cz1)を抽出することができる。続いて、画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)の共通クリアゾーン(cz1)が重なり合うように合成することができる。
<i2>を参照すると、第1領域の画像(ar1)は<i1>の第1領域の画像(ar1)と同一であることを確認することができる。しかし、<i2>の第2領域の動画(ar2)の被写体は<i1>の第2領域の動画(ar2)の被写体と異なる行動を表現する場面を確認することができる。
これにより、画像合成システムは、50:50機能を利用して、画像と動画を一つの動画に合成することで、ユーザーに楽しみを与えることができる。
以下では、複数の画像を撮影した後、クリアゾーンをもとに撮影された画像を合成して1つの画像に示すMany Me機能について詳しく説明する。
図19は、本発明の他の実施形態に係る画像合成システムのMany Me機能の動作方法を説明するための流れ図である。
図19を参照すると、画像合成システムは、ユーザー端末(200)にインストールされているアプリケーションを介してMany Me機能選択を受信する(S710)。
続いて、画像合成システムは、合成する画像の数及び回転方向を受信する(S720)。
このとき、画像合成システムは、ユーザーが設定した画像の数の撮影に適した回転角度を推薦または自動設定することができる。
続いて、画像合成システムは、画面にクリアゾーンを表示する(S730)。
続いて、ユーザー端末(200)は、特定の領域に対する画像を撮影する(S740)。
続いて、撮影が完了した後、画像合成システムは、端末スタンド(100)の回転部(110)があらかじめ決められた角度で回転するように、モーター部(121)を制御する(S750)。
具体的には、画像合成システムは、ユーザーインターフェースを介してあらかじめ設定された角度をもとに、ユーザー端末(200)が、次の領域を向くように端末スタンド(100)の回転部(110)を回転させることができる。
続いて、ユーザー端末(200)は、次の領域に対する画像を撮影する(S760)。
このとき、画像合成システムは、ユーザーがアプリケーションを利用して、あらかじめ設定した画像の数をすべて撮影するまで、S750乃至S760を繰り返して実行する。
続いて、すべての撮影が終わった後、画像合成システムは、隣接撮影された複数の画像間の共通部分を抽出する(S770)。
このとき、画像合成システムは、モーター部(121)が回転した角度をもとに、隣接撮影された複数の画像のクリアゾーンの共通部分を抽出することができる。
続いて、画像合成システムは、抽出された共通部分を利用して、複数の画像を一つの画像に合成する(S780)。
具体的には、画像合成システムは、隣接撮影された複数の画像の共通部分を重なるように並べることにより、一つの画像に合成することができる。
続いて、画像合成システムは、合成された画像をユーザー端末に提供する(S790)。
図20は、本発明の他の実施形態に係る画像合成システムのMany Me機能インターフェースを示す図面である。
ここで、図20の<j1>は、Many Me機能の設定ポップアップを示し、<j2>は、Many Me撮影画面を示す。
図1及び図20の<j1>を参照すると、ユーザーがMany Me機能の撮影画面をタッチしたり、スワイプ及び設定ボタンをクリックしたりする場合、画像合成システムは、Many Me機能の設定ポップアップを表示することができる。Many Me機能の設定ポップアップは、合成数の設定メニュー(CN)、撮影方向メニュー(CD)、撮影モードメニュー(MS)、及びBurstモードメニュー(BM)などを含むことができる。
ユーザーは合成数の設定メニュー(CN)を利用して合成する画像の数を設定することができる。
具体的には、ユーザーは合成する画像の数だけ合成数の設定メニュー(CN)をタッチまたはクリックしたり、数字を入力したりすることにより、合成する画像の数を設定することができる。
このとき、画像合成システムは、ユーザーが設定した合成画像数に適したモーター部(121)の回転角度を推薦したり、自動的に設定したりすることができる。
また、ユーザーがモーター部(121)の回転角度を入力した場合、画像合成システムは、回転角度に適した合成画像の数を推薦及び自動的に設定することができる。
続いて、ユーザーは、撮影方向メニュー(CD)を利用して画像撮影方向を設定することができる。
例えば、ユーザーがCW(以下、時計回り)ボタンを選択すると、モーター部(121)は、時計方向に回転することができる。ユーザー端末(200)とペアリングされた端末スタンド(100)が時計方向に回転する場合、ユーザー端末(200)は、端末スタンド(100)と一緒に時計方向に回転し、画像を撮影することができる。このとき、モーター部(121)は、Many Me機能の設定ポップアップを介してあらかじめ設定された角度で回転することができる。
一方、ユーザーがCCW(以下、反時計回り)ボタンを選択すると、モーター部(121)は、反時計回りに回転することができる。モーター部(121)が反時計回りに回転することにより、回転部(110)及びユーザー端末(200)は、反時計回りに回転し、画像を撮影することができる。
また、ユーザーは、撮影モードメニュー(MS)を利用して、手動撮影モードまたは自動撮影モードを設定することができる。
ユーザーは、撮影モードメニュー(MS)でManual(以下、手動撮影モード)またはAuto(以下、自動撮影モード)ボタンを選択することができる。
ユーザーが自動撮影モードを選択した場合、ユーザー端末(200)は、自動的に撮影を行うことができる。
例えば、ユーザー端末(200)が特定領域で画像自動撮影を完了した場合、モーター部(121)は、あらかじめ設定された方向及び角度で回転することができる。端末スタンドの回転部(110)の回転が完了した後、ユーザー端末(200)は、次の領域に対する画像撮影を自動的に実行することができる。
ユーザーが手動撮影モードを選択した場合、ユーザーは直接撮影ボタンをタッチ又はクリックしたり、リモコンを使用したりすることにより、撮影を行うことができる。
例えば、ユーザー端末(200)及び端末スタンド(100)が特定領域に向いて位置された状態で、ユーザーは、リモコン撮影ボタンを利用したり、撮影画面内の撮影ボタンを直接タッチまたはクリックしたりすることにより、手動で画像撮影を行うことができる。特定領域の撮影が完了した場合、ユーザーは、リモコン及び撮影画面の回転ボタンを選択することにより、モーター部(121)をあらかじめ設定された方向と角度に回転させることができる。このとき、端末スタンド(100)の回転が完了した後、ユーザーは、リモコン及び撮影画面の撮影ボタンを利用して撮影を進行することができる。
本発明がこれに限定されるものではなく、ユーザーが手動撮影モードで回転ボタンを選択しなくても、モーター部(121)は、あらかじめ設定された角度をもとに、自動的に回転することができる。
また、ユーザーは、Burstモードメニュー(BM)を利用して、Burstモード(以下、バーストモード)を設定することができる。
画像合成システムは、バーストモードを利用して、各領域に対する画像連続撮影を行うことができる。バーストモードに対する具体的な内容は、図22及び図23で詳細に説明する。
<j2>を参照すると、ユーザー端末(200)の撮影画面にクリアゾーン(CZ)を表示することができる。クリアゾーン(CZ)は、点、線、及び陰影などで撮影画面上に表示することができる。
モーター部(121)の回転角度に応じて、クリアゾーン(CZ)の大きさ(例えば、横幅及び縦幅など)を変更することができる。
例えば、ユーザーが端末スタンド(100)の回転角度を大きく設定する場合、特定領域の画像と次の領域の画像の共通部分が少なくなる。このとき、クリアゾーン(CZ)の大きさが縮小されることがある。逆に、回転角度を小さく設定する場合、共通部分が多くなってクリアゾーン(CZ)の大きさが拡大されることがある。
また、画像合成システムは、端末スタンド(100)の回転方向と撮影領域に応じてクリアゾーン(CZ)を表示する位置を変えることができる。
最初の撮影領域である第1領域の第1画像及び最後の撮影領域の画像(例えば、第3画像)は、一つの画像とのみ合成することができるので、撮影画面上の一側及び他側にのみクリアゾーン(CZ)を表示することができる。また、最初の撮影画像及び最後の撮影画像を除いた他の領域の撮影画像(例えば、第2領域で撮影された第2画像)は、両方に合わせて二つの画像と合成することができるので、撮影画面上の向かい合う両側にクリアゾーン(CZ)を表示することができる。
例えば、端末スタンド(100)は、ユーザーインターフェースを介して回転方向を右側に入力されることがある。続いて、ユーザー端末(200)が第1角度で第1領域に対する撮影を実行する場合、クリアゾーンを撮影画面上の一側である右側に表示することができる。ユーザー端末(100)が第2角度で第2領域に対する撮影を実行する場合、クリアゾーンを撮影画面上の両側に表示することができる。また、ユーザー端末(100)が第3角度で第3領域に対する撮影を進行する場合、クリアゾーンを撮影画面上の他側である左側に表示することができる。続いて、第1領域及び第3領域で撮影された画像は、第2領域で撮影された第2画像の両側に合成することができる。
図21は、本発明の他の実施形態に係る画像合成システムのMany Me機能の一例を説明するための図面である。
ここで、図21の<k1>、<k2>、及び<k3>は、Many Meの撮影過程を説明する図面であり、<k4>は、Many Meの撮影後の合成された画像を示す図面である。
図1及び図21の<k1>を参照すると、ユーザーは端末スタンド(100)及びユーザー端末(200)を利用して、第1領域の画像を撮影することができる。このとき、クリアゾーンを撮影画面の一側に表示することができる。第1領域の第1画像撮影が完了した後、モーター部(121)及び回転部(rg1)は、あらかじめ設定された角度で回転することができる。
続いて、図21の<k2>を参照すると、第2角度で回転された端末スタンド(100)は、ペアリングされたユーザー端末(200)を利用して、第2領域の第2画像を撮影することができる。このとき、クリアゾーンを撮影画面の両側に表示することができる。第2画像撮影が完了した後、モーター部(121)及び回転部(rg2)は、あらかじめ設定された角度で回転することができる。
続いて、図21の<k3>を参照すると、端末スタンド(100)が自動的に第3角度で回転したことを確認することができる。ユーザー端末(200)は、第3角度で第3領域の第3画像を撮影することができる。このとき、クリアゾーンを撮影画面の両側に表示することができる。撮影が完了した後、モーター部(121)及び回転部(rg3)は、次の領域を撮影するために回転することができる。
図21の<k4>を参照すると、画像合成システムは、複数の画像を一つの画像に合成することができる。
例えば、画像合成システムは、第1画像(ar1)、第2画像(ar2)、第3画像(ar3)、及び第4画像(ar4)を合成して1つの画像で表すことができる。このとき、第1画像(ar1)は一側にクリアゾーンの領域を含むことができる。第2画像(ar2)及び第3画像(ar3)は両側にクリアゾーンの領域を含むことができ、第4画像(ar4)は他側にクリアゾーンの領域を含むことができる。続いて、画像合成システムは、隣接撮影された複数の画像間のクリアゾーンの共通部分を抽出することができる。
画像合成システムは、第1画像(ar1)と第2画像(ar2)との間の共通クリアゾーンの部分である第1クリアゾーン(cz1)を抽出することができる。続いて、画像合成システムは、第2画像(ar2)と第3画像(ar3)との間の共通部分である第2クリアゾーン(cz2)を抽出することができる。
続いて、画像合成システムは、第3画像(ar3)と第4画像(ar4)との間の共通クリアゾーンの部分である第3クリアゾーン(cz3)を抽出することができる。画像合成システムは、第1クリアゾーン(cz1)を重ねることにより、第1画像(ar1)と第2画像(ar2)を合成することができる。続いて、画像合成システムは、前記合成された画像に第2クリアゾーン(cz2)を重ねることにより、第3画像(ar3)を合成することができる。続いて画像合成システムは、前記の合成画像に第3クリアゾーン(cz3)を重ねることにより、第4画像(ar4)を合成することができる。
これにより、画像合成システムは、Many Me機能を利用して、複数個の画像を一つの画像に合成することができ、ユーザーの利便性を向上させることができる。
以下では、Many Me機能で連続撮影を利用して1つの領域に複数の写真を撮影することができるBurstモードについて詳細に説明する。
図22は、本発明の他の実施形態に係る画像合成システムのBurstモード機能の動作方法を説明するための流れ図である。
図22を参照すると、画像合成システムは、Many Me機能の設定ポップアップを介してBurstモード選択を受信する(S810)。
このとき、画像合成システムは、合成する画像の数、回転方向、回転角度などを受信することができる。
続いて、画像合成システムは、撮影画面にクリアゾーンを表示する(S820)。
続いて、ユーザー端末(200)は、特定領域に対する画像を連続撮影する(S830)。
このとき、ユーザー端末(200)は、ユーザーインターフェースを介して、あらかじめ設定された撮影回数だけ連続撮影を進行することができる。
続いて、撮影が完了した後、画像合成システムは、端末スタンドの回転部があらかじめ決められた角度で回転するようにモーター部(121)を制御する(S840)。
具体的には、画像合成システムは、ユーザー端末(200)内のユーザーインターフェースを介して、あらかじめ設定された角度をもとに、ユーザー端末(200)が、次の領域に向くように端末スタンド(100)の回転部を回転させることができる。
続いて、ユーザー端末(200)は、次の領域に対する画像を撮影する(S850)。
このとき、画像合成システムは、ユーザーがアプリケーションを利用して、あらかじめ設定した撮影領域をすべて撮影するまで、S840乃至S850を繰り返して実行する。
続いて、すべての撮影が終わった後、画像合成システムは、各領域で連続撮影された画像のうち、1枚を選定する(S860)。
このとき、画像合成システムは、鮮明度及び被写体のブレなどを考慮して、各領域ごとに1枚の画像を推薦及び自動選定することができる。また、ユーザーは、連続撮影された写真を確認し、直接選定することができる。
続いて、画像合成システムは、選択された複数の画像間の共通部分を抽出する(S870)。
このとき、画像合成システムは、モーター部(121)が回転した角度をもとに、隣接撮影された複数の画像のクリアゾーン内の共通部分を抽出することができる。
続いて、画像合成システムは、抽出された共通部分を利用して、複数の画像を一つの画像に合成する(S880)。
具体的には、画像合成システムは、隣接撮影された複数の画像の共通部分を重なるように並べることにより、一つの画像に合成することができる。
続いて、画像合成システムは、合成された画像をユーザー端末に提供する(S890)。
図23は、本発明の他の実施形態に係る画像合成システムのBurstモード機能の一例を説明するための図面である。
ここで、図23の<m1>、<m2>、及び<m3>は、Many Me機能内のBurstモード機能を使用して画像を撮影する過程を示し、<m4>は、連続撮影された画像を選定する過程を示す。また、<m5>は、選定された画像を合成して完成した画像を示す。
図1及び図23の<m1>を参照すると、画像合成システムは、Burstモード機能を使用してMany Me機能の第1領域画像を撮影する撮影画面を示す。画像合成システムは、撮影画面の両側にクリアゾーン(CZ)を表示することができる。ユーザー端末(200)は、ユーザーが設定した撮影回数だけ最初の領域画像に対して連続撮影を行うことができる。連続撮影が完了した後、画像合成システムは、端末スタンド(100)をあらかじめ設定された角度に回転させることができる。
図1及び図23の<m2>を参照すると、画像合成システムは、Burstモード機能を使用してMany Me機能の第2領域の画像を撮影する撮影画面を示す。撮影画面の両側にクリアゾーン(CZ)を表示することができる。ユーザー端末(200)は、ユーザーが設定した撮影回数だけ2番目の領域画像に対して連続撮影を行うことができる。
本発明がこれに限定されるものではなく、ユーザーは連続撮影進行の時間(例えば、5s)、連続撮影進行の間隔(例えば、2s選択時、特定領域に対して1枚を撮影した後、2s後に他の1枚を撮影するなど)などを設定することができる。第2領域に対する連続撮影が終了すると、端末スタンド(100)は、あらかじめ設定された角度で回転することができる。
図1及び図23の<m3>を参照すると、画像合成システムは、Burstモード機能を使用してMany Me機能の第3領域画像を撮影する撮影画面を示す。撮影画面には、クリアゾーン(CZ)を表示することができ、ユーザー端末(200)は、あらかじめ設定された連続撮影回数又は連続撮影進行の時間などをもとに、連続撮影を行うことができる。
図23 <m4>を参照すると、画像合成システムは、第2領域に対して連続撮影された画像のうち、1枚の画像を選定する過程である。すべての領域に対する連続撮影が終了すると、画像合成システムは、各領域に対する連続撮影画像を提供することができる。
例えば、ユーザーがユーザー端末(200)の画面内の第2領域を選択する場合、画像合成システムは、第2領域の連続撮影画像のリスト(BM)を画面の下部に提供することができる。ユーザーが連続撮影画像のうち1枚の画像をタッチまたはクリックする場合、画像合成システムは、ユーザーがタッチした画像を画面に表示することができる。ユーザーは、連続撮影画像のリスト(BM)をスクロールしたり、1枚ずつタッチして画像を画面に表示したりすることができる。ユーザーは、連続撮影画像のリスト(BM)のうち、合成に使用する画像を連続クリックまたは長くタッチすることで、合成画像に選定することができる。
また、画像合成システムは、連続撮影画像のうち、1枚の画像を自動的に選定することができる。画像合成システムは、連続撮影画像のリストのうち、解像度及び被写体のブレなどを考慮して、合成に使用する画像を推薦したり、自動選定したりすることができる。
図1及び図23の<m5>を参照すると、画像合成システムは、各領域ごとに選定された複数の画像を合成して1つの画像に表すことができる。画像合成システムは、第1領域画像(ar1)と第2領域画像(ar2)との間の第1クリアゾーンの共通部分(cz1)を抽出することができる。続いて、画像合成システムは、第2領域画像(ar2)と第3領域画像(ar3)との間の第2クリアゾーンの共通部分(cz2)を抽出することができる。画像合成システムは、抽出したクリアゾーンの共通部分が重なるように画像を並べることで、第1領域画像(ar1)、第2領域画像(ar2)、及び第3領域画像(ar3)を合成することができる。合成が完了した場合、画像合成システムは、合成された画像をユーザー端末(200)に提供することができる。
これにより、画像合成システムは、Many Me機能内のBurstモードを利用して連続撮影を進行した後、最もよく写った画像を抽出できるようにすることで、必要とする画像が撮れていない場合、ユーザーが再び撮影を進行しなければならない煩わしさを削減することができる。
まとめると、本発明に係る画像合成システムは、隣接した画像間の共通クリアゾーンの部分を抽出した後、共通部分が重なるように画像を合成することにより、複数枚の画像を一つの画像に提供することができる。
以上のように、本発明は、たとえ限定された実施例と図面によって説明されたが、本発明は、前記の実施例に限定されるものではなく、これは、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、以下に記載された特許請求の範囲によってのみ把握されるべきであり、異議均等または等価的変形のいずれも本発明の思想の範疇に属するといえる。