JP2022522189A - 端末スタンドの制御及び画像合成方法 - Google Patents

端末スタンドの制御及び画像合成方法 Download PDF

Info

Publication number
JP2022522189A
JP2022522189A JP2021550080A JP2021550080A JP2022522189A JP 2022522189 A JP2022522189 A JP 2022522189A JP 2021550080 A JP2021550080 A JP 2021550080A JP 2021550080 A JP2021550080 A JP 2021550080A JP 2022522189 A JP2022522189 A JP 2022522189A
Authority
JP
Japan
Prior art keywords
image
subject
shooting
user
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021550080A
Other languages
English (en)
Other versions
JP7277887B2 (ja
Inventor
キム、ケン
ウク チュン、チ
Original Assignee
3アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200001427A external-priority patent/KR102347265B1/ko
Priority claimed from KR1020200001419A external-priority patent/KR102326877B1/ko
Application filed by 3アイ インコーポレイテッド filed Critical 3アイ インコーポレイテッド
Priority claimed from PCT/KR2020/016188 external-priority patent/WO2021101217A1/ko
Publication of JP2022522189A publication Critical patent/JP2022522189A/ja
Priority to JP2023072694A priority Critical patent/JP2023100764A/ja
Application granted granted Critical
Publication of JP7277887B2 publication Critical patent/JP7277887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本発明は、端末スタンドの制御及び画像合成方法に関する技術である。前記端末スタンドの制御方法は、端末スタンドと連携したユーザー端末のアプリケーションで実行される端末スタンドの制御方法において、前記端末スタンドと前記ユーザー端末をペアリングする段階、ユーザーの入力をもとに画像撮影を開始する段階、撮影された画像から被写体を抽出する段階、抽出された前記被写体の移動速度及び移動方向を算出する段階、及び算出された前記移動速度及び前記移動方向をもとに、前記端末スタンドに含まれているモーター部の回転速度及び回転方向を算出し、算出された前記回転速度及び前記回転方向をもとに前記モーター部を制御する段階を含む。

Description

本発明は、端末スタンドの制御及び画像合成方法に関するものである。具体的には、本発明は撮影された画像から抽出した被写体の動きを追跡して端末スタンドの回転速度及び回転方向を制御する方法に関するものである。また、本発明は、撮影画面上にクリアゾーンを視覚化して表示し、視覚化されたクリアゾーンをもとに撮影された画像を合成する画像合成方法に関するものである。
一般的に、遠距離通信を目的に制作された携帯電話は、技術の進歩により、伝統的な通信機能以外に、カメラ機能が付加されて写真や映像撮影が可能になった。特にスマートフォンの普及で写真や映像の遠隔通信が可能になり、従来の携帯カメラの代わりに携帯電話で画像情報を生成し、共有することが頻繁になっている。
ただし、カメラ機能が付加された携帯電話は、従来のカメラに比べて写真撮影時の揺れによって写真が鮮明に撮影されない欠点があり、携帯電話を持って長時間の動画を撮影する場合、不便さを感じる。
このような不便さを解消するためには、最近のユーザーは、自撮り棒及び三脚を使用して、写真を撮影する。ただし、動画撮影の場合には、被写体の動きに合わせて一緒に移動しなければならない不便さがあり、この場合は、依然として安定的な映像撮影が難しく、鮮明な映像を得ることが困難な問題点があった。
従来の携帯端末装置などは、分割撮影領域をユーザーが任意に手動で調節して撮影する。すなわち、三脚などにデジタルカメラないしはそれらの機能を有する端末装置を固定したまま、レンズの視野角を左側または右側の一側方向に一定に動かして撮影する。このとき、ユーザーは、一定の基準なしに任意でレンズの角度を水平移動するため、分割撮影された写真がそれぞれ連結されず、切れ切れに撮影されることがあるという問題点があった。
また、分割して撮影された複数の写真を合成する場合、撮影角度が一定ではないため、撮影された写真間の重なり合う領域の大きさは一定でない場合がほとんどである。したがって、複数の写真を連結する場合、隣接する分割写真間の重なり合う領域が広すぎると、分割写真の連結部位が不自然であったり、合成されなかったりする問題点があった。
本発明の目的は、被写体が移動することによって端末スタンドに取付けられたユーザー端末を一緒に回転させることで、動く被写体が画面に引き続き含まれるように自動的に動作する端末スタンドの制御方法を提供するものである。
また、本発明の目的は、抽出された被写体が撮影画面外に離脱する場合、被写体が画面内に含まれるように端末スタンドの回転速度が自動的に調整される端末スタンドの制御方法を提供するものである。
また、本発明の目的は、撮影画面内で抽出された被写体の特徴点が消えた場合、被写体の他の特徴点を抽出することにより、被写体が画面に引き続き含まれるように自動的に撮影方向を調節する端末スタンドの制御方法を提供するものである。
また、本発明の目的は、クリアゾーンを利用して撮影された画像を合成することにより、複数の画像を一つの画像に合成することができる画像合成方法を提供するものである。
また、本発明の目的は、各領域で画像と動画を撮影した後、クリアゾーンを利用して撮影された画像及び動画を合成することにより、新しい動画を生成することができる画像合成方法を提供するものである。
また、本発明の目的は、各領域で画像を連続撮影した後、クリアゾーンを利用して、各領域ごとに最もよく撮れた画像を合成することができる画像合成方法を提供するものである。
本発明の目的は、以上で言及した目的に制限されず、言及されていない本発明の他の目的及び長所は、下記の説明によって理解することができ、本発明の実施例により、より明確に理解されるだろう。また、本発明の目的及び長所は、特許請求の範囲に示した手段及びその組み合わせによって実現できることを容易に知ることができるだろう。
前記の技術的課題を達成するための本発明の実施形態に係る端末スタンドの制御方法は、端末スタンドと連携したユーザー端末のアプリケーションで実行される端末スタンドの制御方法において、前記端末スタンドと前記ユーザー端末をペアリングする段階、ユーザーの入力をもとに、画像撮影を開始する段階、撮影された画像から被写体を抽出する段階、抽出された前記被写体の移動速度及び移動方向を算出する段階、及び算出された前記移動速度及び前記移動方向をもとに、前記端末スタンドに含まれているモーター部の回転速度及び回転方向を算出し、算出された前記回転速度及び前記回転方向をもとに、前記モーター部を制御する段階を含む。
また、前記モーター部を制御する段階は、前記ユーザーの入力をもとに前記被写体を位置させる領域を設定し、前記被写体の位置が前記領域に維持されるように、前記回転速度及び前記回転方向を変化させることを含むことができる。
また、前記モーター部を制御する段階は、前記被写体が撮影画面外に離脱した場合、前記回転速度をあらかじめ決められた最大回転速度に設定し、前記回転方向を前記被写体が離脱した方向と同一に設定することを含むことができる。
また、前記モーター部を制御する段階は、移動する前記撮影画面内から離脱した前記被写体を検出した場合、前記回転速度をあらかじめ決められた範囲内に再設定することを含むことができる。
また、前記被写体が撮影画面外に離脱した場合、前記回転速度をあらかじめ決められた最大回転速度に設定する動作をオンオフすることができるユーザーインターフェースを提供する段階をさらに含むことができる。
また、前記被写体の移動速度及び移動方向を算出する段階は、前記被写体の特徴点の移動速度及び移動方向を算出するが、前記被写体の特徴点が撮影画面から消える場合、前記被写体に含まれた前記特徴点と異なる特徴点を再抽出し、再抽出された特徴点の移動速度及び移動方向を算出することを含むことができる。
また、前記被写体の移動速度及び移動方向を算出する段階は、前記被写体に含まれるユーザーの顔を前記特徴点に優先認識されて利用し、前記認識された顔が、前記撮影画面から消える場合、前記の顔と隣接する他の身体または物体を他の特徴点に再抽出して利用することができる。
また、前記被写体の移動速度及び移動方向を算出する段階は、消えた前記の顔が前記撮影画面で再度表示される場合、前記の顔を特徴点に再設定することを含むことができる。
また、前記抽出する被写体を設定する段階は、前記アプリケーションが前記画像に含まれた前記被写体を自動的に認識して設定するか、前記ユーザーから選択された部分を前記被写体に設定することを含むことができる。
一方、前記技術的課題を達成するための本発明の実施形態に係る端末スタンドの制御システムは、プロセッサ、及び前記プロセッサによって実行されるプログラムが保存されたメモリを含み、前記プログラムは、前記端末スタンドと前記ユーザー端末をペアリングするオペレーションと、ユーザーの入力をもとに画像の撮影を開始するオペレーションと、撮影された画像から被写体を抽出するオペレーションと、抽出された前記被写体の移動速度及び移動方向を算出するオペレーションと、算出された前記移動速度及び前記移動方向をもとに、前記端末スタンドに含まれているモーター部の回転速度及び回転方向を算出し、算出された前記回転速度及び前記回転方向をもとに前記モーター部を制御するオペレーションとを含むが、前記モーター部を制御するオペレーションは、前記被写体が撮影画面外に離脱した場合、前記回転速度をあらかじめ決められた最大回転速度に設定し、前記回転方向を前記被写体が離脱した方向と同一に設定することを含む。
一方、前記技術的課題を達成するための本発明の実施形態に係る画像合成方法は、端末スタンドと連携したユーザー端末のアプリケーションで実行される画像合成方法において、前記端末スタンドと前記ユーザー端末をペアリングする段階、ユーザーの入力をもとに、画像撮影を開始する段階、撮影画面にクリアゾーンを表示する段階、前記撮影画面に表示された第1領域に対する画像を撮影する段階、前記端末スタンドに含まれているモーター部を動作させ、前記第1領域と異なる第2領域に対する画像を撮影する段階、及び前記クリアゾーンを利用して、撮影された複数の画像を合成する段階を含む。
また、前記第1及び第2領域に対して撮影された画像は、それぞれ前記クリアゾーンの領域を含み、前記画像を合成する段階は、撮影された前記複数の画像に対して、前記クリアゾーンとの間の共通部分を抽出する段階と、抽出された前記共通部分を利用して、複数の画像を合成する段階を含むことができる。
また、前記第2領域に対する画像は、前記第2領域の動く動画を含むことができる。
また、前記画像を合成する段階は、前記共通部分を中心に一側に静止された画像が配置され、他側に動く動画が配置された前記第1領域及び前記第2領域を併合した新しい動画を生成することを含むことができる。
また、前記モーター部の回転方向及び前記動画撮影時間に対する入力を受信するユーザーインターフェースを提供する段階をさらに含むことができる。
また、合成する画像の数及び前記モーター部の回転方向に対する入力を受信するユーザーインターフェースを提供する段階と、前記合成する画像の数に応じて、既に撮影された領域で特定回転角度及び前記回転方向をもとに、移動された他の領域に対する画像を撮影する動作を繰り返して実行する段階をさらに含むことができる。
また、前記回転角度は、前記合成する画像の数及び前記クリアゾーンの大きさをもとに決定することができる。
また、前記第1領域に対する画像を撮影する段階及び前記第2領域に対する画像を撮影する段階は、当該領域に対して連続撮影したあと、連続撮影された画像のうち、当該領域当り1つの画像を手動または自動に選定することを含み、前記複数の画像を合成する段階は、それぞれの領域で選定された画像を一つの画像に合成することを含むことができる。
また、前記クリアゾーンは、前記撮影画面の一側または向かい合う両側に表示されることができ、前記ユーザーの入力に基づいて、位置及び大きさが変化することができる。
また、前記クリアゾーンは、前記ユーザーの入力に基づく前記端末スタンドの回転方向に応じて前記撮影画面上の位置が変化されるが、前記第1領域を撮影する場合、前記撮影画面の一側に表示され、前記第2領域を撮影する場合、前記撮影画面の両側に表示されることを含む。
一方、前記技術的課題を達成するための本発明の実施形態に係る画像合成システムは、ユーザー端末に備えられたプロセッサ及び前記プロセッサによって実行されるプログラムが保存されたメモリを含み、前記プログラムは、端末スタンドと前記ユーザー端末をペアリングするオペレーションと、ユーザーの入力をもとに画像撮影を開始するオペレーションと、撮影画面にクリアゾーンを表示するオペレーションと、前記撮影画面に表示された第1領域に対する画像を撮影するオペレーションと前記端末スタンドに含まれるモーター部を動作させ、前記第1領域と異なる第2領域に対する画像を撮影するオペレーションと、前記第1及び第2領域に対する画像に含まれているクリアゾーンの共通部分を利用して、撮影された複数の画像を合成するオペレーションとを含む。
本発明に係る端末スタンドの制御方法は、被写体が移動することによって、端末スタンドに取付けられたユーザー端末を一緒に回転させることで、ユーザーの位置の変化に応じて、カメラの位置を毎回移動させなければならない不便さを減少させることができる。
また、本発明は、抽出された被写体が撮影画面外に離脱する場合には、被写体が画面内に含まれるように端末スタンドの回転速度を自動的に調節することにより、被写体の速い動きを捕捉して映像の撮影を続けることができ、ユーザーの利便性を向上させることができる。
また、本発明は、撮影画面内で抽出された被写体の特徴点が消えた場合は、被写体の他の特徴点を抽出することにより、被写体が画面に引き続き含まれるようにすることで、被写体追跡機能の正確度を向上させることができる。
一方、本発明に係る画像合成方法は、画像と動画を合成して1つの新しい動画に生成することで、ユーザーに楽しさを提供することができる。
また、本発明は、端末スタンドが自動回転して画像を撮影し、クリアゾーンを利用して自動的に合成することができる。これにより、ユーザーは、撮影領域ごとに端末を直接移したり、画像間の共通部分内の合成位置を導出したりする必要がなくなることで、利便性が向上することができる。
また、本発明は、連続撮影を通じて各領域ごとに多量の画像を取得し、最も適した画像を選定することで、ユーザーが望む品質の画像が撮影されていない場合にユーザーが再び撮影する煩わしさを減らすことができる。
本発明の効果は、前述した効果に限定されず、本発明の当業者は、本発明の構成で本発明の様々な効果を容易に導出することができる。
本発明のいくつかの実施形態に係る端末スタンドの制御及び画像合成システムを示す概略図である。 本発明のいくつかの実施形態に係る端末スタンドを示す図面である。 本発明のいくつかの実施形態に係る端末スタンドの構成を説明するためのブロック図である。 本発明の一実施形態に係る端末スタンドの制御方法を説明するための流れ図である。 本発明の一実施形態に係る端末スタンドを制御するインターフェースを説明するための図面である。 本発明の一実施形態に係る端末スタンドのフェイストラッキング機能を説明するための図面である。 図6のフェイストラッキング機能の一例を説明するための図面である。 本発明の一実施形態に係る端末スタンドのアクショントラッキング機能を説明するための図面である。 図8のアクショントラッキング機能の一例を説明するための図面である。 本発明の他の実施形態に係る端末スタンドの制御方法を説明するための流れ図である。 図10の端末スタンドの制御方法において、離脱された被写体の検出及び撮影方法の一例を説明するための図面である。 本発明の他の実施形態に係る端末スタンドの制御方法を説明するための流れ図である。 図12の端末スタンドの制御方法に対する一例を説明するための図面である。 図12の端末スタンドの制御方法に対する一例を説明するための図面である。 本発明の実施形態に係る画像合成システムの動作方法を説明するための流れ図である。 本発明の実施形態に係る画像合成システムの50:50の機能の動作方法を説明するための流れ図である。 本発明の実施形態に係る画像合成システムの50:50の機能のインターフェースを示す図面である。 本発明の実施形態に係る画像合成システムの50:50の機能の一例を説明するための図面である。 本発明の他の実施形態に係る画像合成システムのMany Me機能の動作方法を説明するための流れ図である。 本発明の他の実施形態に係る画像合成システムのMany Me機能のインターフェースを示す図面である。 本発明の他の実施形態に係る画像合成システムのMany Me機能の一例を説明するための図面である。 本発明の他の実施形態に係る画像合成システムのBurstモード機能の動作方法を説明するための流れ図である。 本発明の他の実施形態に係る画像合成システムのBurstモード機能の一例を説明するための図面である。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施例を参照すると明確になるだろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で実装されるものであり、単に本実施例は、本発明の開示が完全になるようにし、本発明が属する技術分野で通常の知識を持つ者に発明の範疇を完全に知らせるために提供されているものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一参照符号は同一の構成要素を指す。
本明細書で使用される用語は、実施例を説明するためのものであり、本発明を制限するものではない。本明細書では、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」および/または「含んでいる(comprising)」は、言及された構成要素、段階、動作、および/または素子は、一つ以上の他の構成要素、段階、動作、および/または素子の存在または追加を排除しない。
他の定義がない場合は、本明細書で使用されるすべての用語(技術および科学的用語を含む)は、本発明が属する技術分野で通常の知識を持つ者に共通して理解される意味で使用することができる。また、一般的に使用される辞書に定義されている用語は、明白に特別に定義されていない限り、理想的または過度に解釈されない。
まず、以下では、図面を参照して、本発明の実施形態に係る端末スタンドの制御及び画像合成システムについて詳細に説明する。
図1は、本発明のいくつかの実施形態に係る端末スタンドの制御及び画像合成システムを示す概略図である。
図1を参照すると、本発明の実施形態に係る端末スタンドの制御及び画像合成システムは、端末スタンド(100)、ユーザー端末(200)、及び制御サーバー(300)を含む。
端末スタンド(100)は、ユーザー端末(200)を取り付けた後、ユーザー端末(200)のカメラを利用して、被写体を撮影するために使用される撮影補助装置である。端末スタンド(100)は、回転可能な取付け部に固定されたユーザー端末(200)の撮影方向と撮影角度を自動的に調整することができ、ユーザー端末(200)にインストールされているアプリケーションを介して制御することができる。
ユーザー端末(200)は、インストールされているアプリケーションを介して制御サーバー(300)で撮影画面内の被写体の位置、被写体の移動方向、移動速度、および撮影された画像などのデータを送信することができる。
本発明の実施例において、ユーザー端末(200)は、携帯電話、スマートフォン、及びウェアラブルデバイス(例えば、ウォッチ型端末など)などの個体識別番号を持つことができる移動可能な電子機器を意味することができる。ここで、ユーザー端末(200)のオペレーティングシステム(OS)は、特定のオペレーティングシステム(例えば、アイオーエス(iOS)またはアンドロイド(Android(登録商標))オペレーティングシステム)に限定されないのはもちろんである。
また、ユーザー端末(200)は、ユーザーの入力を受信する入力部、ビジュアル情報をディスプレイするディスプレイ部、外部と信号を送受信する通信部、及びデータをプロセッシングし、ユーザー端末(200)の内部の各ユニットを制御し、ユニット間のデータ送信/受信を制御する制御部を含むことができる。以下、ユーザーの命令に基づいて制御部がユーザー端末(200)の内部で実行することは、ユーザー端末(200)が実行することと通称する。このとき、端末スタンド(100)の回転速度及び回転方向などを制御するのに必要な演算は、ユーザー端末(200)で実行することができる。
追加的に、本発明の他の実施例において、制御サーバー(300)は、ユーザー端末(200)にインストールされているアプリケーションを介して入力されたデータを用いて、端末スタンド(100)の回転速度及び回転方向などを制御することができる。
制御サーバー(300)とユーザー端末(200)は、クライアントサーバシステムで実装することができる。また、端末スタンド(100)を制御するために必要な演算を実行する演算実行主体は制御サーバー(300)になることができる。
このとき、ユーザー端末(200)は、インストールされてアプリケーションを介して制御サーバー(300)で撮影画面内の被写体の位置、被写体の移動方向と移動速度などのデータを送信することができる。
ユーザー端末(200)は、通信部を介して、移動通信のための技術標準又は通信方式に基づいて構築された移動通信網上で、制御サーバー(300)で少なくとも1つの無線信号を送受信することができる。
制御サーバー(300)は、ユーザー端末(200)から受信したデータを管理及び保存することができる。制御サーバー(300)に保存されたデータは、端末スタンド(100)及びユーザー端末(200)に共有される。ここで、制御サーバー(300)は、クライアントに通信網を介して情報やサービスを提供するコンピュータシステムで、コンピュータ(sever program)またはデバイス(device)を意味することができる。
また、制御サーバー(300)は、特定の業者や個人によって直接運営ないし管理されるか、外部に委託されることがあり、同じ主体によって運営されることもある。また、制御サーバー(300)で行う機能は、多数のサーバーから分離して行うことができる。ただし、以下では、説明の便宜のために、ユーザー端末(200)が端末スタンド(100)の制御動作の演算実行主体であることを例に挙げて説明する。
一方、本発明の他の実施例において、制御サーバー(300)は、ユーザー端末(200)にインストールされているアプリケーションを介して入力されたデータを用いて、端末スタンド(100)の回転速度及び回転方向などを制御することができる。また、クリアゾーンを利用して撮影された画像を合成することができる。
同様に、制御サーバー(300)と端末スタンド(100)は、クライアントサーバシステムで実装することができる。制御サーバー(300)は、ユーザー端末(200)にプレインストールされているアプリケーションから提供するユーザーインターフェース(例えば、50:50の機能のインターフェース及びMany Me機能インターフェースなど)(以下、ユーザーインターフェース)を介して回転角度と回転方向を入力することができる。このとき、回転角度は、合成する画像の数とクリアゾーンの大きさをもとに決定することができる。制御サーバー(300)は、ユーザー端末(200)の撮影画面上にクリアゾーンを表示することができる。
第1領域に対する撮影が完了した後、制御サーバー(300)は制御信号を介して、あらかじめ設定された回転角度と回転方向を含むあらかじめ設定された角度で端末スタンド(100)の回転部(図2の110)を回転させた後、次の領域に対する撮影を進行することができる。
このとき、撮影された画像は、制御サーバー(300)に送信することができる。
制御サーバー(300)は、複数個の撮影された画像間のクリアゾーンの共通部分を抽出することができる。続いて、共通部分が重なるように複数の画像を合成することができる。
このとき、制御サーバー(300)は、インターネット、例えば、有線または無線ネットワークを介して端末スタンド(100)とユーザー端末(200)とデータを送受信することができる。
図面上には一つの端末スタンド(100)だけを図示したが、本発明がこれに限定されるものではなく、制御サーバー(300)は、複数の端末スタンド(100)と連動して動作することができる。
本発明の画像合成方法において、端末スタンド(100)を制御する主体は、ユーザー端末(200)または制御サーバー(300)であることができる。ただし、以下では説明の便宜のために、ユーザー端末(200)が端末スタンド(100)を制御することを例に挙げて説明する。
図2は、本発明のいくつかの実施形態に係る端末スタンドを示す図面である。図3は、本発明のいくつかの実施形態に係る端末スタンドの構成を説明するためのブロック図である。
図1、図2、及び図3を参照すると、本発明の実施形態に係る端末スタンド(100)は、回転部(110)と本体部(120)を含むことができる。
回転部(110)には、固定台(CH)、水平台(SL)、絞り(FM)、及び360度回転台(RP)を含むことができる。固定台(CH)、水平台(SL)、及び絞り(FM)は、360度回転台(RP)上に配置することができる。
具体的には、固定台(CH)はユーザー端末(200)を固定することができる。ユーザーは、ユーザー端末(200)を水平台(SL)の上にのせた後、固定台(CH)で固定することにより、ユーザー端末(200)を水平に固定することができる。
ユーザーは、固定台(CH)と絞り(FM)との間にユーザー端末(200)を位置させた後、絞り(FM)を絞ることで、ユーザー端末(200)が揺れないように固定させることができる。
360度回転台(RP)は、ユーザー端末(200)を回転させることで、動く被写体を撮影できるようにする。360度回転台(RP)は、モーター部(121)と、外部的に接続することができる。これにより、360度回転台(RP)の回転方向と回転速度は、本体部(120)内のモーター部(121)の動きに応じて変更することができる。360度回転台(RP)が回転する場合、360度回転台(RP)の上に結合されている固定台(CH)、水平台(SL)、及び絞り(FM)は、一緒に回転することができる。
このとき、ユーザー端末(200)が固定台(CH)に固定された場合、ユーザー端末(200)は、360度回転台(RP)の回転に応じて、一緒に回転することができる。
本体部(120)の外観には、電源ボタン(LS)及び支持台などを含むことができる。ユーザーは、電源ボタン(LS)をタッチ又はクリックすることで、端末スタンド(100)の電源をオンオフすることができる。
このとき、ユーザーは端末スタンド(100)の電源ボタン(LS)のランプの発光有無をもとに、端末スタンド(100)の作動状態を確認することができる。
例えば、端末スタンド(100)が動作している場合、端末スタンド(100)は、電源ボタン(LS)に含まれているランプ(例えば、LED)を発光させることができる。しかし、端末スタンド(100)の電源が切れた場合、端末スタンド(100)は、電源ボタン(LS)の発光を停止させることができる。
追加的に、端末スタンド(100)は、本体部(120)の下側に形成された支持部をさらに含むことができる。支持台は、端末スタンド(100)の重心を下げることにより、端末スタンド(100)が揺れずに水平に維持されるように固定することができる。
図2及び図3を参照すると、端末スタンド(100)は、回転部(110)と本体部(120)を含むことができる。
本体部(120)は、モーター部(121)、制御部(122)、及び通信部(123)を含むことができる。制御部(122)で受信した制御信号をもとに、モーター部(121)は端末スタンド(100)内モーターの回転方向と回転速度を設定することができる。以下では、モーターがモーター部(121)の内部で実行することは、モーター部(121)が実行することと通称する。モーター部(121)が設定された回転方向と回転速度で回転する場合、モーター部(121)と接続された360度回転台(RP)は、モーター部(121)と同じ回転方向と回転速度で回転することができる。
制御部(122)は、ユーザー端末(200)を介して抽出された被写体の移動速度及び移動方向などを算出することができる。制御部(122)は、算出された値をもとに、モーター部(121)の回転速度及び回転方向を算出することができる。続いて、算出したモーター部(121)の回転速度及び回転方向を制御信号に変換してモーター部(121)に送信することができる。
このとき、制御部(122)は、ユーザー端末(200)を介して事前に入力された角度で端末スタンド(100)の回転部(110)が回転するように制御部(122)を制御することができる。事前に入力された角度を制御信号に変換してモーター部(121)に送信することができる。
通信部(123)は、無線通信プロトコルを利用する通信モジュール(例えば、Wi-FiまたはBluetooth(登録商標))を介して、ユーザー端末(200)とデータを送受信することができる。また、通信部(160)は、制御部(122)から受信した制御信号などをモーター部(121)に送信することができる。
図4は、本発明の一実施形態に係る端末スタンドの制御方法を説明するための流れ図である。
図1、図3、及び図4を参照すると、本発明の一実施形態に係る端末スタンドの制御方法において、ユーザー端末(200)は、端末スタンド(100)とペアリングする(S110)。このとき、ユーザー端末(200)と端末スタンド(100)は、事前に定められた通信プロトコルに基づいて、ペアリングすることができる。
続いて、ユーザー端末(200)は、ユーザーから撮影開始信号を受信する(S120)。このとき、ユーザーは、ユーザー端末(200)にインストールされているアプリケーションを介して自動撮影を設定することができる。また、撮影画面内の撮影ボタンとリモコン撮影ボタンを利用して撮影を開始することができる。
続いて、ユーザー端末(200)は、画像撮影動作を行う(S130)。このとき、撮影された画像は、制御サーバー(300)に送信することができる。
続いて、ユーザー端末(200)は、撮影された画像から被写体を抽出する(S140)。このとき、ユーザーは、抽出する被写体を直接設定することができ、端末スタンド(100)の制御システムが抽出する被写体を自動的に設定することができる。
続いて、ユーザー端末(200)は、被写体が撮影された画像の中央領域に位置するように端末スタンド(100)のモーター部(121)を制御する(S150)。このとき、中央領域は、ユーザー端末(200)によって自動的に設定されるか、またはユーザーがアプリケーションを利用して、被写体の位置領域を指定することによって設定される。
具体的には、ユーザー端末(200)は、抽出した被写体が動いた場合、被写体の移動方向と移動速度などのデータを算出することができる。算出されたデータをもとに、ユーザー端末(200)は、端末スタンド(100)の制御部(122)を介して制御信号を生成することができる。送信された制御信号を用いて、制御部(122)は、モーター部(121)の回転速度及び回転方向を制御することにより、被写体を中央領域に位置させることができる。
このとき、モーター部(121)は、端末スタンドの回転部(110)と結合され、モーター部(121)が回転する場合、回転部(110)は、モーター部(121)と同じ回転速度及び回転方向に回転することができる。ただし、本発明がこれに限定されるものではなく、ユーザーはアプリケーションを介して抽出された被写体を位置させる位置(例えば、右、左など)を変更して設定することができる。
続いて、ユーザー端末(200)は、撮影が終了するまで、S140段階乃至S150段階を繰り返して実行する。
続いて、ユーザー端末(200)は、ユーザー端末(200)から撮影停止信号を受信する(S160)。
図5は、本発明の一実施形態に係る端末スタンドを制御するインターフェースを説明するための図面である。
図1、図3、及び図5の<a1>を参照すると、ユーザーはアプリケーション内の撮影メニューを利用して、撮影機能を選択することができる。
ユーザーがアプリケーションの撮影メニューボタンをクリックまたはタッチする場合、ユーザー端末(200)は、ユーザー端末(200)に撮影メニューのポップアップを表示することができる。撮影メニューのポップアップはキャプチャモード、パノラマモード、メニ―ミ―(Many Me)モード、及び50:50モードなどを含むことができる。ユーザーは、必要とする撮影モードアイコンをクリックまたはタッチすることにより実行することができる。
<a2>を参照すると、ユーザーはトラッキング設定のポップアップを利用して、トラッキングを設定することができる。
具体的には、ユーザーがキャプチャモード撮影画面をタッチしたり、スワイプ及び設定ボタンをクリックしたりする場合、ユーザー端末(200)は、トラッキング設定のポップアップを表示することができる。トラッキング設定のポップアップはトラッキング種類設定メニュー(AT)、被写体位置設定メニュー(TS)、及び予測追跡設定メニュー(FT)などを含むことができる。
ユーザーはトラッキング種類設定メニュー(AT)を用いて、トラッキングの種類を選択することができる。
例えば、ユーザーがフェイストラッキングを選択した場合、ユーザー端末(200)は、撮影された画像から被写体の顔を特徴点で抽出することができる。続いて、ユーザー端末(200)は、被写体の顔が動くたびに、モーター部(121)の回転速度及び回転方向を変化させることにより、被写体の顔を撮影された画像の中央領域に位置させることができる。
他の例として、ユーザーがアクショントラッキングを選択した場合、ユーザー端末(200)は、撮影された画像から被写体を抽出することができる。続いて、ユーザー端末(200)は、被写体が動くたびに、端末スタンド(100)のモーター部(121)と回転部(110)を回転させることで、被写体を撮影された画像の中央領域に位置させることができる。
また、ユーザーは、被写体位置設定メニュー(TS)を利用して、撮影された画像内の被写体の位置領域(例えば、左、右、中央)を選択することができる。
例えば、ユーザーが左を選択した場合、ユーザー端末(200)は、撮影された画像内の被写体が左側領域のブロック内に位置するように端末スタンド(100)のモーター部(121)を回転させることができる。画面内で被写体が右に動く場合、端末スタンド(100)のモーター部(121)を右に回転することにより、撮影された画像内の被写体が左側領域のブロック内に位置するように撮影することができる。
このとき、被写体の位置領域の大きさと位置は、ユーザー端末(200)によって自動的に設定することができ、ユーザーによって直接設定することができる。
具体的には、ユーザーは被写体位置設定メニュー(TS)で被写体の位置領域を選択することができる。ユーザーが被写体の位置領域を選択すると、ユーザー端末(200)は、撮影画面に被写体の位置領域のブロックを表示することができる。ユーザーは、撮影画面内の被写体の位置領域のブロックをタッチ又はクリックすることで、大きさと位置を調整することができる。
また、ユーザーは、予測追跡設定メニュー(FT)を利用して、予測追跡モードを実行することができる。ユーザーが予測追跡モードを実行する場合、被写体が撮影画面を離脱しても、ユーザー端末(200)は、端末スタンド(100)を回転させることで被写体を追尾して撮影することができる。
これに対する具体的な内容は、図10乃至図11を参照して、詳細に説明する。
以下では、本発明の実施形態に係るフェイストラッキング機能及びアクショントラッキング機能について詳しく説明する。
図6は、本発明の一実施形態に係る端末スタンドのフェイストラッキング機能を説明するための図面である。
図1、図3、及び図6の<b1>を参照すると、ユーザー端末(200)は、フェイストラッキング機能を利用して画像を撮影することができる。
具体的には、ユーザーがフェイストラッキングを選択すると、ユーザー端末(200)は、撮影画面内の被写体の顔を抽出した後、被写体の顔に顔認識マーク(FC)を表示することができる。
このとき、被写体の顔は、ユーザー端末(200)が自動的に抽出するか、またはユーザーが直接指定することによって抽出される。
続いて、ユーザー端末(200)は、顔認識マーク(FC)が中央領域ブロック(CA)内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。ユーザーが被写体の位置を右側または左側に設定する場合、ユーザー端末(200)は、顔認識マーク(FC)が右側領域のブロックまたは左側領域のブロック内に表示されるように、端末スタンド(100)のモーター部(121)を回転させることができる。
続いて、顔認識マーク(FC)が中央領域ブロック(CA)内に表示された場合、ユーザー端末(200)は、画像を撮影することができる。
このとき、ユーザーが自動モードを設定した場合、ユーザー端末(200)は、自動的に撮影を進行することができる。
一方、ユーザーが手動モードを設定した場合、ユーザーは、リモコンの撮影ボタンを選択したり、撮影画面内の撮影ボタン(CB)をクリックまたはタッチしたりすることで、直接撮影することができる。
ユーザーが動画撮影切り替えボタン(VM)をタッチまたはクリックすると、ユーザー端末(200)は、画像撮影画面を動画撮影画面に切り替えることができる。
<b2>を参照すると、ユーザー端末(200)は、フェイストラッキングを利用して動画を撮影することができる。
動画撮影待機画面(VS)を見ると、ユーザー端末(200)は、撮影画面内の被写体の顔に顔認識マーク(FC)を表示することができる。
続いて、ユーザー端末(200)は、顔認識マーク(FC)が中央領域ブロック(CA)内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。
このとき、ユーザーは画像撮影切り替えボタン(CM)をタッチまたはクリックすることにより、動画撮影画面を画像撮影画面に切り替えることができる。
本発明がこれに限定されるではなく、ユーザー端末(200)は、被写体の顔が抽出された後、被写体の顔に表示された顔認識マーク(FC)が、ユーザーが設定した領域のブロック内に表示されるときに、自動的に撮影を開始することができる。
動画撮影開始前に、ユーザーは画像撮影切り替えボタン(CM)をタッチまたはクリックすることにより、画像撮影画面に自由に切り替えることができる。
動画撮影進行画面(VE)を見ると、被写体の顔が、ユーザーが設定した領域のブロック(例えば、中央領域のブロック)内に維持されている。
このとき、ユーザーは、キャプチャボタン(CB)をタッチまたはクリックすることで、撮影されている動画画面をキャプチャすることができる。また、一時停止ボタン(SB)をクリックすることにより撮影を一時中断することができ、再クリックすることにより再び進行することができる。
例えば、ユーザーが被写体の位置を中央領域ブロック(CA)に設定した場合、ユーザー端末(200)は、被写体の顔の位置を中央領域のブロック内に維持することができる。動画撮影中、被写体の顔の位置が変更される場合、ユーザー端末(200)は、端末スタンド(100)のモーター部(121)を回転させることができる。被写体の顔を検出した後、ユーザー端末(200)は、画面内の被写体の顔に顔認識マーク(FC)を表示することができる。続いて、ユーザー端末(200)は、顔認識マーク(FC)が中央領域ブロック(CA)内に位置するように端末スタンド(100)のモーター部(121)を回転させることができる。
続いて、ユーザーは、撮影終了ボタン(VB2)をタッチまたはクリックすることで、撮影を終了することができる。
このとき、ユーザー端末(200)は、動画撮影開始後、動画撮影進行時間が、ユーザーがあらかじめ設定した動画撮影の長さに達すると、撮影を自動的に終了することができる。
図7は、図6のフェイストラッキング機能の一例を説明するための図面である。
図1、図3、及び図7の<c1>を参照すると、ユーザー端末(200)は、被写体の顔を自動的に抽出することができる。ユーザー端末(200)は、抽出された被写体の顔に顔認識マーク(FC)を表示することができる。続いて、ユーザー端末(200)は、被写体の顔認識マーク(FC)が中央領域ブロック(CA)内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。
<c2>を参照すると、被写体が左側に動いたことを確認することができる。ユーザー端末(200)は、制御信号をもとに、端末スタンド(100)のモーター部(121)を左側方向に回転させることができる。端末スタンド(100)のモーター部(121)が回転することにより、ユーザー端末(200)は、左側に回転することができる。続いて、ユーザー端末(200)は、被写体の顔に顔認識マーク(FC)を表示し、顔認識マーク(FC)が中央領域のブロック内に表示されるように端末スタンド(100)のモーター部(121)を回転させることができる。
<c3>を参照すると、被写体が右側に動いたことを確認することができる。ユーザー端末(200)は、被写体の顔に顔認識マーク(FC)を表示し、顔認識マーク(FC)が中央領域のブロック内に表示されるように端末スタンド(100)のモーター部(121)を右側に回転させることができる。端末スタンド(100)のモーター部(121)が回転することにより、ユーザー端末(200)も一緒に回転して動画撮影を行うことができる。
図8は、本発明の一実施形態に係る端末スタンドのアクショントラッキング機能を説明するための図面である。
図1、図3、及び図8の<d1>を参照すると、ユーザーはアクショントラッキング撮影画面内の被写体をタッチしたり、抽出する被写体の特徴点に図形(例えば、正方形の円)などを描いたりすることで、抽出する被写体を設定することができる。
ユーザー端末(200)は、入力された被写体の特徴点を抽出することができる。
<d2>を参照すると、ユーザー端末(200)は、抽出された被写体の特徴点に被写体認識マーク(OC)を表示することができる。続いて、ユーザー端末(200)は、被写体認識マーク(OC)が中央領域ブロック(CA)内に位置するように、端末スタンド(100)のモーター部(121)を回転させることができる。
例えば、ユーザーが自転車妙技を披露する人の足を特徴点に設定した場合、ユーザー端末(200)は、人の足に被写体認識マーク(OC)を表示することができる。続いて、人の足が右側に動く場合、ユーザー端末(200)は、端末スタンド(100)のモーター部(121)を右側に回転させることができる。ユーザー端末(200)は、被写体認識マーク(OC)を表示し、被写体認識マーク(OC)が中央領域ブロック(CA)に入ってくると、端末スタンド(100)のモーター部(121)の回転を停止することができる。
図9は、図8のアクショントラッキング機能の一例を説明するための図面である。
図1、図3、及び図9の<e1>を参照すると、ユーザー端末(200)は、被写体の体に被写体認識マーク(OC)を表示することができる。被写体認識マーク(OC)が中央領域ブロック(CA)内に位置するように、ユーザー端末(200)は、端末スタンド(100)のモーター部(121)を回転させることができる。
<e2>を参照すると、ユーザー端末(200)は、被写体が右側に動く様子を撮影している。ユーザー端末(200)は、被写体認識マーク(OC)が中央領域ブロック(CA)内に位置するように端末スタンド(100)のモーター部(121)を右側に回転させることができる。
<e3>を参照すると、ユーザー端末(200)が端末スタンド(100)のモーター部(121)を回転させることで、右側に動いた被写体の被写体認識マーク(OC)が中央領域ブロック(CA)内に位置することを確認することができる。<e1>、<e2>、及び<e3>の端末スタンド(100)方向を確認すると、ユーザー端末(200)が端末スタンド(100)の回転部を(110)右側に回転させたことを確認することができる。
図10は、本発明の他の実施形態に係る端末スタンドの制御方法を説明するための流れ図である。
図1、図3、及び図10を参照すると、ユーザー端末(200)は、抽出された被写体の移動速度と方向を算出する(S201)。
このとき、ユーザー端末(200)は、被写体に被写体認識マークを表示することができ、ユーザー端末(200)は、被写体認識マークの移動速度と方向を算出することにより、被写体の移動速度と方向を算出することができる。
続いて、ユーザー端末(200)は、算出された移動速度と方向をもとに、モーター部(121)の回転速度と方向を算出する(S202)。
このとき、算出された移動速度と方向のデータは端末スタンド(100)内の制御部に伝達することができ、制御部(122)は、これをもとに制御信号を生成することができる。
続いて、ユーザー端末(200)は、算出された回転速度及び回転方向をもとに、モーター部(121)を制御する(S203)。
このとき、ユーザー端末(200)は、制御信号をモーター部(121)に伝達することにより、モーター部(121)の回転方向と可変速度などを制御することができる。
続いて、ユーザー端末(200)は、被写体が画面外に離脱したかどうかを確認する(S204)。
被写体が画面の外に離脱していない場合、ユーザー端末(200)は、S201段階乃至S204段階を繰り返して実行する。
一方、被写体が画面の外に離脱した場合、ユーザー端末(200)は、モーター部(121)の回転速度をあらかじめ決められた最大回転速度に設定する(S205)。具体的には、ユーザー端末(200)は、前記で抽出した被写体の移動方向をもとに、モーター部(121)の回転方向を被写体が離脱した方向と同一に設定することができる。ユーザー端末(200)は、あらかじめ決められた最大回転速度でモーター部(121)の回転速度を制御することにより、端末スタンド(100)の回転部(110)を回転させることができる。
このとき、ユーザーはアプリケーションのユーザーインターフェースを介して、被写体が撮影画面外に離脱した場合、モーター部(121)をあらかじめ決められた最大回転速度に設定する動作に対するオンオフを設定することができる。ユーザーがオンに設定した場合、被写体が撮影画面外に離脱したとき、モーター部(121)は、被写体が離脱した方向にあらかじめ決められた最大回転速度で回転することができる。一方、ユーザーがオフに設定した場合、モーター部(121)は、被写体が離脱した方向に既存の回転速度を維持しながら回転することができる。
続いて、ユーザー端末(200)は、被写体を検出したかどうかを確認する(S206)。
被写体を検出していない場合、ユーザー端末(200)は、S205段階乃至S206段階を繰り返して実行する。
一方、撮影画面内から離脱した被写体が検出された場合、ユーザー端末(200)は、モーター部(121)の回転速度をあらかじめ決められた範囲内に再設定する(S207)。
モーター部(121)の回転速度が再設定されると、ユーザー端末(200)は、S201段階乃至S207段階を繰り返して実行する。
図11は、図10の端末スタンドの制御方法において、離脱した被写体の検出及び撮影方法の一例を説明するための図面である。
図1、図3、及び図11の<f1>を参照すると、ユーザー端末(200)は、抽出された被写体の顔に被写体認識マーク(FC)を表示することができる。ユーザー端末(200)は、被写体認識マーク(FC)を利用して、被写体の移動方向と移動速度などを算出することができる。ユーザー端末(200)は、算出したデータをもとに、モーター部(121)を制御することにより、被写体認識マーク(FC)をユーザーが設定した中央領域ブロック(CA)内に位置させることができる。
<f2>を参照すると、抽出された被写体が画面の左側の外に離脱して、被写体が認識されない画面を確認することができる。このとき、ユーザー端末(200)は、被写体の離脱前に算出した被写体の移動方向と移動速度をもとに、モーター部(121)の制御信号を生成することができる。ユーザー端末(200)は、制御信号を介して、モーター部(121)の回転方向を左側に設定して回転速度を最大に設定することができる。続いて、モーター部(121)が制御されることによって、回転部(110)は、最大速度で左側方向に向かって回転することができる。
<f3>を参照すると、ユーザー端末(200)は、被写体の顔を検出し、被写体認識マーク(FC)を表示することができる。
このとき、ユーザー端末(200)は、被写体の顔を検出するまで、モーター部(121)を制御して回転部(110)を回転させることができる。被写体が検出された場合、ユーザー端末(200)は、被写体認識マーク(FC)を表示した後、被写体認識マーク(FC)が中央領域ブロック(CA)内に位置するように回転部(110)を回転させることができる。
図12は、本発明の他の実施形態に係る端末スタンドの制御方法を説明するための流れ図である。
図1、図3、及び図12を参照すると、ユーザー端末(200)は、抽出された被写体特徴点の移動速度及び移動方向を算出する(S301)。
このとき、抽出された被写体特徴点は、ユーザー端末(200)によって自動的に設定することができ、ユーザーが直接タッチあるいはクリックして設定することができる。また、ユーザー端末(200)は、抽出された被写体の特徴点に特徴点認識マークを表示することができる。
続いて、ユーザー端末(200)は、算出された移動速度及び移動方向をもとに、モーター部(121)の回転速度と方向を算出してモーター部(121)を制御する(S302)。
このとき、ユーザー端末(200)は、制御部(122)で生成した制御信号を介して、モーター部(121)を制御することができる。
続いて、ユーザー端末(200)は、被写体特徴点が画面内から消えるかどうかを判断する(S303)。
このとき、被写体の特徴点が画面内に存在する場合、ユーザー端末(200)は、S401段階乃至S403段階を繰り返して実行する。
一方、被写体の特徴点が画面内から消えた場合、ユーザー端末(200)は、被写体の他の特徴点を抽出する(S304)。
このとき、被写体の他の特徴点は、ユーザー端末(200)によって自動抽出されたり、ユーザーによって直接設定したりすることができる。他の特徴点が抽出された場合、ユーザー端末(200)は、被写体認識マークを表示し、被写体が設定された位置領域ブロック内に位置するように回転部(110)を回転させることができる。
続いて、ユーザー端末(200)は、前述したS301段階乃至S303段階を繰り返して実行することができる。
図13及び図14は、図12の端末スタンドの制御方法に対する一例を説明するための図面である。
図1、図3、及び図13を参照すると、ユーザー端末(200)は、抽出された被写体の顔の移動速度と方向を算出する(S401)。
このとき、ユーザーは、撮影画面内の被写体の顔をクリックまたはタッチすることで、被写体の顔を特徴点として抽出することができる。また、ユーザー端末(200)は、抽出された被写体の顔に顔認識マークを表示することができる。
このとき、最初に抽出された被写体の顔は、基本的な抽出値に設定することができる。
続いて、ユーザー端末(200)は、算出された移動速度と方向を利用して、モーター部(121)を制御する(S402)。
続いて、ユーザー端末(200)は、被写体の顔が画面内から消えるかどうかを確認する(S403)。
このとき、被写体の顔が画面内に存在する場合、ユーザー端末(200)は、S401段階乃至S403段階を繰り返して実行する。
一方、被写体の顔が画面内から消えた場合は、ユーザー端末(200)は、被写体の他の特徴点を抽出する(S404)。
このとき、ユーザー端末(200)は、被写体に含まれる顔と隣接した他の身体、物体、及び動きがある部分などを他の特徴点として自動的に抽出することができる。またはユーザーが直接クリックまたはタッチすることで、他の特徴点を設定することができる。また、ユーザー端末(200)は、抽出された他の特徴点に特徴点認識マークを表示することができる。
続いて、ユーザー端末(200)は、抽出された他の特徴点の移動速度及び移動方向を算出する(S405)。
続いて、ユーザー端末(200)は、再抽出された特徴点の算出された移動速度及び移動方向を利用して、モーター部(121)を制御する(S406)。
このとき、ユーザー端末(200)は、基本抽出値である被写体の顔を自動的に検索することができる。
続いて、ユーザー端末(200)は、被写体の顔を検出したかどうかを確認する(S407)。
このとき、被写体の顔が画面内に検出されていない場合、ユーザー端末(200)は、S404段階乃至S407段階を繰り返して実行する。
このとき、被写体の顔が画面内に検出された場合、ユーザー端末(200)は、他の特徴点抽出を中断して、基本抽出値である被写体の顔を特徴点として優先的に認識して抽出することができる。ユーザー端末(200)は、抽出された被写体の顔に顔認識マークを表示することができる。
続いて、ユーザー端末(200)は、S401段階乃至S407段階を繰り返して実行する。
図1、図3、及び図14を参照すると、ユーザー端末(200)の被写体の他の特徴点抽出及び制御方法を利用した動画撮影画面を示す。
図14の<g1>を参照すると、ユーザー端末(200)は、抽出された被写体の顔に顔認識マーク(FC)を表示することができる。また、ユーザー端末(200)は、回転部(110)を回転させ、顔認識マーク(FC)を中央領域ブロック(CA)内に位置させることができる。
<g2>を参照すると、抽出された被写体の顔が左側に移動して、抽出された被写体の顔と顔認識マークが画面内から消えたことを確認することができる。ユーザー端末(200)は、抽出された被写体の顔が認識される間、算出した移動速度及び移動方向をもとに、端末スタンド(100)のモーター部(121)を制御することができる。モーター部(121)の回転により、回転部(110)は左側に回転させることができる。
このとき、前記抽出された被写体の顔が消えた場合は、ユーザー端末(200)は、被写体の胴体を他の特徴点として抽出することができる。被写体の他の特徴点を抽出した後、ユーザー端末(200)は、被写体の胴体に胴体認識マーク(TC)を表示することができる。
続いて、被写体胴体は右側に移動し続けることができる。ユーザー端末(200)は、被写体の胴体が中央領域ブロック(CA)内に位置するように回転部(110)を回転し続けることができる。
<g3>を参照すると、ユーザー端末(200)は、前記抽出された被写体の顔を検出した後、被写体の抽出特徴点を顔に再設定することで、顔認識マーク(FC)を表示することができる。
続いて、ユーザー端末(200)は、抽出された被写体の顔が中央領域ブロック(CA)内に位置するように、モーター部(121)を制御することができる。
一方、以下では、本発明の実施形態に係る画像合成方法及びこれを実行するシステムについて説明する。
図15は、本発明の実施形態に係る画像合成システムの動作方法を説明するための流れ図である。
図1、図14、及び図15を参照すると、本発明の実施形態に係る画像合成システムにおいて、まず、ユーザーは端末スタンド(100)とユーザー端末(200)をペアリングする(S510)。
このとき、ユーザー端末(200)は、プリインストールされているアプリケーションをもとに、Bluetooth、Wi-Fi、及びデータなどを利用して端末スタンド(100)及び端末サーバ(300)と、信号及びデータを送受信することができる。
続いて、画像合成システムは、ユーザー端末(200)から撮影開始信号を受信した後、撮影動作を実行する(S520)。
このとき、ユーザーはプリインストールされているアプリケーションを利用して、フェイストラッキング、アクショントラッキング、及び50:50など、必要とするタイプの撮影を選択することができる。ユーザーは手動モード又は自動モードを選択することで、撮影を開始することができる。
撮影が開始された場合、画像合成システムは、ユーザー端末(200)の撮影画面上にクリアゾーンを表示する(S530)。
このとき、クリアゾーンを撮影画面の一側または向かい合う両側に表示することができ、ユーザーの入力をもとに、位置及び大きさを変化することができる。
このとき、クリアゾーンは、ユーザー端末(200)の画面上に点、線、及び明暗などで表示することができる。また、ユーザーは、クリアゾーンを確認した後、撮影する被写体の位置や構図などを構想することができる。
続いて、ユーザー端末(200)は、第1領域に対する画像を撮影する(S540)。
このとき、画像合成システムは、ユーザー端末(200)を介して、フラッシュを発光させたり音を出したりすることで、ユーザーに各領域に対する撮影開始及び終了の瞬間を伝えることができる。
続いて、第1領域に対する画像撮影が完了した場合、画像合成システムは、端末スタンド(100)の回転部(110)があらかじめ決められた角度で回転するようにモーター部(121)を制御する(S550)。
具体的には、画像合成システムは、ユーザーインターフェースを通じて、あらかじめ設定された角度をもとに、ユーザー端末(200)が第2領域を向くように端末スタンドの回転部(110)を回転させることができる。
続いて、ユーザー端末(200)は、第2領域に対する画像を撮影する(S560)。
このとき、画像合成システムは、ユーザーがアプリケーションを利用して、あらかじめ設定したすべての領域をすべて撮影するまで、S550乃至S560を繰り返して実行する。
続いて、すべての領域の撮影が終わった場合、画像合成システムは、重なり合うクリアゾーンを利用して撮影された画像を合成する(S570)。
このとき、撮影された画像は、それぞれクリアゾーンの領域を含むことができる。
具体的には、制御サーバー(300)は、ユーザー端末(200)を介して撮影された画像及びデータを転送することができる。続いて、制御サーバー(300)は、撮影された画像内の共通のクリアゾーンの領域を導出することができる。続いて、制御サーバー(300)は、画像内の共通のクリアゾーンの領域を重ねあうことで、画像を合成することができる。
以下では、撮影した画像及び動画を合成して1つの動画に示す50:50の技術を詳細に説明する。
図16は、本発明の実施形態に係る画像合成システムの50:50の機能の動作方法を説明するための流れ図である。
図14及び図16を参照すると、画像合成システムは、ユーザー端末(200)を介して50:50の機能選択を受信する(S610)。
続いて、画像合成システムは、端末スタンド(100)の回転方向と動画撮影時間を受信する(S620)。
具体的には、ユーザーは、ユーザーインターフェースを使用して、端末スタンド(100)に含まれているモーター部(121)の回転方向(例えば、時計回り、反時計回り)、回転角度、及び動画撮影時間を直接設定することができる。
続いて、画像合成システムは、ユーザー端末(200)の撮影画面にクリアゾーンを表示する(S630)。
このとき、クリアゾーンは、ユーザーの入力によるモーター部(121)の回転角度と回転方向に応じて表示される位置と大きさを変化することができる。続いて、ユーザー端末(200)は、第1領域に対する画像を撮影する(S640)。
このとき、第1領域の画像は、静止画像を含むことができる。続いて、画像合成システムは、端末スタンド(100)の回転部(110)があらかじめ決められた角度で回転するようにモーター部(121)を制御する(S650)。
具体的には、画像合成システムは、ユーザーインターフェースを介して、あらかじめ設定された角度をもとに、モーター部(121)の制御信号を生成することができる。続いて、受信した制御信号をもとに、モーター部(121)は、ユーザー端末(200)が第2領域を向くように、モーター部(121)を回転させることができる。モーター部(121)が回転することによって、モーター部(121)と接続されていた回転部(110)も回転することができる。
続いて、ユーザー端末(200)は、第2領域に対する動画を撮影する(S660)。
このとき、ユーザーは、自動又は手動で動く動画を撮影することができる。例えば、自動モードを設定した場合、ユーザー端末(200)は、ユーザーインターフェースを介して、あらかじめ設定された動画の撮影長さをもとに動画を撮影することができる。また、手動モードを設定した場合、ユーザーは、リモコンを使用して、撮影開始と撮影終了を手動で行うことができる。続いて、画像合成システムは、撮影された画像のクリアゾーンと撮影された動画のクリアゾーンとの間の共通部分を抽出する(S670)。
このとき、画像合成システムは、端末スタンド(100)が回転した角度をもとに、画像のクリアゾーンと動画のクリアゾーンとの間の共通部分を抽出することができる。
続いて、画像合成システムは、撮影された画像と、撮影された動画を合成して新たな動画を生成して、ユーザー端末(200)に提供する(S680)。
具体的には、画像合成システムは、クリアゾーンの共通部分を中心に、一側に静止画像が配置され、他側に動く動画が配置された第1領域及び第2領域を併合して新しい動画を生成することができる。
このとき、ユーザーは、撮影された動画で合成に使用する区間を設定することができる。画像合成システムは、撮影された画像と、ユーザーが設定した動画区間を合成して1つの動画に表すことができる。
図17は、本発明の実施形態に係る画像合成システムの50:50機能インターフェースを示す図面である。
図1、図14、及び図17の<h1>を参照すると、ユーザーが50:50機能の撮影画面をタッチしたり、スワイプ及び設定ボタンをクリックしたりする場合、画像合成システムは、50:50の機能の設定ポップアップ(SB)を表示することができる。50:50機能の設定ポップアップ(SB)は、撮影方向メニュー(CD)、撮影モードメニュー(MS)、及び動画撮影長さメニュー(VL)などを含むことができる。ユーザーは50:50機能の設定ポップアップ(SB)を利用して、50:50機能に対する撮影方向、撮影モード、及び動画撮影時間などを設定することができる。
ユーザーは、撮影方向メニュー(CD)を利用して、画像や動画の撮影方向を設定することができる。
例えば、ユーザーがCCW(以下、反時計回り)ボタンを選択すると、モーター部(121)は、反時計回りに回転することができる。ユーザー端末(200)とペアリングされた端末スタンド(100)が反時計回りに回転する場合、ユーザー端末(200)は、端末スタンド(100)の回転部(110)のように反時計回りに回転し、画像や動画を撮影することができる。このとき、モーター部(121)は、50:50機能の設定ポップアップ(SB)を介してあらかじめ設定された角度で回転することができる。
一方、ユーザーがCW(以下、時計回り)ボタンを選択すると、モーター部(121)は、時計方向に回転することができる。モーター部(121)と接続された回転部(110)が時計回りに回転することにより、ユーザー端末(200)は、時計方向に回転し、画像や動画を撮影することができる。
また、ユーザーは、撮影モードメニュー(MS)を利用して、手動撮影モードまたは自動撮影モードを設定することができる。
ユーザーは、撮影モードメニュー(MS)でManual(以下、手動撮影モード)またはAuto(以下、自動撮影モード)ボタンを選択することができる。ただし、本実施例がこれらに限定されるものではない。
ユーザーが自動撮影モードを選択した場合、ユーザー端末(200)は、自動的に撮影を行うことができる。
例えば、ユーザー端末(200)が、第1領域で画像の自動撮影を完了した場合、モーター部(121)は、あらかじめ設定された方向と角度で回転することができる。モーター部(121)と回転部(110)の回転が完了した場合、ユーザー端末(200)は、第2領域に対する動画撮影を自動的に実行することができる。
ユーザーが手動撮影モードを選択した場合、ユーザーは直接撮影ボタンをタッチ又はクリックしたり、リモコンを使用したりすることで、撮影を行うことができる。
例えば、ユーザー端末(200)と端末スタンド(100)が、第1領域に向かって位置している状態で、ユーザーは、リモコン撮影ボタンを利用したり、撮影画面内の撮影ボタンを直接タッチまたはクリックしたりすることにより、手動で画像撮影を実行することができる。第1領域の撮影を完了した場合、ユーザーは、リモコン及び撮影画面の回転ボタンを選択することにより、モーター部(121)をあらかじめ設定された方向と角度に回転させることができる。このとき、モーター部(121)と回転部(110)の回転が完了した場合、ユーザーは、リモコン及び撮影画面の撮影ボタンを選択することにより、動画撮影を開始することができる。続いて、ユーザーは、撮影ボタンを再クリックすることで、動画撮影を終了することができる。
ただし、本発明がこれに限定されるものではなく、モーター部(121)は、手動撮影モードでボタンを選択しなくても、あらかじめ設定された角度をもとに、自動的に回転することができる。
また、ユーザーは、動画撮影長さメニュー(VL)を利用して撮影する動画の長さを設定することができる。
例えば、ユーザーが1sボタンを選択すると、ユーザー端末(200)は、動画撮影が開始した後、1秒後に自動的に撮影を終了することができる。
本発明がこれに限定されるものではなく、動画の撮影長さは10s、1minなどいくつかの時間のボタンが含まれており、また、ユーザーが直接入力して設定することができる。
<h2>を参照すると、ユーザー端末(200)の撮影画面にクリアゾーン(CZ)を表示することができる。クリアゾーン(CZ)は、点、線、及び陰影などで撮影画面上に表示される。
モーター部(121)の回転角度に応じて、クリアゾーン(CZ)の大きさ(例えば、横幅及び縦幅など)を変更することができる。
例えば、ユーザーがモーター部(121)の回転角度を大きく設定する場合、第1領域の画像と第2領域動画の共通部分が少なくなる。このとき、クリアゾーン(CZ)の大きさが縮小される。逆に、回転角度を小さく設定する場合、共通部分が多くなってクリアゾーン(CZ)の大きさが拡大される。
図18は、本発明の実施形態に係る画像合成システムの50:50機能の一例を説明するための図面である。
ここで、図18の<i1>は、合成された動画の一場面を表し、<i2>は、合成された動画の他の場面を示す。
図14及び図18の<i1>を参照すると、画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)を合成して1つの動画に表すことができる。
画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)を並べて配置することができる。続いて、画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)の共通クリアゾーン(cz1)を抽出することができる。続いて、画像合成システムは、第1領域の画像(ar1)と第2領域の動画(ar2)の共通クリアゾーン(cz1)が重なり合うように合成することができる。
<i2>を参照すると、第1領域の画像(ar1)は<i1>の第1領域の画像(ar1)と同一であることを確認することができる。しかし、<i2>の第2領域の動画(ar2)の被写体は<i1>の第2領域の動画(ar2)の被写体と異なる行動を表現する場面を確認することができる。
これにより、画像合成システムは、50:50機能を利用して、画像と動画を一つの動画に合成することで、ユーザーに楽しみを与えることができる。
以下では、複数の画像を撮影した後、クリアゾーンをもとに撮影された画像を合成して1つの画像に示すMany Me機能について詳しく説明する。
図19は、本発明の他の実施形態に係る画像合成システムのMany Me機能の動作方法を説明するための流れ図である。
図19を参照すると、画像合成システムは、ユーザー端末(200)にインストールされているアプリケーションを介してMany Me機能選択を受信する(S710)。
続いて、画像合成システムは、合成する画像の数及び回転方向を受信する(S720)。
このとき、画像合成システムは、ユーザーが設定した画像の数の撮影に適した回転角度を推薦または自動設定することができる。
続いて、画像合成システムは、画面にクリアゾーンを表示する(S730)。
続いて、ユーザー端末(200)は、特定の領域に対する画像を撮影する(S740)。
続いて、撮影が完了した後、画像合成システムは、端末スタンド(100)の回転部(110)があらかじめ決められた角度で回転するように、モーター部(121)を制御する(S750)。
具体的には、画像合成システムは、ユーザーインターフェースを介してあらかじめ設定された角度をもとに、ユーザー端末(200)が、次の領域を向くように端末スタンド(100)の回転部(110)を回転させることができる。
続いて、ユーザー端末(200)は、次の領域に対する画像を撮影する(S760)。
このとき、画像合成システムは、ユーザーがアプリケーションを利用して、あらかじめ設定した画像の数をすべて撮影するまで、S750乃至S760を繰り返して実行する。
続いて、すべての撮影が終わった後、画像合成システムは、隣接撮影された複数の画像間の共通部分を抽出する(S770)。
このとき、画像合成システムは、モーター部(121)が回転した角度をもとに、隣接撮影された複数の画像のクリアゾーンの共通部分を抽出することができる。
続いて、画像合成システムは、抽出された共通部分を利用して、複数の画像を一つの画像に合成する(S780)。
具体的には、画像合成システムは、隣接撮影された複数の画像の共通部分を重なるように並べることにより、一つの画像に合成することができる。
続いて、画像合成システムは、合成された画像をユーザー端末に提供する(S790)。
図20は、本発明の他の実施形態に係る画像合成システムのMany Me機能インターフェースを示す図面である。
ここで、図20の<j1>は、Many Me機能の設定ポップアップを示し、<j2>は、Many Me撮影画面を示す。
図1及び図20の<j1>を参照すると、ユーザーがMany Me機能の撮影画面をタッチしたり、スワイプ及び設定ボタンをクリックしたりする場合、画像合成システムは、Many Me機能の設定ポップアップを表示することができる。Many Me機能の設定ポップアップは、合成数の設定メニュー(CN)、撮影方向メニュー(CD)、撮影モードメニュー(MS)、及びBurstモードメニュー(BM)などを含むことができる。
ユーザーは合成数の設定メニュー(CN)を利用して合成する画像の数を設定することができる。
具体的には、ユーザーは合成する画像の数だけ合成数の設定メニュー(CN)をタッチまたはクリックしたり、数字を入力したりすることにより、合成する画像の数を設定することができる。
このとき、画像合成システムは、ユーザーが設定した合成画像数に適したモーター部(121)の回転角度を推薦したり、自動的に設定したりすることができる。
また、ユーザーがモーター部(121)の回転角度を入力した場合、画像合成システムは、回転角度に適した合成画像の数を推薦及び自動的に設定することができる。
続いて、ユーザーは、撮影方向メニュー(CD)を利用して画像撮影方向を設定することができる。
例えば、ユーザーがCW(以下、時計回り)ボタンを選択すると、モーター部(121)は、時計方向に回転することができる。ユーザー端末(200)とペアリングされた端末スタンド(100)が時計方向に回転する場合、ユーザー端末(200)は、端末スタンド(100)と一緒に時計方向に回転し、画像を撮影することができる。このとき、モーター部(121)は、Many Me機能の設定ポップアップを介してあらかじめ設定された角度で回転することができる。
一方、ユーザーがCCW(以下、反時計回り)ボタンを選択すると、モーター部(121)は、反時計回りに回転することができる。モーター部(121)が反時計回りに回転することにより、回転部(110)及びユーザー端末(200)は、反時計回りに回転し、画像を撮影することができる。
また、ユーザーは、撮影モードメニュー(MS)を利用して、手動撮影モードまたは自動撮影モードを設定することができる。
ユーザーは、撮影モードメニュー(MS)でManual(以下、手動撮影モード)またはAuto(以下、自動撮影モード)ボタンを選択することができる。
ユーザーが自動撮影モードを選択した場合、ユーザー端末(200)は、自動的に撮影を行うことができる。
例えば、ユーザー端末(200)が特定領域で画像自動撮影を完了した場合、モーター部(121)は、あらかじめ設定された方向及び角度で回転することができる。端末スタンドの回転部(110)の回転が完了した後、ユーザー端末(200)は、次の領域に対する画像撮影を自動的に実行することができる。
ユーザーが手動撮影モードを選択した場合、ユーザーは直接撮影ボタンをタッチ又はクリックしたり、リモコンを使用したりすることにより、撮影を行うことができる。
例えば、ユーザー端末(200)及び端末スタンド(100)が特定領域に向いて位置された状態で、ユーザーは、リモコン撮影ボタンを利用したり、撮影画面内の撮影ボタンを直接タッチまたはクリックしたりすることにより、手動で画像撮影を行うことができる。特定領域の撮影が完了した場合、ユーザーは、リモコン及び撮影画面の回転ボタンを選択することにより、モーター部(121)をあらかじめ設定された方向と角度に回転させることができる。このとき、端末スタンド(100)の回転が完了した後、ユーザーは、リモコン及び撮影画面の撮影ボタンを利用して撮影を進行することができる。
本発明がこれに限定されるものではなく、ユーザーが手動撮影モードで回転ボタンを選択しなくても、モーター部(121)は、あらかじめ設定された角度をもとに、自動的に回転することができる。
また、ユーザーは、Burstモードメニュー(BM)を利用して、Burstモード(以下、バーストモード)を設定することができる。
画像合成システムは、バーストモードを利用して、各領域に対する画像連続撮影を行うことができる。バーストモードに対する具体的な内容は、図22及び図23で詳細に説明する。
<j2>を参照すると、ユーザー端末(200)の撮影画面にクリアゾーン(CZ)を表示することができる。クリアゾーン(CZ)は、点、線、及び陰影などで撮影画面上に表示することができる。
モーター部(121)の回転角度に応じて、クリアゾーン(CZ)の大きさ(例えば、横幅及び縦幅など)を変更することができる。
例えば、ユーザーが端末スタンド(100)の回転角度を大きく設定する場合、特定領域の画像と次の領域の画像の共通部分が少なくなる。このとき、クリアゾーン(CZ)の大きさが縮小されることがある。逆に、回転角度を小さく設定する場合、共通部分が多くなってクリアゾーン(CZ)の大きさが拡大されることがある。
また、画像合成システムは、端末スタンド(100)の回転方向と撮影領域に応じてクリアゾーン(CZ)を表示する位置を変えることができる。
最初の撮影領域である第1領域の第1画像及び最後の撮影領域の画像(例えば、第3画像)は、一つの画像とのみ合成することができるので、撮影画面上の一側及び他側にのみクリアゾーン(CZ)を表示することができる。また、最初の撮影画像及び最後の撮影画像を除いた他の領域の撮影画像(例えば、第2領域で撮影された第2画像)は、両方に合わせて二つの画像と合成することができるので、撮影画面上の向かい合う両側にクリアゾーン(CZ)を表示することができる。
例えば、端末スタンド(100)は、ユーザーインターフェースを介して回転方向を右側に入力されることがある。続いて、ユーザー端末(200)が第1角度で第1領域に対する撮影を実行する場合、クリアゾーンを撮影画面上の一側である右側に表示することができる。ユーザー端末(100)が第2角度で第2領域に対する撮影を実行する場合、クリアゾーンを撮影画面上の両側に表示することができる。また、ユーザー端末(100)が第3角度で第3領域に対する撮影を進行する場合、クリアゾーンを撮影画面上の他側である左側に表示することができる。続いて、第1領域及び第3領域で撮影された画像は、第2領域で撮影された第2画像の両側に合成することができる。
図21は、本発明の他の実施形態に係る画像合成システムのMany Me機能の一例を説明するための図面である。
ここで、図21の<k1>、<k2>、及び<k3>は、Many Meの撮影過程を説明する図面であり、<k4>は、Many Meの撮影後の合成された画像を示す図面である。
図1及び図21の<k1>を参照すると、ユーザーは端末スタンド(100)及びユーザー端末(200)を利用して、第1領域の画像を撮影することができる。このとき、クリアゾーンを撮影画面の一側に表示することができる。第1領域の第1画像撮影が完了した後、モーター部(121)及び回転部(rg1)は、あらかじめ設定された角度で回転することができる。
続いて、図21の<k2>を参照すると、第2角度で回転された端末スタンド(100)は、ペアリングされたユーザー端末(200)を利用して、第2領域の第2画像を撮影することができる。このとき、クリアゾーンを撮影画面の両側に表示することができる。第2画像撮影が完了した後、モーター部(121)及び回転部(rg2)は、あらかじめ設定された角度で回転することができる。
続いて、図21の<k3>を参照すると、端末スタンド(100)が自動的に第3角度で回転したことを確認することができる。ユーザー端末(200)は、第3角度で第3領域の第3画像を撮影することができる。このとき、クリアゾーンを撮影画面の両側に表示することができる。撮影が完了した後、モーター部(121)及び回転部(rg3)は、次の領域を撮影するために回転することができる。
図21の<k4>を参照すると、画像合成システムは、複数の画像を一つの画像に合成することができる。
例えば、画像合成システムは、第1画像(ar1)、第2画像(ar2)、第3画像(ar3)、及び第4画像(ar4)を合成して1つの画像で表すことができる。このとき、第1画像(ar1)は一側にクリアゾーンの領域を含むことができる。第2画像(ar2)及び第3画像(ar3)は両側にクリアゾーンの領域を含むことができ、第4画像(ar4)は他側にクリアゾーンの領域を含むことができる。続いて、画像合成システムは、隣接撮影された複数の画像間のクリアゾーンの共通部分を抽出することができる。
画像合成システムは、第1画像(ar1)と第2画像(ar2)との間の共通クリアゾーンの部分である第1クリアゾーン(cz1)を抽出することができる。続いて、画像合成システムは、第2画像(ar2)と第3画像(ar3)との間の共通部分である第2クリアゾーン(cz2)を抽出することができる。
続いて、画像合成システムは、第3画像(ar3)と第4画像(ar4)との間の共通クリアゾーンの部分である第3クリアゾーン(cz3)を抽出することができる。画像合成システムは、第1クリアゾーン(cz1)を重ねることにより、第1画像(ar1)と第2画像(ar2)を合成することができる。続いて、画像合成システムは、前記合成された画像に第2クリアゾーン(cz2)を重ねることにより、第3画像(ar3)を合成することができる。続いて画像合成システムは、前記の合成画像に第3クリアゾーン(cz3)を重ねることにより、第4画像(ar4)を合成することができる。
これにより、画像合成システムは、Many Me機能を利用して、複数個の画像を一つの画像に合成することができ、ユーザーの利便性を向上させることができる。
以下では、Many Me機能で連続撮影を利用して1つの領域に複数の写真を撮影することができるBurstモードについて詳細に説明する。
図22は、本発明の他の実施形態に係る画像合成システムのBurstモード機能の動作方法を説明するための流れ図である。
図22を参照すると、画像合成システムは、Many Me機能の設定ポップアップを介してBurstモード選択を受信する(S810)。
このとき、画像合成システムは、合成する画像の数、回転方向、回転角度などを受信することができる。
続いて、画像合成システムは、撮影画面にクリアゾーンを表示する(S820)。
続いて、ユーザー端末(200)は、特定領域に対する画像を連続撮影する(S830)。
このとき、ユーザー端末(200)は、ユーザーインターフェースを介して、あらかじめ設定された撮影回数だけ連続撮影を進行することができる。
続いて、撮影が完了した後、画像合成システムは、端末スタンドの回転部があらかじめ決められた角度で回転するようにモーター部(121)を制御する(S840)。
具体的には、画像合成システムは、ユーザー端末(200)内のユーザーインターフェースを介して、あらかじめ設定された角度をもとに、ユーザー端末(200)が、次の領域に向くように端末スタンド(100)の回転部を回転させることができる。
続いて、ユーザー端末(200)は、次の領域に対する画像を撮影する(S850)。
このとき、画像合成システムは、ユーザーがアプリケーションを利用して、あらかじめ設定した撮影領域をすべて撮影するまで、S840乃至S850を繰り返して実行する。
続いて、すべての撮影が終わった後、画像合成システムは、各領域で連続撮影された画像のうち、1枚を選定する(S860)。
このとき、画像合成システムは、鮮明度及び被写体のブレなどを考慮して、各領域ごとに1枚の画像を推薦及び自動選定することができる。また、ユーザーは、連続撮影された写真を確認し、直接選定することができる。
続いて、画像合成システムは、選択された複数の画像間の共通部分を抽出する(S870)。
このとき、画像合成システムは、モーター部(121)が回転した角度をもとに、隣接撮影された複数の画像のクリアゾーン内の共通部分を抽出することができる。
続いて、画像合成システムは、抽出された共通部分を利用して、複数の画像を一つの画像に合成する(S880)。
具体的には、画像合成システムは、隣接撮影された複数の画像の共通部分を重なるように並べることにより、一つの画像に合成することができる。
続いて、画像合成システムは、合成された画像をユーザー端末に提供する(S890)。
図23は、本発明の他の実施形態に係る画像合成システムのBurstモード機能の一例を説明するための図面である。
ここで、図23の<m1>、<m2>、及び<m3>は、Many Me機能内のBurstモード機能を使用して画像を撮影する過程を示し、<m4>は、連続撮影された画像を選定する過程を示す。また、<m5>は、選定された画像を合成して完成した画像を示す。
図1及び図23の<m1>を参照すると、画像合成システムは、Burstモード機能を使用してMany Me機能の第1領域画像を撮影する撮影画面を示す。画像合成システムは、撮影画面の両側にクリアゾーン(CZ)を表示することができる。ユーザー端末(200)は、ユーザーが設定した撮影回数だけ最初の領域画像に対して連続撮影を行うことができる。連続撮影が完了した後、画像合成システムは、端末スタンド(100)をあらかじめ設定された角度に回転させることができる。
図1及び図23の<m2>を参照すると、画像合成システムは、Burstモード機能を使用してMany Me機能の第2領域の画像を撮影する撮影画面を示す。撮影画面の両側にクリアゾーン(CZ)を表示することができる。ユーザー端末(200)は、ユーザーが設定した撮影回数だけ2番目の領域画像に対して連続撮影を行うことができる。
本発明がこれに限定されるものではなく、ユーザーは連続撮影進行の時間(例えば、5s)、連続撮影進行の間隔(例えば、2s選択時、特定領域に対して1枚を撮影した後、2s後に他の1枚を撮影するなど)などを設定することができる。第2領域に対する連続撮影が終了すると、端末スタンド(100)は、あらかじめ設定された角度で回転することができる。
図1及び図23の<m3>を参照すると、画像合成システムは、Burstモード機能を使用してMany Me機能の第3領域画像を撮影する撮影画面を示す。撮影画面には、クリアゾーン(CZ)を表示することができ、ユーザー端末(200)は、あらかじめ設定された連続撮影回数又は連続撮影進行の時間などをもとに、連続撮影を行うことができる。
図23 <m4>を参照すると、画像合成システムは、第2領域に対して連続撮影された画像のうち、1枚の画像を選定する過程である。すべての領域に対する連続撮影が終了すると、画像合成システムは、各領域に対する連続撮影画像を提供することができる。
例えば、ユーザーがユーザー端末(200)の画面内の第2領域を選択する場合、画像合成システムは、第2領域の連続撮影画像のリスト(BM)を画面の下部に提供することができる。ユーザーが連続撮影画像のうち1枚の画像をタッチまたはクリックする場合、画像合成システムは、ユーザーがタッチした画像を画面に表示することができる。ユーザーは、連続撮影画像のリスト(BM)をスクロールしたり、1枚ずつタッチして画像を画面に表示したりすることができる。ユーザーは、連続撮影画像のリスト(BM)のうち、合成に使用する画像を連続クリックまたは長くタッチすることで、合成画像に選定することができる。
また、画像合成システムは、連続撮影画像のうち、1枚の画像を自動的に選定することができる。画像合成システムは、連続撮影画像のリストのうち、解像度及び被写体のブレなどを考慮して、合成に使用する画像を推薦したり、自動選定したりすることができる。
図1及び図23の<m5>を参照すると、画像合成システムは、各領域ごとに選定された複数の画像を合成して1つの画像に表すことができる。画像合成システムは、第1領域画像(ar1)と第2領域画像(ar2)との間の第1クリアゾーンの共通部分(cz1)を抽出することができる。続いて、画像合成システムは、第2領域画像(ar2)と第3領域画像(ar3)との間の第2クリアゾーンの共通部分(cz2)を抽出することができる。画像合成システムは、抽出したクリアゾーンの共通部分が重なるように画像を並べることで、第1領域画像(ar1)、第2領域画像(ar2)、及び第3領域画像(ar3)を合成することができる。合成が完了した場合、画像合成システムは、合成された画像をユーザー端末(200)に提供することができる。
これにより、画像合成システムは、Many Me機能内のBurstモードを利用して連続撮影を進行した後、最もよく写った画像を抽出できるようにすることで、必要とする画像が撮れていない場合、ユーザーが再び撮影を進行しなければならない煩わしさを削減することができる。
まとめると、本発明に係る画像合成システムは、隣接した画像間の共通クリアゾーンの部分を抽出した後、共通部分が重なるように画像を合成することにより、複数枚の画像を一つの画像に提供することができる。
以上のように、本発明は、たとえ限定された実施例と図面によって説明されたが、本発明は、前記の実施例に限定されるものではなく、これは、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、以下に記載された特許請求の範囲によってのみ把握されるべきであり、異議均等または等価的変形のいずれも本発明の思想の範疇に属するといえる。

Claims (19)

  1. 端末スタンドと連携したユーザー端末のアプリケーションで実行される端末スタンドの制御方法において、
    前記端末スタンドと前記ユーザー端末をペアリングする段階、
    ユーザーの入力をもとに、画像撮影を開始する段階、
    撮影された画像から被写体を抽出する段階、
    抽出された前記被写体の移動速度及び移動方向を算出する段階、及び
    算出された前記移動速度及び前記移動方向をもとに、前記端末スタンドに含まれているモーター部の回転速度及び回転方向を算出し、算出された前記回転速度及び前記回転方向をもとに、前記モーター部を制御する段階を含む、
    端末スタンドの制御方法。
  2. 前記モーター部を制御する段階は、
    前記ユーザーの入力をもとに、前記被写体を位置させる領域を設定し、
    前記被写体の位置が前記領域に維持されるように、前記回転速度及び前記回転方向を変化させることを含む、
    請求項1に記載の端末スタンドの制御方法。
  3. 前記モーター部を制御する段階は、
    前記被写体が撮影画面外に離脱した場合、前記回転速度をあらかじめ決められた最大回転速度に設定し、前記回転方向を前記被写体が離脱した方向と同一に設定することを含む、
    請求項1に記載の端末スタンドの制御方法。
  4. 前記モーター部を制御する段階は、
    移動する前記撮影画面内から離脱した前記被写体を検出した場合、前記回転速度をあらかじめ決められた範囲内に再設定することを含む、
    請求項3に記載の端末スタンドの制御方法。
  5. 前記被写体が撮影画面外に離脱した場合、前記回転速度をあらかじめ決められた最大回転速度に設定する動作をオンオフすることができるユーザーインターフェースを提供する段階をさらに含む、
    請求項3に記載の端末スタンドの制御方法。
  6. 前記被写体の移動速度及び移動方向を算出する段階は、
    前記被写体の特徴点の移動速度及び移動方向を算出するが、
    前記被写体の特徴点が撮影画面から消える場合、前記被写体に含まれた前記特徴点と異なる特徴点を再抽出し、再抽出された特徴点の移動速度及び移動方向を算出することを含む、
    請求項1に記載の端末スタンドの制御方法。
  7. 前記被写体の移動速度及び移動方向を算出する段階は、
    前記被写体に含まれるユーザーの顔を前記特徴点に優先認識されて利用し、
    認識された顔が、前記撮影画面から消える場合、前記の顔と隣接する他の身体または物体を他の特徴点に再抽出して利用する、
    請求項6に記載の端末スタンドの制御方法。
  8. 前記被写体の移動速度及び移動方向を算出する段階は、
    消えた前記の顔が前記撮影画面で再度表示される場合、前記の顔を特徴点に再設定することを含む、
    請求項7に記載の端末スタンドの制御方法。
  9. 前記抽出する被写体を設定する段階は、
    前記アプリケーションが前記画像に含まれた前記被写体を自動的に認識して設定するか、
    前記ユーザーから選択された部分を前記被写体に設定することを含む、
    請求項1に記載の端末スタンドの制御方法。
  10. 端末スタンドと連携したユーザー端末のアプリケーションで実行される画像の合成方法において、
    前記端末スタンドと前記ユーザー端末をペアリングする段階、
    ユーザーの入力をもとに、画像撮影を開始する段階、
    撮影画面にクリアゾーンを表示する段階、
    前記撮影画面に表示された第1領域に対する画像を撮影する段階、
    前記端末スタンドに含まれているモーター部を動作させ、前記第1領域と異なる第2領域に対する画像を撮影する段階、及び
    前記クリアゾーンを利用して、撮影された複数の画像を合成する段階を含む、
    画像合成方法。
  11. 前記第1領域及び第2領域に対して撮影された画像は、それぞれ前記クリアゾーンの領域を含み、
    前記画像を合成する段階は、
    撮影された前記複数の画像に対して、前記クリアゾーンとの間の共通部分を抽出する段階と、
    抽出された前記共通部分を利用して、複数の画像を合成する段階を含む、
    請求項10に記載の画像合成方法。
  12. 前記第1領域に対する画像は、前記第1領域の停止された画像を含み、
    前記第2領域に対する画像は、前記第2領域の動く動画を含む、
    請求項11に記載の画像合成方法。
  13. 前記画像を合成する段階は、
    前記共通部分を中心に一側に静止された画像が配置され、他側に動く動画が配置された前記第1領域及び前記第2領域を併合した新しい動画を生成することを含む、
    請求項12に記載の画像合成方法。
  14. 前記モーター部の回転方向及び前記動画の撮影時間に対する入力を受信するユーザーインターフェースを提供する段階をさらに含む、
    請求項12に記載の画像合成方法。
  15. 合成する画像の数及び前記モーター部の回転方向に対する入力を受信するユーザーインターフェースを提供する段階と、
    前記合成する画像の数に応じて、既に撮影された領域で特定の回転角度及び前記回転方向をもとに、移動された他の領域に対する画像を撮影する動作を繰り返して実行する段階をさらに含む、
    請求項10に記載の画像合成方法。
  16. 前記回転角度は、前記合成する画像の数及び前記クリアゾーンの大きさをもとに決定される、
    請求項15に記載の画像合成方法。
  17. 前記第1領域に対する画像を撮影する段階及び前記第2領域に対する画像を撮影する段階は、領域に対して連続撮影したあと、連続撮影された画像のうち、当該領域当り1つの画像を手動または自動に選定することを含み、
    前記複数の画像を合成する段階は、それぞれの領域で選定された画像を一つの画像に合成することを含む、
    請求項10に記載の画像合成方法。
  18. 前記クリアゾーンは、前記撮影画面の一側または向かい合う両側に表示されることができ、前記ユーザーの入力に基づいて、位置及び大きさが変化する、
    請求項10に記載の画像合成方法。
  19. 前記クリアゾーンは、
    前記ユーザーの入力に基づく前記端末スタンドの回転方向に応じて前記撮影画面上の位置が変化されるが、
    前記第1領域を撮影する場合、前記撮影画面の一側に表示され、
    前記第2領域を撮影する場合、前記撮影画面の両側に表示されることを含む、
    請求項18に記載の画像合成方法。
JP2021550080A 2019-11-19 2020-11-17 端末スタンドの制御方法 Active JP7277887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023072694A JP2023100764A (ja) 2019-11-19 2023-04-26 画像合成方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR20190148221 2019-11-19
KR10-2019-0148221 2019-11-19
KR20190148225 2019-11-19
KR10-2019-0148225 2019-11-19
KR1020200001427A KR102347265B1 (ko) 2019-11-19 2020-01-06 화상 합성 시스템 및 방법
KR10-2020-0001419 2020-01-06
KR1020200001419A KR102326877B1 (ko) 2019-11-19 2020-01-06 단말기 거치대의 제어방법 및 시스템
KR10-2020-0001427 2020-01-06
PCT/KR2020/016188 WO2021101217A1 (ko) 2019-11-19 2020-11-17 단말기 거치대의 제어 및 화상 합성 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023072694A Division JP2023100764A (ja) 2019-11-19 2023-04-26 画像合成方法

Publications (2)

Publication Number Publication Date
JP2022522189A true JP2022522189A (ja) 2022-04-14
JP7277887B2 JP7277887B2 (ja) 2023-05-19

Family

ID=78826165

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021550080A Active JP7277887B2 (ja) 2019-11-19 2020-11-17 端末スタンドの制御方法
JP2023072694A Pending JP2023100764A (ja) 2019-11-19 2023-04-26 画像合成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023072694A Pending JP2023100764A (ja) 2019-11-19 2023-04-26 画像合成方法

Country Status (2)

Country Link
US (1) US11575840B2 (ja)
JP (2) JP7277887B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470211B1 (ko) * 2021-01-13 2022-11-25 (주)비케이 동적 영상 촬영 방법
WO2022244920A1 (ko) * 2021-05-18 2022-11-24 주식회사 쓰리아이 휴대 단말기 및 단말기 거치대의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128448A (ja) * 2012-02-17 2012-07-05 Casio Comput Co Ltd 撮影装置、合成画像作成方法及びプログラム
JP2013162345A (ja) * 2012-02-06 2013-08-19 Sony Corp 撮像制御装置、撮像制御方法、プログラム、遠隔操作装置、遠隔操作方法、撮像システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040223062A1 (en) * 2003-05-05 2004-11-11 Richard Pettegrew Pan and tilt camera system
KR100869952B1 (ko) 2007-02-14 2008-11-24 삼성전자주식회사 파노라마 사진 촬영 방법 및 장치
KR101626828B1 (ko) 2013-12-26 2016-06-02 금오공과대학교 산학협력단 스마트폰을 이용한 움직임 제어가 가능한 거치대
KR102163894B1 (ko) 2014-01-22 2020-10-12 엘지전자 주식회사 이동 단말기 거치대 및 이를 이용한 이동 단말기의 방향 변환 방법
KR20160051390A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
JP6340147B2 (ja) * 2015-09-30 2018-06-06 富士フイルム株式会社 撮像システム、画角調整方法、及び画角調整プログラム
KR102573769B1 (ko) * 2015-12-15 2023-09-04 삼성전자주식회사 전자장치 및 그 거치대
KR101850534B1 (ko) 2016-01-18 2018-04-19 전도헌 적외선 카메라와 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션
US10620507B2 (en) * 2016-02-25 2020-04-14 William Conn Lefever Remote controlled rotating camera mount
US9977312B1 (en) * 2016-02-25 2018-05-22 William Conn Lefever Remote controlled rotating camera mount
JP2017181766A (ja) 2016-03-30 2017-10-05 Kddi株式会社 水中監視装置、水上通信端末、及び水中監視システム
KR20180042777A (ko) * 2016-10-18 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US20180139374A1 (en) * 2016-11-14 2018-05-17 Hai Yu Smart and connected object view presentation system and apparatus
US20180368656A1 (en) * 2017-05-24 2018-12-27 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162345A (ja) * 2012-02-06 2013-08-19 Sony Corp 撮像制御装置、撮像制御方法、プログラム、遠隔操作装置、遠隔操作方法、撮像システム
JP2012128448A (ja) * 2012-02-17 2012-07-05 Casio Comput Co Ltd 撮影装置、合成画像作成方法及びプログラム

Also Published As

Publication number Publication date
US20210392265A1 (en) 2021-12-16
JP7277887B2 (ja) 2023-05-19
JP2023100764A (ja) 2023-07-19
US11575840B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
US9086790B2 (en) Image displaying method, image displaying program, and display
JP2023100764A (ja) 画像合成方法
JP2019121857A (ja) 電子機器及びその制御方法
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
CN105049727B (zh) 全景图像拍摄的方法、装置及系统
KR102657340B1 (ko) 사용자 단말기 및 단말기 거치대의 제어방법
EP3591499B1 (en) Electronic device, control method for electronic device, program, and computer readable medium
JP7094815B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム、記憶媒体
JP2020005146A (ja) 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置
US11295530B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
WO2020070801A1 (ja) 情報処理装置
US11380075B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
JP2021174317A (ja) 電子機器及びその制御方法
KR102448855B1 (ko) 화상 합성 시스템 및 방법
JP7524762B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102347265B1 (ko) 화상 합성 시스템 및 방법
US11252328B2 (en) Electronic device and method for controlling the same
JP2023130045A (ja) 情報処置装置、情報処理装置の制御方法、プログラム、記録媒体、およびシステム
JP2024116858A (ja) 電子機器、電子機器の制御方法、プログラム、および記憶媒体
JP2024075939A (ja) 電子機器および電子機器の制御方法
JP2024132468A (ja) 表示制御装置、表示制御方法、プログラム
JP2023121126A (ja) 電子機器、電子機器の制御方法、プログラム
CN112217983A (zh) 获取影像的方法及装置
JP2020205554A (ja) 表示制御装置、その制御方法、プログラムおよび記憶媒体
JP2015185913A (ja) 撮影システム、撮影方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R150 Certificate of patent or registration of utility model

Ref document number: 7277887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150