JP2021044804A - 映像通話をしながら使用する360度パノラマ背景提供方法および装置 - Google Patents

映像通話をしながら使用する360度パノラマ背景提供方法および装置 Download PDF

Info

Publication number
JP2021044804A
JP2021044804A JP2020148379A JP2020148379A JP2021044804A JP 2021044804 A JP2021044804 A JP 2021044804A JP 2020148379 A JP2020148379 A JP 2020148379A JP 2020148379 A JP2020148379 A JP 2020148379A JP 2021044804 A JP2021044804 A JP 2021044804A
Authority
JP
Japan
Prior art keywords
video
image
background
panoramic
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020148379A
Other languages
English (en)
Inventor
ジンヒ ユ
Jinhee Yoo
ジンヒ ユ
ジソン チェー
Ji Seon Choi
ジソン チェー
チフン リュ
Chihoon Ryu
チフン リュ
ソンラン ソ
Seong Ran Seo
ソンラン ソ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190131239A external-priority patent/KR20210029635A/ko
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of JP2021044804A publication Critical patent/JP2021044804A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Abstract

【課題】映像通話をしながら使用する360度パノラマ背景提供方法および装置を提供する。【解決手段】電子機器が実行する背景提供方法であって、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階と、映像データから分離された背景映像をパノラマ映像イメージに代替する段階と、パノラマ映像イメージに代替された背景映像をオブジェクト映像と合成することによって生成された新たな映像データを映像通話画面に表示する段階と、映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、パノラマ映像イメージを共有する段階と、を含む。【選択図】図4

Description

以下の説明は、電子機器間で映像通話をしながら使用可能な背景を提供する技術に関する。
一般的な映像通話では、ユーザの通話場所や位置、周辺環境などのように、個人の私生活に関する情報が相手のユーザに伝達されることからプライバシーの侵害の要素が伴うようになる。これにより、映像通話を利用するユーザのプライバシーを保護するために、背景映像を変えるための研究が進んでいる。例えば、映像通話から映像部分は取り除いて音声部分だけを伝達する映像削除形態や、インターネット上あるいは個別に構成された映像変換サーバによって背景映像を特定の映像に変更する方式が開示されている。
カメラアプリまたは映像通話アプリで多様な種類の背景を選択することのできる背景画像が提供される場合には、好みの背景画像を選択することで背景を変更することが可能となる。しかし、従来の背景画像は、単調な単色背景しかなかったり、人物を切り取る過程(すなわち、背景と被写体(例えば、人物)とを分離する過程)において背景が完全に除去されず、一部が残ってしまうという問題があった。このような問題を解決するために、自身の位置を見られたくないユーザの背景を完全に隠すことが可能ながらも、単調なパターンの背景画像の枠を超え、リアリティ感と話題性を提供することができる技術が求められている。
映像通話中に映像通話画面に入力される映像データの背景映像を360度パノラマ映像イメージに代替し、パノラマ映像イメージに代替された背景映像をオブジェクト映像と合成することで生成された映像データを映像通話画面に表示する方法および装置を提供することを目的とする。
電子機器が実行する背景提供方法を実行させるためにコンピュータ読み取り可能な記録媒体に記録されたプログラムであって、前記背景提供方法は、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階、前記映像データから分離された背景映像をパノラマ映像イメージに代替する段階、前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データを前記映像通話画面に表示する段階、および前記映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、前記パノラマ映像イメージを共有する段階を含んでよい。
電子機器が実行する背景提供方法は、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階、前記映像データから分離された背景映像をパノラマ映像イメージに代替する段階、前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データを前記映像通話画面に表示する段階、および前記映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、前記パノラマ映像イメージを共有する段階を含んでよい。
電子機器は、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する映像分離部、前記映像データから分離された背景映像をパノラマ映像イメージに代替する背景映像代替部、前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データを前記映像通話画面に表示する映像データ表示部、および前記映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、前記パノラマ映像イメージを共有する背景映像共有部を含んでよい。
映像通話画面の背景映像に360度パノラマ映像イメージを表示することができるため、ユーザと相手のユーザとが同じ空間に一緒にいるようなリアリティを与えることができる。
また、映像通話中に映像通話画面に表示されるユーザの周辺情報を隠すことができるため、ユーザのプライバシーを保護することができる。
さらに、ユーザの空間を公開せずに新たな人と会うことができる。
一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 一実施形態における、電子機器のプロセッサが含むことのできる構成要素を説明するためのブロック図である。 一実施形態における、電子機器が実行することのできる背景提供方法を説明するためのフローチャートである。 一実施形態における、電子機器で映像通話中に入力される映像データをオブジェクト映像と背景映像とに分離することを説明するための例示図である。 一実施形態における、電子機器で動き情報に基づいて位置が移動する映像通話画面の背景映像を表示する方法を説明するためのフローチャートである。 一実施形態における、パノラマ映像イメージに代替された背景映像を電子機器の映像通話画面に表示することを説明するための例示図である。 一実施形態における、パノラマ映像イメージに代替された背景映像を電子機器の映像通話画面に表示することを説明するための例示図である。 一実施形態における、電子機器で設定された時間情報に基づいて相手端末の背景映像を制御する方法を説明するためのフローチャートである。 一実施形態における、電子機器で設定された時間情報に基づいて相手端末の背景映像を維持させることを説明するための例示図である。 一実施形態における、電子機器でオブジェクト映像が表示される位置情報を設定する方法を説明するためのフローチャートである。 一実施形態における、電子機器で設定された位置情報に基づいてオブジェクト映像を位置させることを説明するための例示図である。 一実施形態における、電子機器の背景映像が相手端末の映像通話画面に表示されることを説明するための例示図である。 一実施形態における、電子機器でインタラクション情報に基づいて背景映像にイベントを発生させる方法を説明するためのフローチャートである。
<発明の概要>
電子機器が実行する背景提供方法を実行させるためにコンピュータ読み取り可能な記録媒体に記録されたプログラムであって、前記背景提供方法は、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階、前記映像データから分離された背景映像をパノラマ映像イメージに代替する段階、前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データを前記映像通話画面に表示する段階、および前記映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、前記パノラマ映像イメージを共有する段階を含んでよい。
前記表示する段階は、前記映像通話画面に表示される新たな映像データに入力されたユーザの動き情報に対応して位置が移動するパノラマ映像イメージを前記映像通話画面に表示する段階を含んでよい。
前記共有する段階は、前記映像通話画面に表示される新たな映像データの背景映像に含まれたパノラマ映像イメージを、前記映像通話が実行中の相手端末に伝達する段階を含んでよい。
前記共有する段階は、前記パノラマ映像イメージに代替された背景映像を維持させるために設定された時間情報に基づき、前記パノラマ映像イメージに代替された背景映像を含む映像データが前記相手端末の映像通話画面に表示されるように制御する段階を含んでよい。
前記共有する段階は、前記相手端末のカメラで撮影される映像通話画面に入力されるオブジェクト映像が表示されるための位置情報を前記パノラマ映像イメージに設定し、前記設定された位置情報を含むパノラマ映像イメージを前記相手端末に伝達する段階を含んでよい。
前記共有する段階は、前記端末の前記映像通話画面に入力される映像データの背景映像がパノラマ映像イメージに代替された時間情報を基準とする前記相手端末との時間差情報に基づいて前記相手端末の映像通話画面に表示されるように、前記代替された時間情報を含むパノラマ映像イメージを前記相手端末に伝達する段階を含んでよい。
前記共有する段階は、インタラクション情報に基づき、前記パノラマ映像イメージに存在する背景オブジェクトにイベントを発生させる段階を含んでよい。
前記共有する段階は、前記パノラマ映像イメージの一部領域にアイテムが配置され、ユーザの動き情報によって移動するパノラマ映像イメージの一部領域に配置されたアイテムにインタラクション情報が入力されることによってイベントを発生させる段階を含んでよい。
前記表示する段階は、前記パノラマ映像イメージに設定された背景音楽を再生(Play)する段階を含んでよい。
前記代替する段階は、前記電子機器に格納されたパノラマ映像イメージを背景映像として代替する段階を含んでよい。
前記代替する段階は、前記電子機器が取得した少なくとも1つ以上のイメージを利用してパノラマ映像イメージを生成し、前記生成されたパノラマ映像イメージを背景映像として代替する段階を含んでよい。
前記代替する段階は、前記背景映像のための背景映像リストが提供され、前記提供された背景映像リストから選択されたパノラマ映像イメージを背景映像として代替する段階を含んでよい。
電子機器が実行する背景提供方法は、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階、前記映像データから分離された背景映像をパノラマ映像イメージに代替する段階、前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データを前記映像通話画面に表示する段階、および前記映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、前記パノラマ映像イメージを共有する段階を含んでよい。
前記表示する段階は、前記映像通話画面に表示される新たな映像データに入力されたユーザの動き情報に対応して位置が移動するパノラマ映像イメージを前記映像通話画面に表示する段階を含んでよい。
前記共有する段階は、前記パノラマ映像イメージに代替された背景映像を維持させるために設定された時間情報に基づき、前記パノラマ映像イメージとして代替された背景映像を含む映像データが前記相手端末の映像通話画面に表示されるように制御する段階を含んでよい。
前記共有する段階は、前記相手端末のカメラで撮影される映像通話画面に入力されるオブジェクト映像が表示されるための位置情報を前記パノラマ映像イメージに設定し、前記設定された位置情報を含むパノラマ映像イメージを前記相手端末に伝達する段階を含んでよい。
電子機器は、映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する映像分離部、前記映像データから分離された背景映像をパノラマ映像イメージに代替する背景映像代替部、前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データを前記映像通話画面に表示する映像データ表示部、および前記映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、前記パノラマ映像イメージを共有する背景映像共有部を含んでよい。
前記相手端末では、前記映像通話画面に入力される映像データの背景映像がパノラマ映像イメージに代替された時間情報を基準とする前記相手端末との時間差情報に基づき、前記相手端末の映像通話画面に表示される映像データの背景画面がパノラマ映像イメージに変換されてよい。
前記相手端末では、前記パノラマ映像イメージを受信するか否かが設定されてよい。
前記相手端末では、前記受信されたパノラマ映像イメージが前記相手端末のカメラに入力される映像データの背景映像として代替され、前記パノラマ映像イメージとして代替された背景映像が前記相手端末の映像通話画面に表示されてよい。
<発明の詳細>
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。
複数の電子機器110、120、130、140は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレット、ゲームコンソール、ウェアラブルデバイス、IoT(internet of things)デバイス、VR(virtual reality)デバイス、AR(augmented reality)デバイスなどがある。一例として、図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータシステムのうちの1つを意味してよい。
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第1サービスを提供するシステムであってよく、サーバ160も、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、複数の電子機器110、120、130、140においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス(一例として、メッセージングサービスなど)を第1サービスとして複数の電子機器110、120、130、140に提供してよい。他の例として、サーバ160は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器110、120、130、140に配布するサービスを第2サービスとして提供してよい。
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図2では、電子機器に対する例として電子機器110の内部構成およびサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器110またはサーバ150と同一または類似の内部構成を有してよい。
電子機器110およびサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、非一時的なコンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような永続的大容量記録装置を含んでよい。ここで、ROM、SSD、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ211、221とは区分される別の永続的記録装置として電子機器110やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器110においてインストールされて実行されるブラウザや特定のサービスの提供のために電子機器110にインストールされるアプリケーションなどのためのコード)が記録されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール213、223は、ネットワーク170を介して電子機器110とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器110および/またはサーバ150が他の電子機器(一例として、電子機器120)または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器110のプロセッサ212がメモリ211のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器110の通信モジュール213を通じて電子機器110に受信されてよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器110がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器110と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150に接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器110のプロセッサ212がメモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器120が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイに表示されてよい。
また、他の実施形態において、電子機器110およびサーバ150は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器110は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器110がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が、電子機器110にさらに含まれるように実現されてよい。
以下では、映像通話中に入力される映像データをオブジェクト映像と背景映像とに分離し、分離した背景映像を光視野角映像に替えて映像通話画面に表示する実施形態について説明する。また、映像通話画面に表示される映像データの背景映像に含まれる光視野角映像を映像通話中の相手端末と共有する実施形態について説明する。ここで、光視野角とは、映像通話画面において画面を正常に見ることのできる最大限の側面角度を意味してよく、上、下、左、右を含む角度範囲と正常の明るさによって映像通話画面で光視野角の映像を見ることができる。光視野角映像の例としてはパノラマ映像イメージが適用されてよい。パノラマ映像イメージとは、映像またはイメージをパノラマ形態で提供したものであって、例えば、映像またはイメージの一地点を複数の方向(例えば、360度方向)から見ることができるものであってよい。
実施形態に係る電子機器110には、コンピュータによって実現された背景提供システムが構成されてよい。一例として、背景提供システムは、独立的に動作するプログラム形態で実現されても、あるいは特定のアプリケーションのイン−アプリ(in−app)形態で構成され、前記特定のアプリケーション上で動作が可能なように実現されてもよく、場合によっては、サーバ150との連動によってメッセージングサービスが提供されてもよい。
電子機器にインストールされたアプリケーションが提供する命令に基づき、電子機器110に実現された背景提供システムは、実施形態と関連する少なくとも1つの特徴を含む方法を実行してよい。
具体的に、映像通話中にパノラマ映像イメージに代替された背景映像を共有することにより、それぞれの電子機器の映像通話画面に同じ背景映像が表示されてよい。以下、電子機器110を端末と相手端末とに区分して説明する。実施形態において、端末(例えば、第1端末、発信端末)と相手端末(例えば、第2端末、受信端末)間の呼連結によって映像通話が実行されることで映像通話環境が構成されてよく、構成された映像通話環境で提供される背景提供サービスによってパノラマ映像イメージに代替された背景映像が共有されてよい。このとき、背景提供サービスは、電子機器の固有の映像通話サービス、カメラサービス、チャットサービスなどのような多様なサービスの主機能または付加的な機能として提供されてよい。
電子機器110で、背景映像を代替するためのユーザインタフェース(例えば、背景画像タップ)が選択されることにより、背景映像をパノラマ映像イメージに代替するための背景画像が適用されてよい。例えば、電子機器で動作する背景提供サービスを通じて背景映像を代替するための背景映像リストが提供されてよく、背景映像リストから背景画像が選択されてこれが適用されるか未適用された映像データが確認されることにより、背景映像がパノラマ映像イメージに代替されてよい。以下、相手端末と映像通話しながら使用することのできる背景画像を提供する技術について説明する。
図3は、一実施形態における、電子機器のプロセッサが含むことのできる構成要素を説明するためのブロック図であり、図4は、一実施形態における、電子機器が実行することのできる背景提供方法を説明するためのフローチャートである。
電子機器のプロセッサ212は、映像分離部310、背景映像代替部320、映像データ表示部330、よび背景映像共有部340を含んでよい。このようなプロセッサ212の構成要素は、電子機器に記録されたプログラムコードが提供する制御命令にしたがってプロセッサ212によって実行される互いに異なる機能の表現であってよい。プロセッサ212およびプロセッサ212の構成要素は、図4の背景提供方法が含む段階410〜440を実行するように電子機器を制御してよい。このとき、プロセッサ212およびプロセッサ212の構成要素は、メモリが含むオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる命令を実行するように実現されてよい。
プロセッサ212は、背景提供方法のためのプログラムのファイルに記録されたプログラムコードをメモリにロードしてよい。例えば、電子機器でプログラムが実行されれば、プロセッサは、オペレーティングシステムの制御にしたがってプログラムのファイルからプログラムコードをメモリにロードするように電子機器を制御してよい。このとき、プロセッサ212およびプロセッサ212が含む映像分離部310、背景映像代替部320、映像データ表示部330、および背景映像共有部340それぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行して以下の段階410〜440を実行するためのプロセッサ212の互いに異なる機能的表現であってよい。
段階410で、映像分離部310は、通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離してよい。図5は、映像データからオブジェクト映像と背景映像とを分離することを説明するための例示図である。電子機器110でカメラが実行されることによりフロントカメラモードが作動してよい。電子機器110のカメラに入力される映像データには、ユーザの情報(例えば、ユーザの顔)を含むオブジェクト映像510、およびユーザ周辺情報(例えば、建物、道路、ユーザと関係のない人など)を含む背景映像520が含まれてよい。ここで、電子機器110の映像通話中に作動するカメラモードはフロントカメラモードであると説明したが、これに限定されることはなく、バックカメラモードが同じように適用されてもよく、ユーザの選択によってフロントカメラモードまたはバックカメラモードを作動させてもよい。例えば、映像分離部310は、エッジ認識によって映像データ内のオブジェクトの境界をアウトラインで示し、境界内のポインタをグループ化し、周辺で類似の特徴を有する点を成長させ続ける方法でグルーピングすることにより、オブジェクト映像と背景映像とを分離してよい。この他の多様な方式を適用して映像データからオブジェクト映像と背景映像とを分離してもよい。
段階420で、背景映像代替部320は、映像データから分離された背景映像をパノラマ映像イメージに代替してよい。例えば、背景映像代替部320は、オブジェクト映像を除いた背景映像をパノラマ映像イメージに代替してよい。一例として、背景映像代替部320は、電子機器に格納されたパノラマ映像イメージを背景映像として代替してよい。電子機器にパノラマ映像イメージが事前に格納されている場合、背景映像代替部320は、電子機器に格納された少なくとも1つ以上のパノラマ映像イメージのうち、背景映像との代替のために選択されたパノラマ映像イメージを背景映像として代替してよい。他の例として、背景映像代替部320は、電子機器が取得した少なくとも1つ以上のイメージを利用してパノラマ映像イメージを生成し、生成されたパノラマ映像イメージを背景映像として代替してよい。このとき、背景映像代替部320は、パノラマ映像イメージを生成するために電子機器で撮影されたイメージまたは映像を取得してよい。または、背景映像代替部320は、他の電子機器がアップロードしたイメージまたは映像を電子機器がダウンロードすることによってイメージまたは映像を取得してもよい。例えば、背景映像代替部320は、電子機器が取得したイメージまたは映像をパノラマ映像イメージとして生成することのできるユーザインタフェース(例えば、ツール)を提供してよく、提供されたユーザインタフェースにおけるユーザの選択によってイメージまたは映像が組み合わされることにより、パノラマ映像イメージが生成されてよい。背景映像代替部320は、生成されたパノラマ映像イメージを背景映像として代替してよい。また他の例として、背景映像代替部320は、背景映像のためのリストを提供してよく、提供された背景映像リストから選択されたパノラマ映像イメージを背景映像として代替してよい。このとき、映像代替部320は、ユーザが選択したパノラマ映像イメージが適用された背景映像または映像データが表示されてよい。ユーザが電子機器の映像通話画面に表示されたパノラマ映像イメージを確認することで、パノラマ映像イメージを背景映像に適用するか否かが決定されてよい。映像代替部320は、パノラマ映像イメージが背景映像として適用されると決定されることにより、パノラマ映像イメージを背景映像として代替してよい。
段階430で、映像データ表示部330は、パノラマ映像イメージに代替された背景映像をオブジェクト映像と合成することによって生成された新たな映像データを映像通話画面に表示してよい。図7および図8は、パノラマ映像イメージに代替された背景映像を映像通話画面に表示することを説明するための例示図である。映像データ表示部330は、パノラマ映像イメージ520に代替された背景映像をオブジェクト映像と合成することによって生成された新たな映像データを、電子機器110の映像通話画面に表示してよい。電子機器110が撮影するオブジェクト映像を電子機器110に維持した状態で、背景映像がパノラマ映像イメージ520に代替された新たな映像データが表示されてよい。このとき、電子機器110で作動するカメラがリアルタイムで撮影しているオブジェクト映像が映像データに表示されてよい。映像データ表示部330は、パノラマ映像イメージに代替された背景映像をオブジェクト映像と合成することによって生成された新たな映像データを映像通話画面に表示すると同時に、音楽を再生(play)してよい。例えば、映像データ表示部330は、映像通話画面に新たな映像データを表示するときに、パノラマ映像イメージに登録された背景音楽を再生してよい。このとき、パノラマ映像イメージとともに再生するための音楽が事前に登録されていてよい。また、パノラマ映像イメージとともに再生するための音楽リストが提供されてよく、提供された音楽リストから選択された音楽が登録されてもよい。あるいは、パノラマ映像イメージとともに再生するための音楽をユーザが検索して音楽が登録されてもよい。このとき、音楽のボリュームが調節されてもよい。
また、映像データ表示部330は、映像通話画面に最初に表示されるためのパノラマ映像イメージの一部領域を基準領域として設定してよい。映像データ表示部330は、映像通話画面に最初に表示されるために設定されたパノラマ映像イメージの基準領域を、電子機器110の映像通話画面に背景映像として表示してよい。このような基準領域は、ユーザの設定によって変更されてよい。映像通話画面に最初に表示されたパノラマ映像イメージの基準領域を基準とし、ユーザの動き情報810、811に応じてパノラマ映像イメージに代替された背景映像が移動してよい。例えば、映像データ表示部330は、ユーザから入力される上、下、左、右の方向情報を含む少なくとも1つ以上の動き情報810、811に対応する背景映像を表示してよい。また、電子機器110の映像通話画面に表示された新たな映像データのパノラマ映像イメージに代替された背景映像には背景オブジェクト(例えば、ランドマーク820)が含まれてよい。ここで、ランドマーク820とは、パノラマ映像イメージに存在するオブジェクトを意味してよい。このようなランドマーク820、またはパノラマ映像イメージ内の空間にアイテムを配置してイベントが発生するように設定してよい。例えば、パリのエッフェル塔が含まれたパノラマ映像イメージを仮定するとき、パノラマ映像イメージ内のパリのエッフェル塔またはエッフェル塔の周辺にアイテムが事前に配置されてよい。電子機器110に表示される新たな映像データで、ユーザの動きに応じて移動する背景映像がエッフェル塔またはエッフェル塔の周辺を映し出すことにより、エッフェル塔またはエッフェル塔の周辺に存在するアイテムが取得されてよい。または、エッフェル塔またはエッフェル塔の周辺に入力されたインタラクション情報に基づいてイベントを発生させてもよい。例えば、エッフェル塔に入力されるユーザからのインタラクション情報に基づき、互いに異なる種類のイベントを発生させてよい。
図6は、ユーザの動き情報に基づいて位置が移動する映像通話画面の背景映像を表示する方法を説明するためのフローチャートである。段階610で、映像データ表示部330は、映像通話画面に表示された新たな映像データにユーザの動き情報が入力されることを受信してよい。例えば、ユーザの動き情報としては、上、下、左、右を含む方向情報が入力されてよい。段階620で、映像データ表示部330は、ユーザの動き情報に対応して位置が移動するパノラマ映像イメージを映像通話画面に表示してよい。例えば、映像データ表示部330は、ユーザから左、右に360度が移動されることにより、360度パノラマ映像イメージを背景映像として表示してよい。
段階440で、背景映像共有部340は、映像通話画面に表示される新たな映像データの背景映像が相手端末の映像通話画面に表示されるように、パノラマ映像イメージを共有してよい。このとき、背景映像共有部340は、パノラマ映像イメージを共有するための要求にしたがい、パノラマ映像イメージを共有するためのプロセスを作動させてよい。背景映像共有部340は、映像通話画面に表示される新たな映像データの背景映像に含まれたパノラマ映像イメージを、映像通話が実行中の相手端末に伝達してよい。例えば、背景映像共有部340は、映像通話中の相手端末が複数の場合には、複数の相手端末それぞれにパノラマ映像イメージを伝達してよい。このとき、相手端末では、背景映像に含まれたパノラマ映像イメージを受信するか否かがオン/オフで設定されてよい。相手端末でオンに設定されている場合、相手端末にはパノラマ映像イメージが伝達されてよく、伝達されたパノラマ映像イメージが背景映像に代替された映像データが表示されてよい。この反面、相手端末でオフに設定されている場合、相手端末にはパノラマ映像イメージが伝達されず、パノラマ映像イメージが背景映像として代替されない。
図9は、設定された時間情報に基づいて相手端末の背景映像を制御する方法を説明するためのフローチャートである。段階910で、背景映像共有部340は、パノラマ映像イメージに代替された背景映像を維持させるための時間情報(例えば、5秒)を設定してよい。背景映像共有部340は、背景映像を維持させるための時間情報を設定するユーザインタフェースを提供してよく、提供されたユーザインタフェースに入力された時間情報に基づいてロック機能を発生させてよい。例えば、背景映像共有部340は、予め設定された時間内に相手端末で背景映像が変更されたり適用されたりしないことを防ぐために、相手端末にロック機能を設定してよい。ロック機能が設定された時間中には相手端末で背景映像を変更または削除することができず、映像通話を中止または終了することができない。これにより、端末は、相手端末を同じ空間に招待することが可能となる。
段階920で、背景映像共有部340は、設定された時間情報に基づき、相手端末の映像通話画面にパノラマ映像イメージとして代替された背景映像を含む映像データが表示されるように制御してよい。背景映像共有部340は、ユーザの動き情報に対応して位置が移動するパノラマ映像イメージを相手端末に伝達してよい。これにより、相手端末の映像通話画面に表示されるパノラマ映像イメージの位置が移動するようになる。図10は、端末で設定された時間情報に基づいて相手端末の背景映像を維持させることを説明するための例示図である。端末110aと相手端末110bが映像通話中であると仮定する。このとき、端末110aが設定した時間にわたり、端末110aの映像通話画面1010に表示される背景映像であるパノラマ映像イメージが相手端末110bに伝達されてよい。相手端末110bが他の背景映像を使用している場合であっても、端末110aのパノラマ映像イメージに代替された背景映像が伝達されてよい。つまり、相手端末110bの映像通話画面1020に表示される映像データの背景映像が端末110aから伝達されたパノラマ映像イメージに転換されるのである。これにより、端末110aの映像通話画面1010と相手端末110bの映像通話画面1020に同じ背景映像を表示させることが可能となる。
図11は、オブジェクト映像が表示される位置情報を設定する方法を説明するためのフローチャートである。段階1110で、背景映像共有部340は、パノラマ映像イメージに、相手端末のカメラで撮影される映像通話画面に入力されたオブジェクト映像が表示されるための位置情報を設定してよい。例えば、背景映像共有部340は、ユーザからパノラマ映像イメージの特定の地点が選択されることを受信してよい。このとき、端末および相手端末のそれぞれのオブジェクト映像に存在するオブジェクトが表示されるための特定地点が選択されてよい。例えば、ユーザの顔が表示されるための地点が選択されてよい。段階1120で、背景映像共有部340は、ユーザから設定された位置情報を含むパノラマ映像イメージを相手端末に伝達してよい。相手端末は、端末から伝達されたパノラマ映像イメージに設定された位置情報に基づき、オブジェクト映像に存在するオブジェクトを位置させてよい。このとき、端末または相手端末によって、相手端末のオブジェクト映像が表示されるための位置情報が変更されてもよい。相手端末は、端末から設定された位置情報に基づき、相手端末の映像通話画面に入力されたオブジェクト映像をパノラマ映像イメージに位置させてよい。図12は、電子機器110aが相手端末110bと背景映像を共有することにより、端末110aと相手端末110bの映像データに入力されるオブジェクトが同じ空間に存在するようになることを示した図である。例えば、端末110aと相手端末110bが公園の特定のテーブルまたは特定の地点で向かい合って座っているように、ユーザが表示されてよい。
図14は、インタラクション情報に基づいて背景映像にイベントを発生させる方法を説明するためのフローチャートである。段階1410で、映像情報共有部340は、インタラクション情報に基づき、パノラマ映像イメージに存在する背景オブジェクトにイベントを発生させてよい。映像情報共有部340は、ユーザからのインタラクション情報の入力を受信してよい。ここで、インタラクション情報とは、ユーザからの入力情報によってランドマークまたはパノラマ映像イメージ内で予め設定されたイベントが発生することを意味してよい。さらに、パノラマ映像イメージ内で発生するイベントによって相手端末と相互作用することを意味してもよい。映像情報共有部340は、端末の動きに応じて移動するパノラマ映像イメージの一部領域に配置されたアイテムにインタラクション情報が入力されることにより、イベントを発生させてよい。例えば、映像情報共有部340は、インタラクション情報によって発生するイベントを含むパノラマ映像イメージを相手端末に伝達してよい。または、映像情報共有部340は、インタラクション情報によって発生するイベント情報だけを相手端末に伝達してよい。相手端末の背景映像には、端末と同じようにイベント情報が適用されてよい。例えば、背景映像内に噴水が存在する場合、ユーザからインタラクション情報(例えば、拡大モーション、縮小モーションなど)が入力されることにより、噴水を高くしたり低くしたりしてよい。また他の例として、背景映像内に宝物箱を隠してよい。相手端末のユーザが宝物箱を発見したとき、宝物箱にインタラクション情報を入力することで宝物箱が開くようにしてよい。例えば、宝物箱を開けることにより相手端末にアイテムが提供されてよい。
図13は、一実施形態における、電子機器の背景映像が相手端末の映像通話画面に表示されることを説明するための例示図である。
端末と相手端末110bとが映像通話中であるとき、それぞれの端末が同じ地域に存在する場合もあるし、互いに異なる地域に存在する場合もある。例えば、端末と相手端末110bが互いに異なる国で映像通話をする場合、端末が存在する空間は昼間であるが、相手端末110bが存在する空間は夜であることがある。このように、端末と相手端末110bには時差が発生することがある。
電子機器には、パノラマ映像イメージが背景映像に代替された時間情報がともに記録されてよい。電子機器の背景映像が相手端末110bに伝達されてよく、相手端末110bは電子機器から伝達された背景映像を受信してよい。相手端末110bの映像通話画面に表示される映像データの背景映像がパノラマ映像イメージに代替された時間情報を基準とする端末との時間差情報により、相手端末110bの映像通話画面に表示される映像データのパノラマ映像イメージが変換されてよい。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD−ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
本発明は、更に以下の目的を有する。
映像通話画面に表示される背景映像が相手端末の映像通話画面に表示されるように、パノラマ映像イメージを共有する方法および装置を提供することを目的とする。
212:プロセッサ
310:映像分離部
320:背景映像代替部
330:映像データ表示部
340:背景映像共有部

Claims (21)

  1. 電子機器に背景提供方法を実行させるためのコンピュータプログラムであって、
    前記背景提供方法は、
    映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階、
    前記分離した背景映像をパノラマ映像イメージに代替する段階、
    前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データがユーザの動き情報に対応して位置が移動するパノラマ映像イメージを前記映像通話画面に表示する段階
    を含む、コンピュータプログラム。
  2. 前記背景提供方法は、
    前記映像通話画面に表示される新たな映像データが相手端末の映像通話画面に表示されるように、前記新たな映像データを共有する段階
    をさらに含む、請求項1に記載のコンピュータプログラム。
  3. 前記共有する段階は、
    前記映像通話画面に表示される新たな映像データの背景映像に含まれたパノラマ映像イメージを、前記映像通話が実行中の相手端末に伝達する段階
    を含む、請求項2に記載のコンピュータプログラム。
  4. 前記共有する段階は、
    前記パノラマ映像イメージに代替された背景映像を維持させるために設定された時間情報に基づき、前記パノラマ映像イメージに代替された背景映像を含む映像データが前記相手端末の映像通話画面に表示されるように制御する段階
    を含む、請求項2または3に記載のコンピュータプログラム。
  5. 前記共有する段階は、
    前記相手端末のカメラで撮影される映像通話画面に入力されるオブジェクト映像が表示されるための位置情報を前記パノラマ映像イメージに設定し、前記設定された位置情報を含むパノラマ映像イメージを前記相手端末に伝達する段階
    を含む、請求項2または3に記載のコンピュータプログラム。
  6. 前記共有する段階は、
    前記端末の前記映像通話画面に入力される映像データの背景映像がパノラマ映像イメージに代替された時間情報を基準とした前記相手端末との時間差情報に基づいて前記相手端末の映像通話画面に表示されるように、前記代替された時間情報を含むパノラマ映像イメージを前記相手端末に伝達する段階
    を含む、請求項2または3に記載のコンピュータプログラム。
  7. 前記共有する段階は、
    インタラクション情報に基づいて前記パノラマ映像イメージに存在する背景オブジェクトにイベントを発生させる段階
    を含む、請求項2乃至6のいずれか一項に記載のコンピュータプログラム。
  8. 前記共有する段階は、
    前記パノラマ映像イメージの一部領域にアイテムが配置され、ユーザの動き情報に応じて移動するパノラマ映像イメージの一部領域に配置されたアイテムにインタラクション情報が入力されることによってイベントを発生させる段階
    を含む、請求項2乃至7のいずれか一項に記載のコンピュータプログラム。
  9. 前記動き情報は、前記電子機器の上、下、左、右の方向情報を含む少なくとも1つ以上の動き情報を含むこと
    を特徴とする、請求項1乃至8のいずれか一項に記載のコンピュータプログラム。
  10. 前記表示する段階は、
    前記パノラマ映像イメージに設定された背景音楽を再生する段階
    を含む、請求項1乃至9のいずれか一項に記載のコンピュータプログラム。
  11. 前記代替する段階は、
    前記電子機器に格納されたパノラマ映像イメージを背景映像として代替する段階
    を含む、請求項1乃至10のいずれか一項に記載のコンピュータプログラム。
  12. 前記代替する段階は、
    前記電子機器が取得した少なくとも1つ以上のイメージを利用してパノラマ映像イメージを生成し、前記生成されたパノラマ映像イメージを背景映像として代替する段階
    を含む、請求項1乃至10のいずれか一項に記載のコンピュータプログラム。
  13. 前記代替する段階は、
    前記背景映像のための背景映像リストを提供し、前記提供した背景映像リストから選択されたパノラマ映像イメージを背景映像として代替する段階
    を含む、請求項1乃至10のいずれか一項に記載のコンピュータプログラム。
  14. 電子機器が実行する背景提供方法であって、
    映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する段階、
    前記分離した背景映像をパノラマ映像イメージに代替する段階、
    前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データがユーザの動き情報に対応して位置が移動するパノラマ映像イメージを前記映像通話画面に表示する段階
    を含む、背景提供方法。
  15. 前記映像通話画面に表示される新たな映像データが相手端末の映像通話画面に表示されるように、前記新たな映像データを共有する段階
    をさらに含む、請求項14に記載の背景提供方法。
  16. 前記共有する段階は、
    前記パノラマ映像イメージに代替された背景映像を維持させるために設定された時間情報に基づき、前記パノラマ映像イメージに代替された背景映像を含む映像データが前記相手端末の映像通話画面に表示されるように制御する段階
    を含む、請求項15に記載の背景提供方法。
  17. 前記共有する段階は、
    前記相手端末のカメラで撮影される映像通話画面に入力されるオブジェクト映像が表示されるための位置情報を前記パノラマ映像イメージに設定し、前記設定された位置情報を含むパノラマ映像イメージを前記相手端末に伝達する段階
    を含む、請求項15または16に記載の背景提供方法。
  18. 電子機器であって、
    映像通話中に端末の映像通話画面に入力される映像データからオブジェクト映像と背景映像とを分離する映像分離部、
    前記分離した背景映像をパノラマ映像イメージに代替する背景映像代替部、
    前記パノラマ映像イメージに代替された背景映像を前記オブジェクト映像と合成することによって生成された新たな映像データがユーザの動き情報に対応して位置移動するパノラマ映像イメージを前記映像通話画面に表示する映像データ表示部
    を含む、電子機器。
  19. 前記映像通話画面に表示される新たな映像データが相手端末の映像通話画面に表示されるように、前記新たな映像データを共有する背景映像共有部をさらに含み、
    前記相手端末では、
    前記映像通話画面に入力される映像データの背景映像がパノラマ映像イメージに代替された時間情報を基準とする前記相手端末との時間差情報に基づき、前記相手端末の映像通話画面に表示される映像データのパノラマ映像イメージが変換されることを特徴とする、
    請求項18に記載の電子機器。
  20. 前記相手端末では、
    前記パノラマ映像イメージを受信するか否かが設定されることを特徴とする、
    請求項19に記載の電子機器。
  21. 前記相手端末では、
    前記パノラマ映像イメージが前記相手端末のカメラに入力される映像データの背景映像と代替され、前記パノラマ映像イメージに代替された背景映像が前記相手端末の映像通話画面に表示されることを特徴とする、
    請求項19または20に記載の電子機器。
JP2020148379A 2019-09-06 2020-09-03 映像通話をしながら使用する360度パノラマ背景提供方法および装置 Pending JP2021044804A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190110639 2019-09-06
KR10-2019-0110639 2019-09-06
KR1020190131239A KR20210029635A (ko) 2019-09-06 2019-10-22 영상 통화를 하면서 사용하는 360도 파노라마 배경 제공 방법 및 장치
KR10-2019-0131239 2019-10-22

Publications (1)

Publication Number Publication Date
JP2021044804A true JP2021044804A (ja) 2021-03-18

Family

ID=74850600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020148379A Pending JP2021044804A (ja) 2019-09-06 2020-09-03 映像通話をしながら使用する360度パノラマ背景提供方法および装置

Country Status (2)

Country Link
US (1) US11558562B2 (ja)
JP (1) JP2021044804A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507344B2 (en) * 2020-09-25 2022-11-22 Kevin M. Nathanson Video conferencing with collaborative music listening
US11832023B2 (en) * 2021-04-30 2023-11-28 Zoom Video Communications, Inc. Virtual background template configuration for video communications
CN113411537B (zh) * 2021-06-25 2023-04-25 Oppo广东移动通信有限公司 视频通话方法、装置、终端及存储介质
US20230037463A1 (en) * 2021-08-03 2023-02-09 Dell Products, L.P. Intelligent orchestration of video or image mirroring using a platform framework
CN114040099B (zh) * 2021-10-29 2024-03-08 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN115065842B (zh) * 2022-08-03 2022-11-18 广州卓远虚拟现实科技有限公司 基于虚拟现实的全景视频串流交互方法及系统
CN115361365B (zh) * 2022-08-10 2023-09-05 深圳乐播科技有限公司 基于视频流的处理方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101946019B1 (ko) * 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US10277813B1 (en) * 2015-06-25 2019-04-30 Amazon Technologies, Inc. Remote immersive user experience from panoramic video

Also Published As

Publication number Publication date
US20210075977A1 (en) 2021-03-11
US11558562B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
JP2021044804A (ja) 映像通話をしながら使用する360度パノラマ背景提供方法および装置
JP2021507402A (ja) 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム
JP6920858B2 (ja) メッセンジャーサービスを利用したキーワード検索方法及びシステム
JP6877149B2 (ja) 撮影位置推薦方法、コンピュータプログラムおよび撮影位置推薦システム
CN109646944B (zh) 控制信息处理方法、装置、电子设备及存储介质
JP2019048043A (ja) 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム
KR20200090435A (ko) 메신저 내 플랫폼에 추가된 애플리케이션을 이용하여 대화방에서 정보를 공유하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
JP2021086626A (ja) ビデオチャットに利用可能な評判バッチを提供する方法、システム、およびコンピュータプログラム
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
US20220300144A1 (en) Method, system, and non-transitory computer readable record medium for providing chatroom in 3d form
WO2017029918A1 (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
TW202217539A (zh) 確定選中目標的方法及裝置、電腦設備、非臨時性電腦可讀存儲介質及電腦程式產品
JP6839771B2 (ja) 補正パターン分析による映像補正方法およびシステム
KR20210029635A (ko) 영상 통화를 하면서 사용하는 360도 파노라마 배경 제공 방법 및 장치
CN114443177A (zh) 应用运行方法、装置、服务器及存储介质
JP6983320B2 (ja) メッセージングサービス環境におけるコンテンツ共有のためのインタラクション方法およびシステム
KR20200133965A (ko) 오픈톡에서 하위 채팅방을 생성하는 방법 및 시스템
JP6966519B2 (ja) 複数のカメラパッケージで構成されたカメラアプリケーションを含むシステムおよびカメラ機能制御方法
KR102575771B1 (ko) 3d 인터랙티브 동영상 생성 방법 및 시스템
KR102533209B1 (ko) 다이나믹 확장현실(xr) 콘텐츠 생성 방법 및 시스템
JP7165251B2 (ja) メッセージングサービス環境におけるコンテンツ共有のためのインタラクション方法およびシステム
JP7348917B2 (ja) プログラムおよび電子機器
KR102368953B1 (ko) 가상 현실 공간 제공 방법 및 시스템
US20240144547A1 (en) Electronic device for providing information on virtual space and method thereof
KR102276816B1 (ko) 공간 단위로 구성된 컨텐츠를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230831