JP2022046041A - 元画像を用いてオンラインコミュニケーション画像を生成する装置、プログラム及び方法 - Google Patents

Abstract

【課題】オンラインコミュニケーションに係る、より高解像度のコミュニケーション画像を、当該オンラインコミュニケーション中に生成された画像を用いて生成可能な装置を提供する。【解決手段】本装置は、端末で生成された元画像を低解像度にした画像のストリームを受信し、この画像ストリームから生成された低解像度画像を用いて生成されたオンライン画像を表示して実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能な装置であり、端末から元画像を取得する元画像取得手段と、オンライン映像を構成するオンライン画像における低解像度画像に係る部分に対し元画像を適用して、コミュニケーション画像を生成する画像生成手段とを有している。ここで、画像生成手段は、オンライン画像における低解像度画像に係る部分に対し、所定条件を満たすまでに類似する元画像を用いてコミュニケーション画像を生成することも好ましい。【選択図】図１

Description

本発明は、ウェブ会議やビデオ会議等のオンラインコミュニケーション技術に関する。

近年、ユーザが自らの端末を用い、通信ネットワークを介して互いにコニュニケーションを行う技術は、世界中、多くの場面で利用されている。例えば、電子メールや、ＳＮＳ（Social Networking Service）、さらにはウェブ会議やビデオ会議等のオンラインコミュニケーションは、プライベート用かビジネス用かにかかわらず、広くユーザの日常に入り込み、概ね不可欠の技術となっている。

このようなコミュニケーション技術を利用してコミュニケーションを行うユーザは通常、互いに離隔した位置に在るので、例えばウェブ会議に参加したユーザ同士が記念の集合写真を撮りたいとしても多くの場合、物理的に集合しての撮影は不可能である。

これに対し、特許文献１には、遠隔地のユーザがオンラインで仮想の撮影サービスを享受することを可能にする仮想撮影サービスシステムが開示されている。ここで、このシステムにおいては、メイン端末がユーザの操作によりサービスアップを起動して複数の撮影対象者の端末に招待メッセージを発送し、招待メッセージを受信した各端末がサービスアップを起動してメイン端末側に接続し、このメイン端末は、ユーザの指示に従い各撮影対象者の位置を指定して撮影を行って撮影されたイメージをサーバ側に送信する。

次いで、このサーバは、受信したイメージから各撮影対象者の像を所定のオブジェクトセグメンテーション技法を用いて取り出し、また、取り出された各像を最終的なイメージ上の指定された位置に挿入してイメージを完成させ、さらに、完成されたイメージを各撮影対象者の端末側に転送するのである。

また、特許文献２には、ＳＮＳの利用時において、関係性を成立させた複数の利用者が被写体となる仮想的な集合写真を形成する集合写真形成装置が開示されている。ここで、この装置においては、ＳＮＳの投稿ログの利用ページ等の利用時にタッチパネルを通じて「撮影」ボタンに対する操作（撮影指示）を受け付け、さらに、投稿者画像取得部が、ユーザ端末装置のユーザの顔写真の画像データと、当該ユーザの利用ページに投稿情報が掲載されている１以上の他のユーザ（友人関係の成立しているユーザ）の顔写真の画像データとをＳＮＳから取得する。次いで集合写真形成部が、これら取得された顔写真の画像データを用いて１枚の集合写真を形成するのである。

さらに、以上の特許文献技術に依らずとも、例えば公知のウェブ会議システムでは、各参加者の映像を１つの画面上に並べて表示することができ、さらに、参加者の各端末から、画面のスクリーンショット機能を発動させ、参加者映像を並べた画面を記録することも可能となっている。また、公知のオンラインＶＲ（Virtual Reality）会議では、仮想空間に参加者のアバターを配置し表示することができ、さらに仮想空間内に配置した仮想カメラを用いることによって、例えば様々なアングルからアバター群を仮想撮影することも可能となっている。

特開２０１７－５１３４１９号公報 特開２０１４－０４８８７６号公報

ここで例えば、オンライン会議に参加したユーザ同士が、記念の集合写真画像を取得したい場合を考える。この場合、当然のニーズとして、会議開催中に撮られた写真らしい、臨場感若しくはライブ感のある写真画像を生成することが強く望まれる。

さらに、例えばオンライン会議中に画面表示されるオンライン映像は通常、オンラインで処理可能なように低解像度のものとなっているが、記念の集合写真画像は、これよりも高解像度の良質な画像であることが大いに望まれるところである。したがって、例えばこのオンライン映像の表示された画面をスクリーンショットしたとしても、望まれるところの高解像度の集合写真画像を得ることはできない。

また、例えば特許文献１に記載された技術は、各参加者が、例えば音声チャットをしつつ個別に自らを撮影して生成した写真画像をサーバへ送信し、このサーバでそれらの写真画像を合成する技術となっており、上述したような臨場感若しくはライブ感のある集合写真画像を得ることは非常に困難となっている。

さらに、特許文献２に記載された技術においても、例えばすでにＳＮＳに登録されている顔写真データを収集して集合写真画像を生成するため、同じく臨場感若しくはライブ感のある集合写真画像を生成することはできない。

また上述したように、公知のオンラインＶＲ会議では、仮想空間に配置された参加者のアバターの集合写真画像を、仮想カメラをもって高解像度で生成することもたしかに可能となっている。しかしながら明らかに、参加者は、アバターの集合した様子を捉えたＣＧ（Computer Graphics）画像をもって、臨場感若しくはライブ感のある記念の集合写真画像とすることに満足するものではない。

そこで、本発明は、オンラインコミュニケーションに係る、より高解像度のコミュニケーション画像を、当該オンラインコミュニケーション中に生成された画像を用いて生成可能な装置、プログラム及び方法を提供することを目的とする。

本発明によれば、複数の端末で生成された元画像を低解像度にした画像のストリームを受信し、当該の画像ストリームから生成された低解像度画像を用いて生成したオンライン画像を表示することにより実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能なコミュニケーション画像生成装置であって、
当該端末から、当該元画像を取得する元画像取得手段と、
当該オンライン画像における当該低解像度画像に係る部分に対し当該元画像を適用して、当該コミュニケーション画像を生成する画像生成手段と
を有するコミュニケーション画像生成装置が提供される。

この本発明によるコミュニケーション画像生成装置においては、画像生成手段は、当該オンライン画像における当該低解像度画像に係る部分に対し、所定条件を満たすまでに類似する当該元画像を用いて、当該コミュニケーション画像を生成することも好ましい。

また、本発明によるコミュニケーション画像生成装置の一実施形態として、本コミュニケーション画像生成装置は、当該コミュニケーション画像を生成するタイミングを受け付ける又は決定する画像生成管理手段を更に有し、
元画像取得手段は、当該端末から、当該タイミングに基づき決定される時間区間に係る複数の当該元画像を取得し、
画像生成手段は、取得された複数の当該元画像のうちで、当該タイミングに係る当該オンライン画像を生成するのに用いられた低解像度画像に対し、所定条件を満たすまでに類似する元画像を選択し、選択した当該元画像を用いて当該コミュニケーション画像を生成する
ことも好ましい。

さらに上記の実施形態において、画像生成管理手段は、受け付けた又は決定したタイミングに向けてのカウントダウン情報を、当該オンラインコミュニケーションに参加するユーザに係る端末へ通知させることも好ましい。

また、本発明によるコミュニケーション画像生成装置における他の実施形態として、画像生成手段は、
生成すべきコミュニケーション画像の種別、構造、画像構成、及び画像内設定のうちの少なくとも１つに係る情報である生成案情報を受け付け又は決定し、
当該オンラインコミュニケーションに参加するユーザに係る端末へ当該生成案情報を送信させ、
当該生成案情報を提示されたユーザによって決定され、このユーザに係る端末から受信された応答情報であって、当該生成案情報の内容に対する同意、選択若しくは変更に係る応答情報を受け取り、
当該生成案情報及び当該応答情報に基づいて、当該コミュニケーション画像を生成する
ことも好ましい。

さらに上記の他の実施形態において、画像生成手段は、
当該応答情報を受け取る前において、当該オンライン画像としてのコミュニケーション画像案であって、当該低解像度画像を用いており当該生成案情報に基づき生成したコミュニケーション画像案を、当該オンラインコミュニケーションに参加するユーザに係る端末へ送信させてこのユーザに提示させ、
当該応答情報を受け取った後は、当該低解像度画像を用いており当該生成案情報及びそれまでに受け取った応答情報に基づき生成したコミュニケーション画像案を、当該オンラインコミュニケーションに参加するユーザに係る端末へ送信させてこのユーザに提示させる
ことも好ましい。

さらにまた、上記の当該低解像度画像を用いたコミュニケーション画像案の実施形態において、当該コミュニケーション画像案は、背景を含む背景レイヤと、当該オンラインコミュニケーションの参加者に係る参加者画像レイヤであって当該低解像度画像を用いた少なくとも１つの参加者画像レイヤとを含む多層構造を有していることも好ましい。

また、本発明に係るコミュニケーション画像についての一実施形態として、当該コミュニケーション画像は、背景を含む背景レイヤと、当該オンラインコミュニケーションの参加者に係る参加者画像レイヤであって当該元画像を用いた少なくとも１つの参加者画像レイヤとを含む多層構造を有していることも好ましい。

さらに、本発明によるコミュニケーション画像生成装置の更なる他の実施形態として、画像生成手段は、当該オンラインコミュニケーションに参加するユーザに係る端末から受信された、このユーザのコメントに係るコメント情報を受け取り、当該コメント情報を含む当該コミュニケーション画像を生成することも好ましい。

またさらに、本発明によるコミュニケーション画像生成装置の更なる他の実施形態として、画像生成手段は、当該オンラインコミュニケーションに参加するユーザに係る端末から受信された、このユーザによって生成された音声データ及び／又は映像データに係る音声及び／又は映像情報を受け取り、当該音声及び／又は映像情報へのリンクを埋め込んだコミュニケーション画像を生成することも好ましい。

さらに、本発明によるコミュニケーション画像生成装置の更なる他の実施形態として、本コミュニケーション画像生成装置は、
生成されたコミュニケーション画像に係る物及び／又はデータを提供可能な電子的取引サービスについての識別子であって、当該オンラインコミュニケーションに参加するユーザの識別子を保存する識別子保存部と、
当該識別子を用いて、当該電子的取引サービスに係るサーバに対し、生成されたコミュニケーション画像に係る物及び／又はデータを、当該識別子に係るユーザに提供させる指示を行う電子的取引アクセス手段と
を更に有することも好ましい。

本発明によれば、また、複数の端末で生成された元画像を低解像度にした画像のストリームを受信し、当該画像のストリームから生成された低解像度画像を用いて生成したオンライン画像を表示することにより実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能な装置に搭載されたコンピュータを機能させるコミュニケーション画像生成プログラムであって、
当該端末から、当該元画像を取得する元画像取得手段と、
当該オンライン画像における当該低解像度画像に係る部分に対し当該元画像を適用して、当該コミュニケーション画像を生成する画像生成手段と
としてコンピュータを機能させるコミュニケーション画像生成プログラムが提供される。

本発明によれば、さらに、複数の端末で生成された元画像を低解像度にした画像のストリームを受信し、当該画像のストリームから生成された低解像度画像を用いて生成したオンライン画像を表示することにより実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能な装置に搭載されたコンピュータにおけるコミュニケーション画像生成方法であって、
当該端末から、当該元画像を取得するステップと、
当該オンライン画像における当該低解像度画像に係る部分に対し当該元画像を適用して、当該コミュニケーション画像を生成するステップと
を有するコミュニケーション画像生成方法が提供される。

本発明のコミュニケーション画像生成装置、コミュニケーション画像生成プログラム、及びコミュニケーション画像生成方法は、オンラインコミュニケーションに係る、より高解像度のコミュニケーション画像を、当該オンラインコミュニケーション中に生成された画像を用いて生成することができる。

本発明によるコミュニケーション画像生成装置の一実施形態を包含するオンラインコミュニケーションサービス提供システムを示す模式図である。 本発明に係るコミュニケーション画像案及びコミュニケーション画像の一実施形態を説明するための模式図である。 本発明によるコミュニケーション画像生成方法の一実施形態を概略的に示すシーケンス図である。 本発明によるコミュニケーション画像生成方法の一実施形態を概略的に示すシーケンス図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

[コミュニケーション画像生成装置・システム]
図１は、本発明によるコミュニケーション画像生成装置の一実施形態を包含するオンラインコミュニケーションサービス提供システムを示す模式図である。ちなみにこの図１には、当該コミュニケーション画像生成装置の一実施形態における機能構成を示す機能ブロック図も含まれている。

図１に示した本実施形態のオンラインコミュニケーション（Online Communication，ＯＣ）サービス提供システムは、
（ａ）複数のユーザに係る複数の端末２と、
（ｂ）上記（ａ）の複数のユーザ（の端末２）に対しＯＣサービス、例えばウェブ会議・会合サービスやビデオ会議・会合サービス、を提供する、本発明によるコミュニケーション画像生成装置としてのＯＣサービス提供サーバ１と、
（ｃ）上記（ａ）の複数のユーザ（の端末２）に対し（電子商取引（ＥＣ）サービスを含む）電子的取引に係るサービスを提供する、且つ上記（ｂ）のＯＣサービス提供サーバ１とデータのやり取りが可能となっているＥＣサーバ３と
を備えている。

このうち、上記（ｂ）のＯＣサービス提供サーバ１は、
（ｂ１）上記（ａ）の複数の端末２（に内蔵された、取り付けられた又は接続されたカメラ）で生成された「元画像」を低解像度にした（例えばエンコードした）低解像度の画像のストリーム、具体的にはＨ.２６４、ＭＰＥＧ-２、MotionＪＰＥＧ、又はDivＸといったような非可逆圧縮方式で圧縮（低解像度化）された映像ストリーム、を受信し、
（ｂ２）受信された画像（映像）ストリームから生成された（例えば当該ストリームをデコードして得られた）「低解像度画像」から「オンライン画像」（さらにはその時系列データとしてのオンライン映像）を生成し、上記（ａ）の各端末２の画面に「オンライン画像」を表示させ（例えば、各参加ユーザが各参加者窓内に映し出されたオンライン映像を表示させ）、さらに各参加ユーザの音声もリアルタイムで出力するＯＣサービスを提供し、さらに、
（ｂ３）本ＯＣサービス提供システムにおいて実施されるオンラインコミュニケーションに係る「コミュニケーション画像」、例えば端末２を介してオンライン誕生日会（ウェブ会合）に参加したユーザの集合写真画像、を生成することができる
装置となっている。

ここで、上記（ｂ３）の「コミュニケーション画像」（例えば集合写真画像）を生成するべく、ＯＣサービス提供サーバ１は、具体的に、
（Ａ）端末２から、上記（ｂ１）の「元画像」を取得する元画像取得・管理部１１１と、
（Ｂ）上記（ｂ２）の「オンライン画像」における「低解像度画像」に係る部分（例えば、ユーザの"顔"や"上半身"といったような所定の対象を含む部分）に対し「元画像」を適用して、「コミュニケーション画像」を生成するコミュニケーション画像生成部１１２と
を有しているのである。

このように、ＯＣサービス提供サーバ１は、オンラインコミュニケーション中に表示される「オンライン画像」（オンライン映像）を生成する元データとなる「元画像」を利用して「コミュニケーション画像」を生成する。ここでこの「元画像」は、「低解像度画像」と比較して当然、より高解像度の画像となっている。すなわち、ＯＣサービス提供サーバ１は、より高解像度の「コミュニケーション画像」を、当該オンラインコミュニケーション中に生成された画像（元画像）を用いて生成することができるのである。

またこれにより、例えば、オンライン誕生日会開催中に撮られた写真らしい、臨場感若しくはライブ感のある高解像度の集合写真画像（コミュニケーション画像）を生成することもできる。また勿論、リアルな集合写真画像を超えて、オンライン誕生日会により相応しい独創的な集合写真画像を生成することも可能となるのである。

ちなみに、上記（ｂ２）の「オンライン画像」（オンライン映像）は「低解像度画像」から生成されており、例えばオンラインコミュニケーションに参加しているユーザ群の写った「オンライン画像」（オンライン映像）を、例えば端末２のスクリーンショット機能で記録することも可能である。この場合、たしかに臨場感若しくはライブ感はあるものの低解像度の（低画質の）集合写真画像しか得られない。

これに対し、ＯＣサービス提供サーバ１によれば、例えば上述したように臨場感若しくはライブ感のある高解像度の集合写真画像（コミュニケーション画像）を生成することもできるのであり、具体例として、オンライン会食、オンライン冠婚葬祭や、オンライン会議の記念・記録に相応しい集合写真画像（コミュニケーション画像）を、参加者・参列者・出席者に対し配信することも可能となる。さらに、例えばオンラインライブ・挨拶会における高解像度のツーショット写真画像を、該当者へ送信することもできるのである。

また、このような本発明に係る「コミュニケーション画像」に対するニーズは、人々の交流の態様が（オンライン会議、オンライン冠婚葬祭、オンライン飲み会や、オンライン社会見学等といったように）よりオンライン化する方向に変化している現在、ますます高まっていくことが予想される。すなわち、例えばオンラインで交流を行った人々の間で、物理的に集まる必要の生じる従来の記念集合写真に代えて、本発明に係る「コミュニケーション画像」を、その記念・記録として若しくは親近感・連帯感を高めるツールとして生成しておきたいとの要望は、今後ますます増えていくものと考えられる。

なお、ＯＣサービス提供サーバ１は、１つの好適な態様として、刻々と生成した「コミュニケーション画像」の時系列群から「コミュニケーション映像」を生成することも好ましい。例えば、ウェブ誕生日会の一場面（具体例として皆で「おめでとう！」と祝福する場面）の記録ビデオとしての「コミュニケーション映像」を生成してもよいのである。また、生成した「コミュニケーション画像」に対し音声メッセージやビデオメッセージを付与して、当該「コミュニケーション画像」をマルチメディア化することも好ましい。このマルチメディア化については、後に、マルチメディア化部１１２ｂ（図１）について述べるところで詳細に説明する。

また、ＯＣサービス提供サーバ１は、他の実施形態として、上記（ｃ）のＥＣサーバ３と連携して、端末２のユーザに対し、「コミュニケーション画像」の配信サービス（例えばオンライン誕生日会の記念集合写真のプリント・配信サービス）を実施することも好ましい。この配信サービスについては、後に、ＥＣサーバアクセス部１２３（図１）について述べるところで詳細に説明する。

さらに、本発明によるサービス提供装置は、以上に説明したようなＯＣサービス提供サーバ１に限定されるものではなく、例えば、本発明に係るＯＣサービス提供システムを構築するＯＣサービス提供サーバとの間でＡＰＩ（Application Programming Interface）等を介しデータ通信が可能となっている外部の装置とすることも可能である。この場合、この（本発明によるサービス提供装置としての）装置は、少なくとも元画像取得・管理部１１１（図１）及びコミュニケーション画像生成部１１２（図１）を備えた装置とすることができる。

また、本発明によるサービス提供装置を、ＥＣサーバ及びＯＣサービス提供サーバの両機能を備えた装置とすることもできる。この場合、上述したようなＥＣサーバ３との連携を行うことなく、「コミュニケーション画像」の配信サービスを実施することも可能となるのである。

さらに、「元画像」を生成する端末２についてであるが、端末２は、内蔵した、取り付けられた又は接続されたカメラをもって「元画像」を生成（撮影）してもよく、また、より高解像度の（より高画質の）「元画像」を撮影すべく、フラッシュ等の撮影用ライトを備えていたり、撮影の際、「元画像」や「オンライン画像」を表示する画面の輝度を所定以上に高く設定する機能を備えていたり、さらに、画面の表示領域の中で白の領域を増やす機能を備えていたりすることも好ましい。またさらに、生成（撮影）された「元画像」に対し、撮影時のライティング相当の演出効果を付与したり、明るさやコントラストを変換調整したりする等の元画像加工機能を備えていてもよい。

さらに言えば、参加ユーザを含む「元画像」を撮影する際に、グリーンバックやブルーバック等での撮影を行ってもよい。これにより、後に実施される、「元画像」から参加ユーザの"顔"や"上半身"等（所定の対象）を切り出す処理が容易になるのである。

［装置機能構成］
同じく図１の機能ブロック図によれば、本発明によるコミュニケーション画像生成装置としてのＯＣサービス提供サーバ１は、通信インタフェース部１０１と、ＯＣサービス情報保存部１０２と、元画像保存部１０３と、コミュニケーション画像保存部１０４と、対応ＩＤ保存部１０５と、キーボード（ＫＢ）１０６と、ディスプレイ（ＤＰ）１０７と、プロセッサ・メモリとを有する。

ここで、このプロセッサ・メモリは、本発明によるコミュニケーション画像生成プログラムの一実施形態を保存しており、さらにコンピュータ機能を有していて、このコミュニケーション画像生成プログラムを実行することによってコミュニケーション画像生成処理を実施する。またこのことから、ＯＣサービス提供サーバ１（コミュニケーション画像生成装置）は、当該コミュニケーション画像生成処理用の専用装置とすることもできるが、本発明によるコミュニケーション画像生成プログラムを搭載した汎用のクラウドサーバや非クラウド型サーバであってもよく、さらにはパーソナル・コンピュータ（ＰＣ）、又はノート型若しくはタブレット型コンピュータ等とすることも可能である。

さらに、上記のプロセッサ・メモリは、元画像取得・管理部１１１と、（寄せ書きレイヤ生成部１１２ａａ及び応答情報反映部１１２ａｂを含む）コミュニケーション画像案生成部１１２ａ、及びマルチメディア化部１１２ｂを含むコミュニケーション画像生成部１１２と、カウントダウン情報生成部１１３ａを含む画像生成管理部１１３と、通信制御部１２１と、ＯＣサービス実施部１２２と、ＥＣサーバサクセス部１２３と、入出力制御部１２４とを有する。これらの機能構成部は、プロセッサ・メモリに保存されたコミュニケーション画像生成プログラムの機能と捉えることができる。また、図１におけるＯＣサービス提供サーバ１（コミュニケーション画像生成装置）の機能構成部間を矢印で接続して示した処理の流れは、本発明によるコミュニケーション画像生成方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、ＯＣサービス実施部１２２は、公知のＯＣサービス提供サーバ、例えばウェブ会議（会合）サービス提供サーバやビデオ会議（会合）サービス提供サーバ、によって実施されるＯＣサービス提供のための公知の処理一般を実施する機能構成部である。ここで、この公知の処理には、複数の端末２から受信された画像（映像）ストリームから、例えば会議（会合）に参加する参加ユーザの"顔"や"上半身"の画像を含む参加者窓を並べた「オンライン画像」（オンライン映像）を生成し、参加ユーザの端末２に配信してその画面に表示させる処理も含まれる。

さらに、提供するＯＣサービスのサービス識別子（ＩＤ）、その開催日時・開催時間の情報や、当該ＯＣへの参加者の参加者ＩＤ・端末２のアドレス情報等、さらには当該ＯＣに係る「低解像度画像」や「オンライン画像」（オンライン映像）等は、ＯＣサービス情報保存部１０２に保存・管理されており、ＯＣサービス実施部１２２は、ＯＣサービス情報保存部１０２から適宜必要な情報を取り出して、ＯＣサービス提供処理を実施するのである。

また、入出力制御部１２４は、サーバ管理者によるＯＣサービス提供サーバ１の運営・管理のための指示を、キーボード１０６を介して受け付け、当該指示をサーバ内の必要箇所へ出力する。また、サーバ内の各種箇所からの情報を受け付け、当該情報を、ディスプレイ１０７を介してサーバ管理者へ提示する。

同じく図１の機能ブロック図において、元画像取得・管理部１１１は、ＯＣサービス実施部１２２によって提供されるＯＣサービスを受けている（したがって、オンラインコミュニケーションを実施するべく本サーバ１に対し低解像度の画像ストリームを送信している）複数の端末２から、当該画像ストリームを生成する元となった「元画像」を別途取得し、適宜、元画像保存部１０３に保存させて管理を行う。なお、ここで取得される「元画像」は当然、実施されているオンラインコミュニケーションで使用されている「低解像度画像」や「オンライン画像」（オンライン映像）よりも高い解像度を有し、より高画質の画像となっている。

また、この「元画像」を取得するその態様や取得するタイミング等については、例えば予め設定された時刻に、又はホストであるホスト参加ユーザの端末２からの撮影指示を受けたタイミングで、「コミュニケーション画像」に関係するユーザの端末２から「元画像」を１フレームだけ受信してもよい。また、所定時間間隔（例えば2秒間）で定期的にその時点に係る「元画像」１フレーム分を受信し続けることも可能である。しかしながら本実施形態において、元画像取得・管理部１１１は、次に説明する画像生成管理部１１３（図１）による指示によって、より好適な取得態様・取得タイミングを採ることになる。

同じく図１の機能ブロック図において、画像生成管理部１１３は、目的である「コミュニケーション画像」を生成するタイミングを受け付け又は決定し、元画像取得・管理部１１１に対し、当該タイミングに基づき決定される時間区間に係る複数の「元画像」を取得するように指示を行う。

より具体的に本実施形態において、画像生成管理部１１３は、
（ａ）ホスト参加ユーザの端末２から生成指示を受信し、又はキーボード１０６及び入出力制御部１２４を介しホストとしてのサーバ管理者による生成指示入力を受け付け、
（ｂ）受け取った生成指示（入力）に基づき、「コミュニケーション画像」の「生成タイミング」を決定し（例えば、生成指示（入力）を受け付けた時点から所定時間（例えば5秒）経過後の時点を「生成タイミング」に決定し）、
（ｃ）カウントダウン情報生成部１１３ａにおいて、決定した「生成タイミング」に向けてのカウントダウン情報（例えば、1秒おきに表示される"5"、"4"、"3"、"2"、"1"、及びまさに「生成タイミング」で表示される"0"、といったようなカウントダウンレイヤ（図２）情報）を生成し、
（ｄ）生成したカウントダウン情報を（後述するコミュニケーション画像案と合わせて）オンラインコミュニケーション参加ユーザの各端末２へ送信・通知して表示させ、
（ｅ）元画像取得・管理部１１１に対し、（"0"の表示された）「生成タイミング」の前後所定時間（例えば、「生成タイミング」の0.5秒前の時点から「生成タイミング」の0.5秒後の時点までの時間区間）において生成された（例えば数十フレームの）「元画像」を各端末２から取得させる
のである。

ここで、上記（ｅ）において複数枚の（例えば数十フレームの）「元画像」を取得させるのは、クライアント（端末２）・サーバ（ＯＣサービス提供サーバ１）間の遅延を考慮したためであるが、この点、この後のコミュニケーション画像生成部１１２（図１）のところで説明を行う。

同じく図１の機能ブロック図において、コミュニケーション画像生成部１１２は、（オンラインコミュニケーションが実施されている間は）通常、端末２の画面に常時表示される「オンライン画像」（オンライン映像）における「低解像度画像」に係る画像部分、本実施形態ではユーザの"顔"や"上半身"といったような所定の対象を含む画像部分に対し、「元画像」を適用して、所定の対象（例えばユーザの"顔"や"上半身"）を含む「コミュニケーション画像」を生成する。

より具体的に本実施形態では、コミュニケーション画像生成部１１２は、
（ａ）元画像取得・管理部１１１によって取得された複数の（例えば数十フレームの）「元画像」のうちで、決定された「生成タイミング」に係るオンライン画像における所定の対象（ユーザの"顔"や"上半身"）含む部分を生成するのに用いられた「低解像度画像」に対し、所定条件を満たすまでに類似する「元画像」を選択し、
（ｂ）選択した「元画像」を用いて「コミュニケーション画像」を生成するのである。

ちなみに上記（ａ）において、決定された「生成タイミング」に係る「オンライン画像」は、ＯＣサービス情報保存部１０２から読み出され、一方、候補となる複数の「元画像」は元画像保存部１０３から読み出されて、その後、両者が突き合わされて比較されるのである。これにより、クライアント（端末２）・サーバ（ＯＣサービス提供サーバ１）間の遅延による両者の時間的ズレを解消し、例えば「生成タイミング」前後で参加者が急な動きを行った場合でもその様子をまさに「コミュニケーション画像」に反映させることもできるのである。また、仮想的な同一場所に集合しているともいえる参加ユーザ群の、まさに「生成タイミング」での仮想的集合写真画像を取得することもでき、例えばオンラインコミュニケーション中に撮られた写真らしい、臨場感若しくはライブ感のある高解像度の「コミュニケーション画像」を生成することも可能となるのである。

ここで、上記（ａ）の「所定条件を満たすまでに類似する元画像」とは、例えば、公知である様々な画像間の類似の度合いを測る尺度を用い、「この尺度によって最も類似しているといえる元画像」のこととすることもできる。また、「所定閾値以上の当該尺度値を有する元画像（のうちランダムに選択されたもの、生成時点が最も早いもの、又は生成時点が最も「生成タイミング」に近いもの）」とすることも可能である。

この点、本実施形態では、画像間の類似の度合いを測る尺度として、非可逆圧縮による画像劣化評価尺度として公知であるＰＳＮＲ（Peak Signal-to-Noise Ratio，ピーク信号対雑音比）や、ＳＳＩＭ（Structural Similarity）を採用している。具体的に、コミュニケーション画像生成部１１２は、
（ａ１）決定された「生成タイミング」に係るオンライン画像における所定の対象（ユーザの"顔"や"上半身"）を含む画像部分を生成するのに用いられた「低解像度画像」と、当該「低解像度画像」の送信元である端末２から取得された複数の「元画像」との間のＰＳＮＲ値又はＳＳＩＭ値を算出し、
（ａ２）ＰＳＮＲ値又はＳＳＩＭ値の最も大きい「元画像」を選択する
のである。

ここで、ＰＳＮＲ値又はＳＳＩＭ値を適切に算出するため、「元画像」を低解像化してそのピクセル数を「低解像度画像」のピクセル数に合わせてもよい。また必要に応じ、機械学習による画像解析技術を用い、「元画像」と「低解像度画像」との間で写っている範囲が同一となるように「元画像」を切り出したり拡大・縮小したりしてもよい。さらには、そもそも「元画像」のアスペクト比及び画像内に写っている範囲と、「低解像度画像」のそれらとが同一となるように、これらの画像を生成することも好ましい。ちなみに、ＳＳＩＭは、ＰＳＮＲと比較すると、ピクセルずれに対する過剰な値の変動が抑制されており、比較画像間における対象形状の違いや変化をより正確に捉えやすいとされている。すなわち、ＳＳＩＭは、本実施形態における「低解像度画像」と「元画像」との類似度の把握にはより適した尺度となっている。

次いで、コミュニケーション画像生成部１１２は、選択した「元画像」を用いて「コミュニケーション画像」を生成するのであるが、本実施形態では「コミュニケーション画像」を生成するにあたり、
（ａ）生成すべき「コミュニケーション画像」の種別、構造、画像構成、及び画像内設定のうちの少なくとも１つに係る情報である「生成案情報」を受け付け又は決定し、
（ｂ）オンラインコミュニケーションに参加する参加ユーザの端末２へ「生成案情報」を送信させ、
（ｃ）「生成案情報」を提示されたユーザによって決定され、参加ユーザの端末２から受信された「応答情報」であって、「生成案情報」の内容に対する同意、選択若しくは変更に係る「応答情報」を受け取り、
（ｄ）「生成案情報」及び「応答情報」に基づいて、「コミュニケーション画像」を生成する
のである。これにより、参加ユーザにとって好適な、納得のいく、又は総意と言える種別、構造、画像構成や、画像内設定の「コミュニケーション画像」を生成することも可能となる。

ちなみに、上述した「生成案情報」を構成する情報のうち、
・種別とは、実施するオンラインコミュニケーションの種類（例えば、会議、冠婚葬祭、飲み会や、社会見学等）に対応する「コミュニケーション画像」（例えば、集合写真画像）のカテゴリのことであってもよく、
・構造には、後に図２を用いて説明するような多層構造（レイヤ構造）の情報も含まれていることも好ましく、
・画像構成には、「コミュニケーション画像」（集合写真画像）を構成する各レイヤにおける表示領域の形状、配置や、透過率等が含まれていてもよく、
・参加者画像レイヤ（図２）の画像内設定には、参加ユーザの"顔"や"上半身"（所定の対象）だけを切り出して他の領域は透過状態とするのか、または、レイヤ表示領域の形状で切り出して他の領域は透過とするのか等についての設定、また、参加者画像における表示領域の拡大・縮小率（倍率）、参加者画像の傾き具合や、透過率等の設定、さらには参加者画像のエフェクト設定（例えばソフトフォーカス等の画像フィルタの設定や、顔の肌感の補正設定、さらには男女変換や被り物等の装飾を人物に重畳させる変換といったような高度な変換の設定等）が含まれていることも好ましく、
・寄せ書きレイヤ（図２）の画像内設定には、寄せ書き表示領域の拡大・縮小率（倍率）、寄せ書き画像の傾き具合や、透過率等の設定、さらにはエフェクト設定（テキスト文字のサイズ、フォント種別、装飾の種別や、手書き文字の場合におけるペンの種別等の設定等）が含まれていてもよい。

さらに「生成案情報」について、参加ユーザと同数の参加者画像レイヤを有する（提示された）複数の「生成案情報」の中から、オンラインコミュニケーションの種類に応じて１つを選択できるように設定されていることも好ましく、または、参加ユーザの人数に応じて自動的に参加者画像レイヤ数が決定される設定となっていることも好ましい。またさらに、過去に生成された「生成案情報」が保存されていて、参加ユーザは、このうちの１つを選択して再度使用する（提示する）ことができるように設定されていてもよい。

また、このような「生成案情報」及び「応答情報」のやり取りを行う形態において、画像生成部１１２のコミュニケーション画像案生成部１１２ａは、
（ｂ’）「応答情報」を受け取る前において（上記（ｂ）の段階において）、「オンライン画像」としての「コミュニケーション画像案」であって、「低解像度画像」を用いており上記（ａ）の「生成案情報」に基づき生成した「コミュニケーション画像案」を、オンラインコミュニケーションに参加する参加ユーザの端末２へ送信させて参加ユーザに提示させ、
（ｃ’）（上記（ｃ）のように）「応答情報」を受け取った後は、「低解像度画像」を用いており「生成案情報」及びそれまでに受け取った「応答情報」に基づき、応答情報反映部１１２ａｂで生成した「コミュニケーション画像案」を、参加ユーザの端末２へ送信させて参加ユーザに提示させる
ことも好ましい。

このように「コミュニケーション画像案」を、（オンラインコミュニケーション中に表示される画像である）「オンライン画像」として例えば端末２の画面に表示させることによって、当該端末２の参加ユーザは、受信した「生成案情報」によれば実現するコミュニケーション画像の内容を視覚的に確認することができ、その結果、より適切な「応答情報」を生成することも可能となるのである。

またさらに、上述したような「生成案情報」と「応答情報」のやり取りは、各参加ユーザとの間で適宜、繰り返し実施されることも好ましい。例えば、直感的な応答情報のやり取り例として、各参加ユーザは、端末２のタッチパネル・ディスプレイに表示された「コミュニケーション画像案」に対し、タップやドラッグ等の操作を行うことによって自身が映りたい場所及びその範囲を選択・指定することができてもよい。また、参加ユーザ間のこのような選択・指定は先着順に採用されてもよく、例えば指定範囲が重畳する場合には、先に指定した参加ユーザの画像が前（上側）になるように設定されていることも好ましい。

さらに、参加ユーザは、端末２に表示されたスライドバーを操作することによって、自らの画像の拡大・縮小率（倍率）、傾き具合や、透過率等を調整することができてもよい。また、表示されたエフェクトメニューを選択し操作することによって、自らの画像のエフェクト設定（例えばソフトフォーカス等の画像フィルタの設定、顔の肌感の補正設定や、男女変換等の高度な変換設定等）を行うことができることも好ましい。

いずれにしても、「応答情報」を適宜反映させた「コミュニケーション画像案」を「オンライン画像」として概ねリアルタイムで表示させることによって、参加ユーザの間で以上に述べたような高度な設定・調整を行うことが可能となる。例えば参加ユーザ同士が、刻々と更新される「コミュニケーション画像案」を互いにリアルタイムで確認しながら、最終的な「コミュニケーション画像」を一緒に（例えば皆で盛り上がって楽しみながら）創り上げることも可能となるのである。

さらに本実施形態において、コミュニケーション画像案生成部１１２ａ（の寄せ書きレイヤ生成部１１２ａａ）は、後に図２を用いて具体的に説明を行うが、オンラインコミュニケーションに参加する参加ユーザの端末２から受信された、参加ユーザのコメントに係る「コメント情報」（例えば寄せ書き）を受け取り、「コメント情報」を含む「コミュニケーション画像」を生成することも可能となっている。

これにより例えば、各参加ユーザの"顔"や"上半身"の近傍に、当該参加ユーザの寄せ書き（コメント）を表示した「コミュニケーション画像」を生成することもできるのである。ここで、この寄せ書き（コメント）は、手書きデータでもよく、フォントやサイズ等の指定を含むテキストデータであってもよい。また勿論、「コミュニケーション画像案」によらずに寄せ書き等の「コメント情報」を含む「コミュニケーション画像」を生成する形態をとることも可能である。なお、このような「コメント」情報を用いた処理の具体的な内容については、後に図２を用いて説明を行う。

また本実施形態においては、コミュニケーション画像生成部１１２（のマルチメディア化部１１２ｂ）は、オンラインコミュニケーションに参加する参加ユーザの端末２から受信された、参加ユーザによって（例えば端末２のマイクやカメラを用いて）生成された音声データ及び／又は映像データに係る「音声及び／又は映像情報」を受け取り、「音声及び／又は映像情報」へのリンクを埋め込んだ「コミュニケーション画像」を生成することも好ましい。

なお変更態様として、この「音声及び／又は映像情報」は、オンラインコミュニケーション中リアルタイムに表示される（一時保存された）「オンライン画像」や「コミュニケーション画像案」における画像データや、並行して保存されている音声データから生成することも可能である。例えば、ある参加ユーザに係るこのような音声データのうち、所定以上の特徴を有する（例えば所定回数以上繰り返された）発言に係る音声データを、公知の音声認識技術を用いて抽出し、当該音声データを、当該参加ユーザの「音声情報」として取得してもよい。

いずれにしても、このような「音声及び／又は映像情報」へのリンクを埋め込んだ「コミュニケーション画像」は、いわば高解像度のコミュニケーション画像をマルチメディアコンテンツにしたものとなっている。

したがって例えば、オンライン誕生日会に参加した全参加ユーザの"顔"や"上半身"の映った高解像度集合写真画像（コミュニケーション画像）が端末２のタッチパネル・ディスプレイに表示されて、この表示画像における参加ユーザの"顔"や"上半身"の画像部分をタップすれば、当該参加ユーザの音声メッセージやビデオメッセージが（端末２のスピーカから又はタッチパネル・ディスプレイに）出力されるようにすることも可能となるのである。なお、このようなマルチメディア化処理の具体的な内容についても、後に図２を用いて説明を行う。

またさらに、変更態様として、上述したようなマルチメディアコンテンツ（コミュニケーション画像）を外部のウェブ（Web）サーバに保存・管理させた上で、参加ユーザは、自らの端末２を用いてこのウェブサーバにアクセスし、端末２に搭載されたウェブブラウザを用いてこのマルチメディアコンテンツを再生して楽しむことができる設定となっていてもよい。また、このようなマルチメディアコンテンツは、自動再生される設定となっていてもよい。

以上、コミュニケーション画像生成部１１２において実施可能な種々のコミュニケーション画像生成処理を説明したが、このようにして生成された「コミュニケーション画像」は（さらに例えば途中で生成された「コミュニケーション画像案」も）、コミュニケーション画像保存部１０４に保存され、適宜、又は参加ユーザ（の端末２）からの要求に応じてコミュニケーション画像保存部１０４から読み出されて、通信制御部１２１及び通信インタフェース部１０１を介し、（全参加ユーザの又は要求元の）端末２へ配信されてもよい。

また他の好適な実施形態として、ＯＣサービス提供サーバ１は、サービス提供に関して連携しているＥＣサーバ３を用い、「コミュニケーション画像」を（電子商取引（ＥＣ）サービスを含む意味での）電子的取引サービスとして提供することもできる。この場合、ＥＣサーバ３は、その連携内容として、生成された「コミュニケーション画像」に係る物（例えば当該画像の写真プリントや印刷物）及び／又はデータ（例えば当該画像の電子データ）を提供するＥＣサービスを実施可能なサーバとなっている。

また、ＯＣサービス提供サーバ１の対応ＩＤ保存部１０５（図１）は、このようなＥＣサービスについての（当該オンラインコミュニケーションに参加する）参加ユーザの識別子であるＥＣ_ＩＤを、例えばＥＣサーバ３から当該参加ユーザの承認の下で取得し保存・管理している。

さらに、ＥＣサーバアクセス部１２３（図１）は、電子的取引アクセス手段であって、この対応ＩＤ保存部１０５から読み出した（参加ユーザの）ＥＣ_ＩＤを用いて、ＥＣサーバ３に対し、生成された「コミュニケーション画像」に係る物（写真プリントや印刷物等）及び／又はデータ（画像電子データ等）を、当該ＥＣ_ＩＤに係る参加ユーザに提供させるのである。これにより、例えばオンラインで仮想的に集合した参加ユーザの記念集合写真を（例えば額に入れて）配送するといったようなオンラインプリント・配信サービスを提供することも可能となる。

また変更態様として、当該オンラインコミュニケーションに参加する参加ユーザがあるＳＮＳ（Social Networking Service）において互いに繋がっている（"友達"関係にある）場合において、対応ＩＤ保存部１０５は、参加ユーザ毎に、ＥＣ_ＩＤと、当該ＳＮＳにおける当該参加ユーザの識別子であるＮＳ_ＩＤとを対応付けて保存・管理していることも好ましい。

またこの場合、ＥＣサーバアクセス部１２３は、対象となる参加ユーザのＮＳ_ＩＤをもって（対応ＩＤ保存部１０５から）検索したＥＣ_ＩＤを用いて、ＥＣサーバ３に対し、生成された「コミュニケーション画像」に係る物（写真プリントや印刷物等）及び／又はデータ（画像電子データ等）を、当該ＮＳ_ＩＤに係る参加ユーザに提供させてもよい。また、当該参加ユーザ（の端末２）から当該ＳＮＳを介して、そのようなＥＣサービスを受けたい旨の要求を受信したり、当該ＳＮＳを介してそのようなＥＣサービスを提供する旨を、当該参加ユーザ（の端末２）へ通知したりしてもよいのである。

ここでこの場合、参加ユーザは、ＥＣサービスを受けるのに必要となる住所や決済情報等のプライバシ情報を、ＯＣサービス提供サーバ１や当該ＥＣサービスの企画ユーザに知られることなく当該ＥＣサービスを享受することができる。

また、当該ＥＣサービスの企画ユーザ（の端末２）が、当該ＥＣサービス提供企画案（例えば、配信する集合写真のサイズ、画質や、集合写真を入れる額や冊子の種類、さらには配送日時や、決済者（代金支払い者）を誰にするか等についての提案）を、ＯＣサービス提供サーバ１を介して各参加ユーザ（の端末２）へ通知し、通知された参加ユーザからの応答内容に従って当該ＥＣサービスの具体的内容を決定することも好ましい。また、各参加ユーザは、当該企画ユーザが企画したＥＣサービス（例えばプリント・配信サービス）とは別のＥＣサービス（例えば別の画像のプリント・配信サービス）を随時、企画することが可能となっていてもよい。

また、ＥＣサーバアクセス部１２３は、ＥＣサーバ３に対し、上述したようなマルチメディア化した「コミュニケーション画像」としてのマルチメディアコンテンツを記録した記録媒体を、参加ユーザへ配送させてもよい。また、このような記録媒体を仕込んでおり例えばマルチメディアコンテンツを再生（例えば表示）できるようにしたフレーム装置を配送させることも好ましい。

［コミュニケーション画像，画像案］
図２は、本発明に係るコミュニケーション画像案及びコミュニケーション画像の一実施形態を説明するための模式図である。ここで、本実施形態の「コミュニケーション画像案」及び「コミュニケーション画像」はそれぞれ、多層構造（レイヤ構造）を有している。

最初に、「コミュニケーション画像案」は具体的に、
（ａ）1枚の背景レイヤ、
（ｂ）参加ユーザの数だけの（参加ユーザ毎に設けられた）参加者画像レイヤ、
（ｃ）参加ユーザの数だけの（参加ユーザ毎に設けられた）寄せ書きレイヤ、及び
（ｄ）1枚のカウントダウンレイヤ
が重畳し、これらの全体で1つの画像が構成される構造となっている。なおこれらのレイヤの重畳順は、図２に示したものに限定されず任意に設定可能である。

ここで上記（ａ）の背景レイヤは、例えばホストであるホスト参加ユーザによって設定される「生成案情報」（コミュニケーション画像案設定情報）で取り決められた背景画像を表すレイヤであり、例えば予め用意されている多数の背景画像テンプレートから選択されたものであってもよい。

また、上記（ｂ）の参加者画像レイヤは、参加ユーザの「低解像度画像」をレイヤ変換して用いて生成されたレイヤとなっており、例えば当該参加者の"顔"又は"上半身"（所定の対象）を表していて、それ以外は透過とする対象画像レイヤとなっている。これらの参加者画像レイヤを重畳させることによって、例えば参加ユーザ全員の"顔"又は"上半身"が並んだ画像を生成することもできるのである。

ここで、参加ユーザの「低解像度画像」は、当該参加ユーザの端末２が「元画像」をエンコード（非可逆圧縮）して生成した画像のストリーム（映像ストリーム）を、受信後にデコードして得られる画像データである。また、この「低解像度画像」に対して実施されるレイヤ変換は、例えばホストであるホスト参加ユーザによって設定される「生成案情報」で取り決められた設定内容（例えば、"顔"や"上半身"といった画像中の切り出し対象、切り出した対象の画像内配置やサイズ・拡大率、レイヤの重畳する中での位置（参加ユーザの画像内奥行きの度合い）等）に従った画像処理とすることができる。ちなみに、"顔"や"上半身"といった画像中の切り出し対象（所定の対象）の切り出しは、公知の対象検出器や背景差分アルゴリズムを用いて実施される。

また本実施形態のように、参加ユーザ毎に個別の参加者画像レイヤを設けることによって、例えば「生成案情報」で取り決められた設定内容や「応答情報」に基づき変更された設定内容が参加ユーザ毎に異なっている場合でも、対応する画像処理を適切に実施することができるのである。

さらに、上記（ｃ）の寄せ書きレイヤは、上述したように寄せ書きレイヤ生成部１１２ａａ（図１）によって生成され、参加ユーザの端末２から受け取った、当該参加ユーザのコメントに係るコメント情報（例えば寄せ書きのテキスト）を表すレイヤとなっている。これらの寄せ書きレイヤを互いに、さらに参加者画像レイヤ群と重畳させることによって、例えば、参加ユーザの"顔"や"上半身"の近傍に当該参加ユーザによる寄せ書きが表示された画像を生成することもできるのである。ここで、この寄せ書き（コメント）の表示位置も、上記の「生成案情報」において予め設定されていてもよい。

また、上記（ｄ）のカウントダウンレイヤは、上述したようにカウントダウン情報生成部１１３ａ（図１）において生成されるレイヤであり、決定した「生成タイミング」に向けてのカウントダウン情報、具体的には例えば1秒おきに表示される"5"、"4"、"3"、"2"、"1"、及びまさに「生成タイミング」で表示される"0"、といったカウントの数字を表すレイヤとなっている。

同じく図２において、次に、「コミュニケーション画像」は具体的に、
（ｅ）1枚の高解像度背景レイヤ、
（ｆ）参加ユーザの数だけの（参加ユーザ毎に設けられた）高解像度参加者画像レイヤ、
（ｇ）参加ユーザの数だけの（参加ユーザ毎に設けられた）寄せ書きレイヤ、及び
（ｈ）1枚のリンクレイヤ
が重畳し、これらの全体で1つの画像が構成される構造となっている。なおこれらのレイヤの重畳順も、図２に示したものに限定されず任意に設定可能である。

ここで上記（ｅ）の高解像度背景レイヤは、（上記（ａ）の背景レイヤを含む「コミュニケーション画像案」を確認した）参加ユーザの端末２から受け取られた上述の「応答情報」を勘案して、最終的に決定された背景レイヤである。この高解像度背景レイヤは、オンラインコミュニケーション中にリアルタイムで配信される上記（ａ）の背景レイヤとは異なり、採用の決まった背景画像テンプレートに対応付けて用意されているより高解像度の背景画像テンプレートを用いたレイヤとすることができる。

また、上記（ｆ）の高解像度参加者画像レイヤは、（上記（ｂ）の参加者画像レイヤを含む「コミュニケーション画像案」を確認した）参加ユーザの端末２から受け取られた上述の「応答情報」を勘案して、最終的に決定された参加者画像レイヤである。この高解像度参加者画像レイヤは、オンラインコミュニケーション中にリアルタイムで配信される上記（ｂ）の参加者画像レイヤとは異なり、参加ユーザから承認された「コミュニケーション画像案」における参加者画像レイヤの"顔"や"上半身"といった切り出し対象（所定の対象）の部分を、同様のレイヤ変換を施した「元画像」によって置き換えたものとなっている。

ここで、この「元画像」は、端末２から取り寄せた「生成タイミング」前後の数十フレームの「元画像」群のうちで、「生成タイミング」に係る「低解像度画像」に最も類似した（例えば最も大きなＰＳＮＲ値やＳＳＩＭ値を示す）「元画像」とすることができる。このような「元画像」を用いた高解像度参加者画像レイヤを採用することによって、「生成タイミング」における実際の参加ユーザの様子を反映した（例えば臨場感又はライブ感のある）より高解像度の「コミュニケーション画像」を生成することも可能となるのである。

ちなみに本実施形態において、コミュニケーション画像生成部１１２（図１）は、以上に説明した上記（ｆ）の高解像度参加者画像レイヤが、上記（ｂ）の参加者画像レイヤから正しく変換されたものになっているか否かを確認することもできる。この場合、「元画像」の選択処理にも用いられた、画像劣化評価尺度として公知であるＰＳＮＲやＳＳＩＭを適用し、高解像度参加者画像レイヤの参加者画像レイヤに対するＰＳＮＲ値やＳＳＩＭ値が、所定の閾値以上であれば、正しく変換されていると判定してもよい。

さらに、上記（ｇ）の寄せ書きレイヤは、上記（ｃ）の寄せ書きレイヤと同一のレイヤか、又は参加ユーザの端末２から受け取られた上述の「応答情報」を勘案して（例えば寄せ書き表示位置を変更した上で）最終的に決定された寄せ書きレイヤとすることができる。いずれにしても、これらの寄せ書きレイヤを互いに、さらに高解像度参加者画像レイヤ群と重畳させることによって、例えば、参加者の"顔"や"上半身"の近傍に当該参加者による寄せ書きが表示された高解像度の「コミュニケーション画像」を生成することも可能となるのである。

また、上記（ｈ）のリンクレイヤは、上述したマルチメディア化部１１２ｂ（図１）によって生成されるレイヤであって、参加ユーザによって生成された音声データ及び／又は映像データに係る「音声及び／又は映像情報」へのリンク情報を所定位置、例えば当該参加ユーザの"顔"や"上半身"の画像部分に相当する位置に埋め込んだレイヤとなっている。

ここで具体的にこのようなリンクの埋め込み処理は、例えば、ＣＳＳ（Cascading Style Sheets）やJavaScript（登録商標）を適用したＨＴＭＬ（Hyper Text Markup Language）や、ＳＭＩＬ（Synchronized Multimedia Integration Language）等によってリンクレイヤを記述し、ＯＣサービス提供サーバ１又は外部のストレージ装置に保存された「音声及び／又は映像情報」のＵＲＬ（Uniform Resource Locator）等のリンク情報を、このような言語の機能を用いて当該リンクレイヤに埋め込むことによって実現することができる。

［コミュニケーション画像生成方法］
図３及び図４は、本発明によるコミュニケーション画像生成方法の一実施形態を概略的に示すシーケンス図である。

最初に図３を用いて、本実施形態のステップＳ１０１～Ｓ２０５を順次説明する。ここで当初、ホスト参加ユーザＡ（の端末２Ａ）と、他の参加ユーザＢ～Ｄ（の端末２Ｂ～２Ｄ）との間で、ＯＣサービス提供サーバ１の提供するオンラインコミュニケーションとしてのオンライン誕生日会が開催されているとする。すなわち、参加ユーザＡ～Ｄは、ＯＣ用プログラムの搭載された端末２Ａ～２Ｄを用い、このオンライン誕生日会の識別子であるＯＣ_ＩＤをもって、ＯＣサービス提供サーバ１により提供されているオンライン誕生日会にアクセスしているものとする。

（Ｓ１０１）ホスト参加ユーザＡ（の端末２Ａ）は、「コミュニケーション画像」としての誕生日会記念写真を含むマルチメディアコンテンツを生成し配信すべく、最初に、ＯＣサービス提供サーバ１から「生成案情報」（コミュニケーション画像案設定情報）の設定項目等を定めた生成案設定項目情報（例えば画像案テンプレート）を読み出す。
（Ｓ１０２）ホスト参加ユーザＡ（の端末２Ａ）は、読み出した生成案設定項目情報に基づいて「生成案情報」を生成し、ＯＣサービス提供サーバ１へ送信する。

（Ｓ１０３）ＯＣサービス提供サーバ１は、受け取った「生成案情報」に基づき、対応する「低解像度画像」を用いて「コミュニケーション画像案」を生成し、当該「コミュニケーション画像案」を、オンラインコミュニケーション中にリアルタイムで表示される「オンライン画像」として、端末２Ａ～２Ｄの各々の画面に表示させる。
（Ｓ１０４）自らの端末画面で「コミュニケーション画像案」を確認した、さらにはＯＣサービス提供サーバ１から送付された「生成案情報」を確認した参加ユーザＢ～Ｄ（の端末２Ｂ～２Ｄ）は、「応答情報」をＯＣサービス提供サーバ１へ送信する。

（Ｓ１０５）ＯＣサービス提供サーバ１は、受け取った「応答情報」に基づき、リアルタイムで生成している「コミュニケーション画像案」を更新し、更新後の「コミュニケーション画像案」を、オンラインコミュニケーション中にリアルタイムで表示される「オンライン画像」として、端末２Ａ～２Ｄの各々の画面に表示させる。

ここで、ホスト参加ユーザＡ（の端末２Ａ）が「生成案情報」を提示して、「オンライン画像」が「コミュニケーション画像案」となり、それに対して参加ユーザＢ～Ｄ（の端末２Ｂ～２Ｄ）が「応答情報」を返して、表示される「コミュニケーション画像案」が更新される一連のステップ（ステップＳ１０２～Ｓ１０５）は、例えばホスト参加ユーザＡが認めるまで繰り返されてもよい。これにより、例えば参加ユーザＡ～Ｄ同士が、表示される（更新された）画像案を互いにリアルタイムで確認しながら、最終的な「コミュニケーション画像」を一緒に（例えば皆で盛り上がって楽しみながら）創り上げることも可能となるのである。

（Ｓ２０１）ホスト参加ユーザＡ（の端末２Ａ）は、自らの端末画面で更新後の「コミュニケーション画像案」を確認し、さらにはＯＣサービス提供サーバ１から送付された「応答情報」を確認し、現在の画像案でよいとして、「生成タイミング」情報を含む画像生成指示をＯＣサービス提供サーバ１へ送信する。
（Ｓ２０２）ＯＣサービス提供サーバ１は、参加ユーザＡ～Ｄ（の端末２Ａ～２Ｄ）へ「コミュニケーション画像」生成のためのカウントダウンを行う旨を通知し、さらに、受け取った（画像生成指示に含まれる）「生成タイミング」に基づき、カウントダウンレイヤ（図２）を生成して、参加ユーザＡ～Ｄの端末２Ａ～２Ｄの画面において「生成タイミング」に向けてのカウントの数字を表示させ、カウントダウンを行う。

なお、このようにカウントダウンを行うことによって、例えば、各参加ユーザはまさに「元画像」生成（撮影）の際、場の雰囲気に応じたリアクションを行うといったことも可能となるのである。

（Ｓ２０３）ＯＣサービス提供サーバ１は、参加ユーザＡ～Ｄの端末２Ａ～２Ｄへ、「生成タイミング」情報を含む「元画像」群の要求を送信する。
（Ｓ２０４）参加ユーザＡ～Ｄの端末２Ａ～２Ｄは、受け取った「生成タイミング」の時点を含む所定時間範囲において生成した（例えば数十フレームの）「元画像」群を、ＯＣサービス提供サーバ１へ送信する。
（Ｓ２０５）ＯＣサービス提供サーバ１は、参加ユーザＡ～Ｄの各々において、受け取った「元画像」群のうちから、「生成タイミング」に係る「低解像度画像」と最も類似する、例えば最もＰＳＮＲ値やＳＳＩＭ値の大きい「元画像」を選択し、「コミュニケーション」画像の生成に使用される「元画像」として元画像保存部１０３に保存する。

ちなみにこの段階で、（ａ）選択された「元画像」、（ｂ）選択された「元画像」を適用した「コミュニケーション画像」そのもの、及び（ｃ）選択された「元画像」を適用した低解像度の「コミュニケーション画像案」のうちの少なくとも１つを、参加ユーザＡ～Ｄの端末２Ａ～２Ｄに提示し、いずれかの参加ユーザから撮り直しの要求があれば、再度、「生成タイミング」情報を含む「元画像」群の要求を送信するステップから「元画像」を選択するステップまでを繰り返す設定になっていることも好ましい。

次に、図４を用いて、最終的に「コミュニケーション画像」としてのマルチメディアコンテンツを配信するまでのステップＳ３０１～Ｓ５０４を順次説明する。
（Ｓ３０１）ホスト参加ユーザＡ（の端末２Ａ）は、寄せ書きの添えられた誕生日会記念写真を含むマルチメディアコンテンツを生成し配信すべく、ＯＣサービス提供サーバ１から、「コメント情報」の設定項目等を定めた寄せ書き設定項目情報を読み出す。
（Ｓ３０２）ホスト参加ユーザＡ（の端末２Ａ）は、読み出した寄せ書き設定項目情報に基づいて「寄せ書き設定案情報」を生成し、ＯＣサービス提供サーバ１へ送信する。

（Ｓ３０３）ＯＣサービス提供サーバ１は、受け取った「寄せ書き設定案情報」に基づき、寄せ書き部分が空欄となった寄せ書きブランクレイヤを生成して、これまで生成・更新してきた「コミュニケーション画像案」に当該寄せ書きブランクレイヤを付加し、このさらに更新された「コミュニケーション画像案」を、オンラインコミュニケーション中にリアルタイムで表示される「オンライン画像」として、端末２Ａ～２Ｄの各々の画面に表示させる。

（Ｓ３０４）ＯＣサービス提供サーバ１は、参加ユーザＡ、Ｃ及びＤの端末２Ａ、２Ｃ及び２Ｄに対し、寄せ書き（コメント情報）を要求し、端末２Ａ、２Ｃ及び２Ｄから参加ユーザＡ、Ｃ及びＤの寄せ書き（コメント情報）を受け取る。
ここで、受け取られる寄せ書き（コメント情報）は例えば、キー入力によるテキスト情報や、タッチパネルを介したペン入力による手書き文字画像情報とすることができる。ちなみに、このステップＳ３０４では、参加ユーザＢは、本オンライン誕生日会で誕生日を祝ってもらう当人であるので、参加ユーザＢの端末２Ｂには（お祝いの）寄せ書きの要求は送信されない。また、「寄せ書き設定案情報」にその旨が設定されているのである。

（Ｓ３０５）ＯＣサービス提供サーバ１は、受け取った寄せ書き（コメント情報）を寄せ書きブランクレイヤの空欄位置に挿入して、寄せ書きレイヤ（図２）を完成させ、これにより「コミュニケーション画像案」をさらに更新して、このさらに更新された「コミュニケーション画像案」を、オンラインコミュニケーション中にリアルタイムで表示される「オンライン画像」として、端末２Ａ～２Ｄの各々の画面に表示させる。

（Ｓ４０１）ホスト参加ユーザＡ（の端末２Ａ）は、ここまでで生成された「コミュニケーション画像案」を、誕生日会記念写真を含むマルチメディアコンテンツにして配信すべく、ＯＣサービス提供サーバ１から、マルチメディア化に必要となる「音声及び／又は映像情報」の設定項目等を定めたマルチメディア設定項目情報を読み出す。
（Ｓ４０２）ホスト参加ユーザＡ（の端末２Ａ）は、読み出したマルチメディア設定項目情報に基づいて「マルチメディア設定案情報」を生成し、ＯＣサービス提供サーバ１へ送信する。

（Ｓ４０３）ＯＣサービス提供サーバ１は、受け取った「マルチメディア設定案情報」に基づき、設定箇所にリンクを埋め込む準備を行う等、マルチメディア化処理を開始する。
（Ｓ４０４）ＯＣサービス提供サーバ１は、参加ユーザＡ～Ｄの端末２Ａ～２Ｄに対し、音声メッセージやビデオメッセージ（音声及び／又は映像情報）を要求し、端末２Ａ～２Ｄから参加ユーザＡ～Ｄの音声メッセージやビデオメッセージ（音声及び／又は映像情報）を受け取る。
ちなみにここでは、本オンライン誕生日会で誕生日を祝ってもらう当人である参加ユーザＢ（の端末２Ｂ）にも、音声メッセージやビデオメッセージ（例えばお礼のメッセージ）を要求する。また、「マルチメディア設定案情報」にその旨が設定されているのである。

また、音声メッセージやビデオメッセージの収集手順として具体的に、ＯＣサービス提供サーバ１は、参加ユーザＡ～Ｄの端末２Ａ～２Ｄの画面に、録音や録画を開始するためのカウントダウンを表示させ、カウント"0"の表示直後に所定時間（例えば10秒間）だけの録音や録画を実施させてもよい。また、録音や録画の間、残り時間をカウントダウン表示することも好ましい。例えば、各参加ユーザは、自分の録音や録画の順番になると、表示されたカウントダウンに従い、自身の端末２のマイクやカメラに向かい、自身のメッセージを端末２へ入力することができるのである。

（Ｓ５０１）ＯＣサービス提供サーバ１は、受け取った音声メッセージやビデオメッセージ（音声及び／又は映像情報）を所定の格納場所（例えばサーバ１内の専用ストレージ）に保存した上で、当該格納場所のＵＲＬを設定箇所に埋め込んだ「コミュニケーション画像」であるマルチメディアコンテンツを生成する。
（Ｓ５０２，Ｓ５０３）ＯＣサービス提供サーバ１は、生成したマルチメディアコンテンツ（コミュニケーション画像）をコミュニケーション画像保存部１０４で保存・管理した上で、このマルチメディアコンテンツ（コミュニケーション画像）をダウンロードするためのリンク情報を、参加ユーザＡ～Ｄの端末２Ａ～２Ｄに通知する。

（Ｓ５０４）参加ユーザＡ～Ｄ（の端末２Ａ～２Ｄ）は、通知されたリンク情報を用いて、開催中のオンライン誕生日会に関する記念写真画像、寄せ書き、及び音声・ビデオメッセージを含むマルチメディアコンテンツ（コミュニケーション画像）を取得し、各自、当該コンテンツを享受するのである。

以上詳細に説明したように、本発明によれば、オンラインコミュニケーション中に表示される「オンライン画像」（オンライン映像）を生成する元データとなる「元画像」を利用して、「コミュニケーション画像」を生成することができる。すなわち、より高解像度の「コミュニケーション画像」を、当該オンラインコミュニケーション中に生成された画像（元画像）を用いて生成することができるのである。またこれにより、例えば、オンライン誕生日会開催中に撮られた写真らしい、臨場感若しくはライブ感のある高解像度の集合写真画像（コミュニケーション画像）を生成することも可能となる。

さらに、このような本発明に係る「コミュニケーション画像」に対するニーズは、人々の交流の態様がよりオンライン化する方向に変化している現在、ますます高まっていくことが予想される。言い換えれば例えば、オンラインで交流を行った人々の間で、物理的に集まることでしか生成できない記念集合写真に代わり、本発明に係る「コミュニケーション画像」を、その記念・記録として若しくは親近感・連帯感を高めるツールとして生成しておきたいとの要望は、今後ますます増えていくものと考えられる。また、このことからも分かるように、本発明の応用される分野は、今後さらに拡大することが予想されるのである。

上述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。上述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ オンラインコミュニケーション（ＯＣ）サービス提供サーバ（コミュニケーション画像生成装置）
１０１ 通信インタフェース部
１０２ ＯＣサービス情報保存部
１０３ 元画像保存部
１０４ コミュニケーション画像保存部
１０５ 対応ＩＤ保存部
１０６ キーボード（ＫＢ）
１０７ ディスプレイ（ＤＰ）
１１１ 元画像取得・管理部
１１２ コミュニケーション画像生成部
１１２ａ コミュニケーション画像案生成部
１１２ａａ 寄せ書きレイヤ生成部
１１２ａｂ マルチメディア化部
１１２ａｃ 応答情報反映部
１１３ 画像生成管理部
１１３ａ カウントダウン情報生成部
１２１ 通信制御部
１２２ ＯＣサービス実施部
１２３ ＥＣサーバサクセス部
１２４ 入出力制御部
２、２Ａ、２Ｂ、２Ｃ、２Ｄ 端末
３ ＥＣサーバ

Claims (13)

1. 複数の端末で生成された元画像を低解像度にした画像のストリームを受信し、当該画像のストリームから生成された低解像度画像を用いて生成したオンライン画像を表示することにより実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能なコミュニケーション画像生成装置であって、
   当該端末から、当該元画像を取得する元画像取得手段と、
   当該オンライン画像における当該低解像度画像に係る部分に対し当該元画像を適用して、当該コミュニケーション画像を生成する画像生成手段と
   を有することを特徴とするコミュニケーション画像生成装置。
2. 前記画像生成手段は、当該オンライン画像における当該低解像度画像に係る部分に対し、所定条件を満たすまでに類似する当該元画像を用いて、当該コミュニケーション画像を生成することを特徴とする請求項１に記載のコミュニケーション画像生成装置。
3. 当該コミュニケーション画像を生成するタイミングを受け付ける又は決定する画像生成管理手段を更に有し、
   前記元画像取得手段は、当該端末から、当該タイミングに基づき決定される時間区間に係る複数の当該元画像を取得し、
   前記画像生成手段は、取得された複数の当該元画像のうちで、当該タイミングに係る当該オンライン画像を生成するのに用いられた低解像度画像に対し、所定条件を満たすまでに類似する元画像を選択し、選択した当該元画像を用いて当該コミュニケーション画像を生成する
   ことを特徴とする請求項１又は２に記載のコミュニケーション画像生成装置。
4. 前記画像生成管理手段は、受け付けた又は決定したタイミングに向けてのカウントダウン情報を、当該オンラインコミュニケーションに参加するユーザに係る端末へ通知させることを特徴とする請求項３に記載のコミュニケーション画像生成装置。
5. 前記画像生成手段は、
   生成すべきコミュニケーション画像の種別、構造、画像構成、及び画像内設定のうちの少なくとも１つに係る情報である生成案情報を受け付け又は決定し、
   当該オンラインコミュニケーションに参加するユーザに係る端末へ当該生成案情報を送信させ、
   当該生成案情報を提示されたユーザによって決定され、該ユーザに係る端末から受信された応答情報であって、当該生成案情報の内容に対する同意、選択若しくは変更に係る応答情報を受け取り、
   当該生成案情報及び当該応答情報に基づいて、当該コミュニケーション画像を生成する
   ことを特徴とする請求項１から４のいずれか１項に記載のコミュニケーション画像生成装置。
6. 前記画像生成手段は、
   当該応答情報を受け取る前において、当該オンライン画像としてのコミュニケーション画像案であって、当該低解像度画像を用いており当該生成案情報に基づき生成したコミュニケーション画像案を、当該オンラインコミュニケーションに参加するユーザに係る端末へ送信させて該ユーザに提示させ、
   当該応答情報を受け取った後は、当該低解像度画像を用いており当該生成案情報及びそれまでに受け取った応答情報に基づき生成したコミュニケーション画像案を、当該オンラインコミュニケーションに参加するユーザに係る端末へ送信させて該ユーザに提示させる
   ことを特徴とする請求項５に記載のコミュニケーション画像生成装置。
7. 当該コミュニケーション画像案は、背景を含む背景レイヤと、当該オンラインコミュニケーションの参加者に係る参加者画像レイヤであって当該低解像度画像を用いた少なくとも１つの参加者画像レイヤとを含む多層構造を有していることを特徴とする請求項６に記載のコミュニケーション画像生成装置。
8. 当該コミュニケーション画像は、背景を含む背景レイヤと、当該オンラインコミュニケーションの参加者に係る参加者画像レイヤであって当該元画像を用いた少なくとも１つの参加者画像レイヤとを含む多層構造を有していることを特徴とする請求項１から７のいずれか１項に記載のコミュニケーション画像生成装置。
9. 前記画像生成手段は、当該オンラインコミュニケーションに参加するユーザに係る端末から受信された、該ユーザのコメントに係るコメント情報を受け取り、当該コメント情報を含む当該コミュニケーション画像を生成することを特徴とする請求項１から８のいずれか１項に記載のコミュニケーション画像生成装置。
10. 前記画像生成手段は、当該オンラインコミュニケーションに参加するユーザに係る端末から受信された、該ユーザによって生成された音声データ及び／又は映像データに係る音声及び／又は映像情報を受け取り、当該音声及び／又は映像情報へのリンクを埋め込んだコミュニケーション画像を生成することを特徴とする請求項１から９のいずれか１項に記載のコミュニケーション画像生成装置。
11. 生成されたコミュニケーション画像に係る物及び／又はデータを提供可能な電子的取引サービスについての識別子であって、当該オンラインコミュニケーションに参加するユーザの識別子を保存する識別子保存部と、
    当該識別子を用いて、当該電子的取引サービスに係るサーバに対し、生成されたコミュニケーション画像に係る物及び／又はデータを、当該識別子に係るユーザに提供させる指示を行う電子的取引アクセス手段と
    を更に有することを特徴とする請求項１から１０のいずれか１項に記載のコミュニケーション画像生成装置。
12. 複数の端末で生成された元画像を低解像度にした画像のストリームを受信し、当該画像のストリームから生成された低解像度画像を用いて生成したオンライン画像を表示することにより実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能な装置に搭載されたコンピュータを機能させるコミュニケーション画像生成プログラムであって、
    当該端末から、当該元画像を取得する元画像取得手段と、
    当該オンライン画像における当該低解像度画像に係る部分に対し当該元画像を適用して、当該コミュニケーション画像を生成する画像生成手段と
    としてコンピュータを機能させることを特徴とするコミュニケーション画像生成プログラム。
13. 複数の端末で生成された元画像を低解像度にした画像のストリームを受信し、当該画像のストリームから生成された低解像度画像を用いて生成したオンライン画像を表示することにより実施されるオンラインコミュニケーションに係るコミュニケーション画像を生成可能な装置に搭載されたコンピュータにおけるコミュニケーション画像生成方法であって、
    当該端末から、当該元画像を取得するステップと、
    当該オンライン画像における当該低解像度画像に係る部分に対し当該元画像を適用して、当該コミュニケーション画像を生成するステップと
    を有することを特徴とするコミュニケーション画像生成方法。

Images