JP2020061615A - 電子機器及び通信方法並びにプログラム - Google Patents

Abstract

【課題】ユーザの移動追跡機能を向上させることを目的とする。【解決手段】電子機器は、水平面内において全方位３６０度を撮像可能な撮像装置４と、撮像装置４によって撮像された３６０度画像において、一または複数のユーザを特定するユーザ特定部２１と、特定されたユーザの位置に基づいて、３６０度画像のうちユーザを含めるために切り取る角度領域を算出し、送信画像を生成する画像生成部２２と、送信画像を相手先に送信する送信部２３と、送信画像を受信する受信部２５と、水平面内における方位３６０度に対して表示可能な表示画面を有する表示装置５と、ユーザ特定部２１によって特定されたユーザの方位に対応する表示画面の表示領域に送信画像を表示させる表示制御部２６とを備える。【選択図】図４

Description

本発明は、電子機器及び通信方法並びにプログラムに関するものである。

近年、ノートＰＣ、タブレット、携帯電話機等の情報処理装置に搭載されているカメラ機能を用いたテレビ電話やテレビビデオチャットなどが一般的に行われるようになってきた。例えば、特許文献１には、撮像画面におけるユーザの頭部、頸部および肩の位置を識別することによりユーザの動きを追跡し、ユーザが多少移動したとしても、通信相手側の表示画面の中央部にユーザの顔を表示させることのできる技術が開示されている。

米国特許第９６２８７５５号明細書

しかしながら、特許文献１に開示されている追跡方法では、ユーザが情報処理装置の撮像エリアを外れて移動した場合には、ユーザの動きをそれ以上追跡することができず、ユーザの画像情報を通信相手の情報処理装置に対して送信することができなかった。

本発明は、このような事情に鑑みてなされたものであって、ユーザの移動追跡範囲を拡張でき、安定したユーザ画像を送信することのできる電子機器及び通信方法並びにプログラムを提供することを目的とする。

本発明の第一態様は、水平面内において全方位３６０度を撮像可能な撮像装置と、前記撮像装置によって撮像された３６０度画像において、一または複数のユーザを特定するユーザ特定部と、特定された前記ユーザの位置に基づいて、前記３６０度画像のうち前記ユーザを含めるために切り取る角度領域を算出し、送信画像を生成する画像生成部と、前記送信画像を相手先に送信する送信部とを具備する電子機器である。

本発明の第二態様は、台座部と、台座部上に支持される本体部と、本体部に設けられた表示装置と、本体部の上部に設けられた撮像装置とを具備し、前記表示装置は、前記本体部の上下方向における中心軸線まわりの方位３６０度に対して表示可能な表示画面を有し、前記撮像装置は、前記中心軸線まわりの方位３６０度における画像を取得可能とされている電子機器である。

本発明の第三態様は、水平面内において全方位３６０度を撮像することにより３６０度画像を取得する工程と、前記３６０度画像において、一または複数のユーザを特定する工程と、特定された前記ユーザの位置に基づいて、前記３６０度画像のうち前記ユーザを含めるために切り取る角度領域を算出し、送信画像を生成する工程と、前記送信画像を相手先に送信する工程とを有する通信方法である。

本発明の第四態様は、水平面内において全方位３６０度を撮像することにより３６０度画像を取得する処理と、前記３６０度画像において、一または複数のユーザを特定する処理と、特定された前記ユーザの位置に基づいて、前記３６０度画像のうち前記ユーザを含めるために切り取る角度領域を算出し、送信画像を生成する処理と、前記送信画像を相手先に送信する処理とをコンピュータに実行させるための通信プログラムである。

本発明の上記態様によれば、ユーザの移動追跡範囲を拡張でき、安定したユーザ画像を送信することができる。

本発明の一実施形態に係る電子機器の概略外観図である。 表示装置の一構成例を模式的に示した図である。 本発明の一実施形態に係る電子機器のハードウェアの概略構成を示した図である。 本発明の一実施形態に係る電子機器の制御部が備える機能の一例を示した機能ブロック図である。 本発明の一実施形態に係る画像生成部による送信画像の生成方法について説明するための図である。 本発明の一実施形態に係る画像生成部による送信画像の生成方法について説明するための図である。 本発明の一実施形態に係る表示制御部による送信画像の表示方法について説明するための図である。 本発明の一実施形態に係る表示制御部による送信画像の表示方法について説明するための図である。 本発明の一実施形態に係る通信方法における送信方法の手順を主に示したフローチャートである。 本発明の一実施形態に係る通信方法における受信方法の手順を主に示したフローチャートである。 本発明の一実施形態に係る電子機器の接続例を示した図である。 本発明の一実施形態における送信画像の一例及び表示画面の一表示例を示した図である。 本発明の一実施形態における送信画像の他の一例及び表示画面の他の一表示例を示した図である。

以下に、本発明の一実施形態に係る電子機器及び通信方法並びにプログラムについて図面を参照して説明する。
図１は、電子機器の概略外観図である。図１に示すように、電子機器１は、設置面に設置される台座部２と、台座部２上に支持される本体部３と、本体部の上部に設けられた撮像装置４とを備えている。

本体部３には、表示装置５と、スピーカ６と、マイク７とが設けられている。
表示装置５は、本体部３の上下方向における中心軸線まわりの全方位３６０度に対して表示可能な表示画面を有している。表示装置５は、例えば、全方位３６０度にわたって連続的に設けられた表示画面を有していてもよい。図２は、表示装置５の一構成例を模式的に示した図である。図２に示すように、表示装置５は、例えば、中心軸線Ｌを有する円筒状の本体部３の側面に沿って、柔軟性を有する表示画面８が取り付けられた構成とされていてもよい。表示装置５の一例として、有機ＥＬ（有機エレクトロルミネッセンス）等を用いたフレキシブルディスプレイが挙げられる。

また、本体部３の形状は円筒状に限定されず、多面体であってもよく、本体部３の各側面に表示画面がそれぞれ設けられていても良い。この場合、隣接する表示画面は隙間なく設けられていることが好ましい。
また、表示装置５は、例えば、一または複数の表示画面を有し、この表示画面が上述の中心軸線（換言すると、設置面に垂直な回転軸線）回りに回転することにより、水平面内における全方位３６０度に向けて表示が可能な構成とされていてもよい。

撮像装置４は、水平面内において全方位３６０度を撮像可能な構成を備える。例えば、撮像装置として、全天球画像を撮像する全天球カメラを採用することができる。また、撮像装置４は、例えば、画角が３６０度以下のカメラを本体部３の中心軸線Ｌ（換言すると、設置面に対して垂直な回転軸線）回りに回転させることにより複数のフレーム画像を取得し、複数のフレーム画像を連続的につなげることにより全方位３６０度のパノラマ画像を取得する撮像装置であってもよい。このように、撮像装置４は少なくとも水平面内の全方位３６０度の画像を取得できる構成とされていればよく、その取得手法やレンズ構成については特に限定されない。
また、撮像装置４は、水平面内における全方位３６０度に加えて、上下方向（水平面に直交する面）に対する角度（ティルト角）を変化させた画像についても取得できるとよい。このように、上下方向の画像を取得することで、ユーザが水平移動した場合だけでなく、立ったり座ったりするユーザの上下動についても追跡することができ、ユーザの動きに対する追跡範囲を更に拡張させることができる。

図３は、本発明の一実施形態に係る電子機器のハードウェアの概略構成を示した図である。図３に示すように、電子機器１は、例えば、制御部２０、撮像装置４、表示装置５、スピーカ６、マイク７、及び通信デバイス１５を主な構成として備えている。これら各部はバス１８を介して接続されている。

制御部２０は、例えば、ＣＰＵ１１、ＣＰＵ１１が実行するプログラム等を記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、及び各プログラム実行時のワーク領域として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３等を備えている。なお、ＣＰＵ１１が実行するプログラム等を記憶するための記憶媒体は、フラッシュメモリなどであってもよく、一例として、磁気ディスク、光磁気ディスク、半導体メモリ等の他の補助記憶装置であってもよい。

撮像装置４は、上述したように、水平面内における全方位３６０度にわたって周辺の画像を取得する。なお、撮像装置４は、水平面内だけでなく、垂直面内における所定画角の画像を取得可能に構成されていてもよい。これにより、ユーザの水平方向における移動だけでなく、上下方向に対する移動についても追従することができ、追跡範囲を更に拡張させることができる。

表示装置５は、上述したように、例えば、液晶ディスプレイ、ＥＬディスプレイなどであり、制御部２０からの制御データに基づく表示を行う。マイク７、スピーカ６については公知の構成であるため、詳細な説明は省略する。

通信デバイス１５は、例えば、ネットワークに接続するための通信インターフェースを備え、３ＧやＬＴＥ、５Ｇ回線を含むワイヤレスネットワークや、有線／無線ＬＡＮ等のネットワークに接続し、他のデバイスとの通信を確立させ、情報の相互通信（例えば、ビデオチャットやテレビ電話等）を実現させる。

次に、電子機器１の制御部２０によって実現される各種機能について説明する。図４は、本発明の一実施形態に係る電子機器１の制御部２０が備える機能の一例を示した機能ブロック図である。

後述する各部の機能を実現するための一連の処理は、一例として、プログラム（例えば、通信プログラム）の形式でＲＯＭ１２等の記憶装置に記憶されており、このプログラムをＣＰＵ１１がＲＡＭ１３に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、ＲＯＭ１２に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。

図４に示すように、制御部２０は、ユーザ特定部２１と、画像生成部２２と、送信部２３と、受信部２５と、表示制御部２６とを備えている。
ユーザ特定部２１は、例えば、撮像装置４によって撮像された水平面内における全方位３６０度のパノラマ画像（以下、「３６０度画像」という。）において、一または複数のユーザを特定する。ユーザの特定は、例えば、予めユーザの顔画像が登録されている場合には、撮像装置４によって取得された３６０度画像における人物画像と予め登録されているユーザの顔画像とを照合する照合処理を行い、ユーザを特定する。なお、複数のユーザが登録されている場合には、複数のユーザに関して照合処理を行う。

また、他の一例として、一般的に電子機器１を用いてテレビ電話などの対話を行う場合には、ユーザは電子機器１に近い位置から撮像装置４や表示装置５に視線を向けていることが多い。したがって、電子機器１から所定距離以内に存在し、かつ、顔が電子機器１に向いている人物をユーザとして特定してもよい。より具体的には、３６０度画像において、顔の領域が所定サイズ以上であり、両目が認識できる人物画像をユーザとして特定する。なお、上記のユーザ特定手法は一例であり、他の手法を用いてユーザ（話者）を特定することとしてもよい。

画像生成部２２は、ユーザ特定部２１によって特定されたユーザが含まれる所定領域の画像を用いて送信画像を生成する。例えば、画像生成部２２は、図５に示すように、３６０度画像３０において一人のユーザ（ユーザＡ）が特定された場合には、そのユーザの画像を含めるために切り取る角度領域を算出し、算出した角度領域の画像を切り取ることにより、送信画像３５を生成する。

また、画像生成部２２は、図６に示すように、３６０度画像３０において、複数のユーザ（ユーザＢ及びユーザＣ）が特定された場合には、両ユーザ間の方位角度α’が予め設定されている第１閾値αｒｅｆ１未満であるか否かを判定する。そして、両ユーザ間の方位角度α’が予め設定されている第１閾値αｒｅｆ１以上であると判定した場合に、各ユーザを含むそれぞれの所定領域の画像を組み合わせて送信画像３５を生成する。
また、画像生成部２２は、複数のユーザ（ユーザＢ及びユーザＣ）が特定され、かつ、両ユーザ間の方位角度α’が第１閾値αｒｅｆ１未満であると判定した場合に、複数のユーザを含む所定領域の画像（例えば、図１３の画像３５ｄｅ）を用いて送信画像を生成する。

送信部２３は、画像生成部２２によって生成された送信画像を相手先に送信する。
なお、画像生成部２２は、図６に示すように、３６０度画像３０において、両ユーザ間の方位角度α’が第１閾値αｒｅｆ１以上であると判定した場合には、各ユーザを含むそれぞれの所定領域の画像を個別に送信先に送信し、送信先において、これら複数の画像をつなぎ合わせることにより、複数ユーザが含まれる表示画像を生成することとしてもよい。このように、複数の画像をつなぎ合わせる処理については、画像生成部２２において行っても良いし、送信先の電子機器において行うこととしても良い。

受信部２５は、相手先から送信された送信画像を受信する。
表示制御部２６は、ユーザ特定部２１によって特定されたユーザの方位に対応する表示装置５の表示画面に送信画像を表示させる。
例えば、表示制御部２６は、表示装置５において、ユーザ特定部２１によって特定された方位角度（基準方位とユーザが位置する方位とのなす角度であり、本実施形態では、時計回りを正（プラス）と定義する。）に対応する表示画面に送信画像３５´を表示させる。例えば、図７に示すように、ユーザの方位角度が＋αである場合には、表示装置５において基準方位から方位角度＋αの表示画面に相手先から受信した送信画像を表示させる。

また、表示制御部２６は、例えば、図８に示すように、ユーザ特定部２１によって複数のユーザ（ユーザＢ、ユーザＣ）が特定された場合には、基準方位に対する各ユーザＢ、ユーザＣの方位角度＋α１、−α２に対応する表示画面に対して送信画像３５´をそれぞれ表示させる。これにより、各ユーザＢ、ユーザＣは移動することなく、通信相手の画像３５’（動画）を見ながら通話をすることが可能となる。

なお、複数のユーザが特定された場合、ユーザ同士がなす角度α’（＝α１＋α２）が予め設定されている所定の第２閾値αｒｅｆ２未満である場合には、両ユーザは比較的近傍にいると認識することができる。この場合には、上述したように、それぞれのユーザの方位角度に応じて送信画像を表示させる態様に代えて、両ユーザの方位角度α’（＝α１＋α２）に応じた位置に送信画像を表示させることとしてもよい。

ここで、両ユーザの方位角度α’に応じた位置とは、例えば、いずれか一方のユーザの方位角度を採用しても良いし、両ユーザの方位角度α’の中間角度（すなわち、α’／２の方位角度）を採用してもよいし、ユーザの重要度に応じた重み付け係数を用いた加重平均等を採用してもよい。
また、上記第２閾値αｒｅｆ２は、上述した第１閾値αｒｅｆ１と同一であってもよいし、異なる値を用いることとしてもよい。例えば、第２閾値αｒｅｆ２は、一つの表示画面を視認可能な方位角度範囲に基づいて決定される。

次に、本発明の一実施形態に係る電子機器１を用いて行われる通信方法について図９及び図１０を参照して説明する。図９は、本実施形態に係る通信方法における送信方法の手順を主に示したフローチャート、図１０は本実施形態に係る通信方法における受信方法の手順を主に示したフローチャートである。

まず、図９を参照して送信方法について説明する。
まず、撮像装置４によって撮像された３６０度画像を取得する（ＳＡ１）。続いて、３６０度画像においてユーザを特定し、基準方位に対するユーザの方位角度を取得する（ＳＡ２）。これにより、基準方位に対してユーザがどの方位角度に位置するかを把握することができる。
続いて、特定されたユーザが一人か否かを判定する（ＳＡ３）。この結果、ユーザが一人であれば（ＳＡ３：ＹＥＳ）、ユーザを含む所定領域の画像を切り取ることにより送信画像を生成する（ＳＡ４）。

一方、ステップＳＡ３において、ユーザが一人でないと判定した場合、両ユーザ間の方位角度（ユーザ同士がなす角度）α’が予め設定されている第１閾値αｒｅｆ１未満であるか否かを判定する（ＳＡ５）。この結果、ユーザ間の方位角度α’が予め設定されている第１閾値αｒｅｆ１未満である場合には、複数のユーザを含む所定領域を３６０度画像から切り出して送信画像を生成する（ＳＡ６）。これに対し、ステップＳＡ５において、ユーザ間の方位角度α’が第１閾値αｒｅｆ１以上であると判定した場合には（ＳＡ５：ＮＯ）、複数のユーザを所定領域の画像内に収めることができないため、各ユーザを含む所定領域の画像をそれぞれ切り出し（ＳＡ７）、切り出した画像を組み合わせて、より具体的には、つなぎ合わせることにより送信画像を生成する（ＳＡ８）。このようにして、送信画像を生成すると、送信画像を相手先へ送信する（ＳＡ９）。

そして、上記処理を繰り返し行うことにより、連続的にユーザの画像が相手先の通信装置に対して送信されることとなり、相手先の表示画面に動画として表示されることとなる。なお、当然ながら、上記送信画像とともにマイク７から入力された音声データが送信される。これにより、相手側のユーザは当該ユーザから送信された送信画像を見ながら会話を行うことができる。

なお、ユーザの方位角度の特定については、毎回の処理で行う必要はない。例えば、ユーザの方位角度が一旦特定された以降については、前回取得された３６０度画像と今回取得された３６０度画像とを比較することにより、ユーザが移動したか否かを判定し、移動していなければ、前回と同様の処理を実行することにより（例えば、所定領域におけるユーザ画像を切り取ることによって）、送信画像を生成することとしてもよい。このようにすることで、処理を簡素化することが可能となる。なお、ユーザの位置が移動していた場合には、上述したように、ステップＳＡ２以降の処理を行えばよい。

次に、図１０を参照して受信方法について説明する。
まず、相手先から送信された送信画像を受信する（ＳＢ１）。続いて、基準方位に対するユーザの方位角度を取得する（ＳＢ２）。基準方位に対するユーザの方位角度は、例えば、上述した送信方法のステップＳＡ２において得られた情報を流用すればよい。すなわち、撮像装置４によって得られた３６０度画像におけるユーザの検出位置に基づいてユーザの方位角度が取得される。
続いて、ユーザが一人か否かを判定する（ＳＢ３）。この結果、ユーザが一人であれば（ＳＢ３：ＹＥＳ）、ユーザの方位角度に対応する表示画面に送信画像を表示させる（ＳＢ４）。

一方、ステップＳＢ３において、ユーザが一人でないと判定した場合、両ユーザ間の方位角度（ユーザ同士がなす角度）α’が予め設定されている第２閾値αｒｅｆ２未満であるか否かを判定する（ＳＢ５）。この結果、ユーザ間の方位角度α’が予め設定されている第２閾値αｒｅｆ２未満である場合には、両ユーザの方位角度に基づく位置の表示画面に送信画像を表示させる（ＳＢ６）。これに対し、ステップＳＢ５において、ユーザ間の方位角度α’が第２閾値αｒｅｆ２以上であると判定した場合には（ＳＢ５：ＮＯ）、各ユーザの方位角度に対応する表示画面に送信画像を表示させる（ＳＢ７）。

そして、そして、上記処理を繰り返し行うことにより、ユーザの位置を常に追跡でき、ユーザがいる方位に対して送信画像を表示させることが可能となる。
なお、当然ながら、受信部２５は送信画像と共にマイク７から入力された音声データを受信する。したがって、相手側から受信した送信画像が動画として表示装置５に表示されるとともに、相手側から受信した音声データがスピーカ６から出力されることとなる。

なお、ユーザの方位角度の特定については、毎回の処理で行う必要はない。例えば、ユーザの方位角度が一旦特定された以降については、前回取得された３６０度画像と今回取得された３６０度画像とを比較することにより、ユーザが移動したか否かを判定し、移動していなければ、前回と同様の処理、すなわち、同じ方位角度の表示画面に対して送信画像を表示させることとしてもよい。このようにすることで、処理を簡素化することが可能となる。なお、ユーザの位置が移動していた場合には、上述したように、ステップＳＢ２以降の処理を行えばよい。

次に、本実施形態に係る複数の電子機器１をネットワークを介して接続し、通信を行う場合の各電子機器１において取得される３６０度画像と、表示装置５における表示例について具体例を挙げて説明する。
なお、以下の説明では、図１１に示すように、電子機器１ａと、電子機器１ｂとをネットワーク５０を介して接続し、互いに通信を実現する場合について説明する。

図１２は、電子機器１ａ側にユーザＡが、電子機器１ｂ側に二人のユーザＢ及びユーザＣがおり、電子機器１ａ、１ｂを用いてそれぞれ通話を行う場合の送信画像の一例及び表示画面の一表示例を模式的に示した図である。
図１２に示すように、電子機器１ａ側では、ユーザはユーザＡのみであるため、撮像装置４によって取得された３６０度画像において、ユーザＡの画像を含む所定領域が切り取られることにより送信画像３５ａが生成される。この送信画像３５ａはネットワークを介して電子機器１ｂに送信される。
電子機器１ｂでは、２人のユーザの位置（基準方位に対する各ユーザＢ，Ｃの方位角度）が特定される。また、両者間の方位角度α’は第２閾値αｒｅｆ２以上であるので、それぞれのユーザＢ、ユーザＣの方位角度に対応する表示画面に対して電子機器１ａから受信した送信画像３５ａがそれぞれ表示される。

同様に、電子機器１ｂ側では、撮像装置４によって取得された３６０度画像３０ｂにおいて、ユーザＢとユーザＣとが特定され、両者の間の方位角度α’が取得される。この方位角度α’は第１閾値αｒｅｆ１よりも大きいので、ユーザＢを含む所定領域の画像３５ｂ及びユーザＣを含む所定領域の画像３５ｃがそれぞれ切り取られ、これらに基づいて送信画像３５ｂｃが作成され、電子機器１ａに送信される。電子機器１ａでは、ユーザＡの位置、すなわち、基準方位に対するユーザＡの方位角度の表示画面に対して電子機器１ａから受信した送信画像３５ｂｃが表示される。

なお、複数のユーザがいる場合の送信画像については、送信元（電子機器１ｂ側）において各ユーザの画像３５ｂ、３５ｃが組み合わされた送信画像３５ｂｃが生成されてもよいし、送信先（電子機器１ａ）において送信元から個別に送信されてきた各送信画像３５ｂ、３５ｃを組み合わせて一つの画像３５ｂｃを生成することとしてもよい。図１２では、送信先（電子機器１ａ側）において複数のユーザ画像３５ｂ、３５ｃを組み合わせて一つの送信画像３５ｂｃを生成する場合について例示している。

また、図１３は、電子機器１ａ側にユーザＡ、ユーザＤ、及びユーザＥが、電子機器１ｂ側に二人のユーザＢ及びユーザＣがおり、電子機器１ａ、１ｂを用いてそれぞれ通話を行う場合の送信画像の一例及び表示画面の一表示例を模式的に示した図である。

図１３に示すように、電子機器１ａ側では、撮像装置４によって取得された３６０度画像３０ａにおいて、ユーザＡ、ユーザＤ、及びユーザＥがそれぞれ特定され、二者間の方位角度α’がそれぞれ取得される。この結果、ユーザＤとユーザＥとの間の方位角度α’は第１閾値αｒｅｆ１未満であるので、ユーザＤ及びユーザＥを含む所定領域の画像３５ｄｅが切り取られて送信画像３５ｄｅが生成される。
一方、ユーザＡとユーザＤとの間の方位角度α’及びユーザＡとユーザＥとの間の方位角度α’はいずれも第１閾値αｒｅｆ１以上であるため、ユーザＡを含む所定領域の画像３５ａが送信画像として生成される。生成された送信画像３５ａ及び送信画像３５ｄｅはネットワークを介して電子機器１ｂに送信される。

電子機器１ｂでは、２人のユーザの位置（基準方位に対する各ユーザＢ，Ｃの方位角度）が特定される。また、両者間の方位角度α’は第２閾値αｒｅｆ２以上であるので、それぞれのユーザＢ、ユーザＣの方位角度に対応する表示画面に対して電子機器１ａから受信した送信画像３５ａと送信画像３５ｄｅとが組み合わされた送信画像３５ａｄｅがそれぞれ表示される。

同様に、電子機器１ｂ側では、撮像装置４によって取得された３６０度画像３０ｂにおいて、ユーザＢとユーザＣとが特定され、両者の間の方位角度α’が取得される。この方位角度α’は第１閾値αｒｅｆ１よりも大きいので、ユーザＢを含む所定領域の画像３５ｂ及びユーザＣを含む所定領域の画像３５ｃがそれぞれ切り取られ、これらに基づいて送信画像３５ｂｃが作成され、電子機器１ａに送信される。電子機器１ａでは、ユーザＡの位置とユーザＤＥの位置に対応する方位角度の表示画面に対して電子機器１ａから受信した送信画像３５ｂｃがそれぞれ表示される。

以上、説明したように、本実施形態に係る電子機器１及び通信方法並びにプログラムによれば、水平面内において全方位３６０度を撮像可能な撮像装置４と、撮像装置４によって撮像された３６０度画像において、一または複数のユーザを特定するユーザ特定部２１と、特定したユーザが含まれる所定領域の画像を用いて送信画像を生成する画像生成部２２と、送信画像を相手先に送信する送信部２３とを有する。
このように、水平面内において全方位３６０度を撮影可能な撮像装置４を備えるので、ユーザの追跡範囲を拡張することができ、ユーザの動きを見失うことなく追跡することが可能となる。これにより、相手先にユーザの画像（動画）を安定して提供することが可能となる。

また、画像生成部２２は、３６０度画像において複数のユーザが特定された場合に、ユーザ間の方位角度が予め設定されている閾値未満であるか否かを判定し、ユーザ間の方位角度が第１閾値未満であると判定した場合に、複数のユーザを含む所定領域の画像を用いて送信画像を生成する。また、画像生成部２２は、ユーザ間の方位角度α’が第１閾値αｒｅｆ１以上であると判定した場合に、各ユーザを含むそれぞれの所定領域の画像を組み合わせて送信画像を生成する。そして、このようにして生成された送信画像が相手先に送信される。これにより、複数のユーザがいた場合でも、全てのユーザをある一定の所定領域内に収めた画像を相手先に提供することができる。この結果、相手先のユーザは、対話している全員のユーザの顔を確認しながら対話を楽しむことが可能となる。

また、本実施形態によれば、送信画像を受信する受信部２５と、周囲のユーザを検出するユーザ検出部と、水平面内における方位３６０度に対して表示可能な表示画面を有する表示装置５と、ユーザが検出された方位に対応する表示画面の表示領域に送信画像を表示させる表示制御部２６とを備える。なお、ユーザ検知部は、ユーザ特定部２１からユーザの方位角度を取得してもよい。
これにより、ユーザの動きに追従して、ユーザによって常に視認可能な画像領域に対して相手先から受信した送信画像を表示させることができる。この結果、例えば、ユーザは自由に動きながら通話を楽しむことができる。また、離れた場所にいる複数のユーザが検出された場合には、各ユーザの位置に応じた表示画面にそれぞれ送信画像が表示されるので、各ユーザはそれぞれの送信画像を見ながら通話を楽しむことができる。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。

例えば、本実施形態に係る電子機器１は、水平面内において３６０度方位に対して表示可能な表示装置５を備えていたが、このような表示装置５に代えて通常の一方位に対して表示可能な表示装置を備えていても良い。このような態様では、ユーザの動きに追従した表示は行えないが、撮像装置４、ユーザ特定部２１、画像生成部２２、送信部２３を備えていることで、ユーザが移動したとしても相手先に対して安定的にユーザの画像を提供することができるという効果を得ることができる。

また、撮像装置４についても必ずしも水平面内における全方位３６０度の撮像が可能である必要はない。例えば、撮像装置４に代えて、所定の画角に対する画像を取得することのできる一般的なカメラを搭載してもよい。また、この場合、画像処理によるユーザ位置の特定以外の手法を用いてユーザの位置を特定することができれば（ユーザ検出部）、ユーザの移動に応じた方位に対応する表示画面に相手先から受信した送信画像を表示させることができる。これにより、相手先にはユーザの画像を送信できない場合があるものの、相手先から受信した送信画像をユーザに対して安定的に提示することができるという効果は得ることができる。

また、上記実施形態で説明した通信方法に関する処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

１、１ａ、１ｂ ：電子機器
２ ：台座部
３ ：本体部
４ ：撮像装置
５ ：表示装置
６ ：スピーカ
７ ：マイク
８ ：表示画面
１１ ：ＣＰＵ
１２ ：ＲＯＭ
１３ ：ＲＡＭ
１５ ：通信デバイス
１８ ：バス
２０ ：制御部
２１ ：ユーザ特定部
２２ ：画像生成部
２３ ：送信部
２５ ：受信部
２６ ：表示制御部
５０ ：ネットワーク

Claims (11)

1. 水平面内において全方位３６０度を撮像可能な撮像装置と、
   前記撮像装置によって撮像された３６０度画像において、一または複数のユーザを特定するユーザ特定部と、
   特定された前記ユーザの位置に基づいて、前記３６０度画像のうち前記ユーザを含めるために切り取る角度領域を算出し、送信画像を生成する画像生成部と、
   前記送信画像を相手先に送信する送信部と
   を具備する電子機器。
2. 前記画像生成部は、前記３６０度画像において複数のユーザが特定された場合に、ユーザ間の方位角度が予め設定されている閾値未満であるか否かを判定し、ユーザ間の方位角度が前記閾値未満であると判定した場合に、複数のユーザを含む所定領域の画像を用いて前記送信画像を生成する請求項１に記載の電子機器。
3. 前記画像生成部は、ユーザ間の方位角度が前記閾値以上であると判定した場合に、各ユーザを含むそれぞれの所定領域の画像を組み合わせて前記送信画像を生成する請求項２に記載の電子機器。
4. 相手先の画像を受信する受信部と、
   周囲のユーザを検出するユーザ検出部と、
   水平面内における方位３６０度に対して表示可能な表示画面を有する表示装置と、
   ユーザが検出された方位に対応する前記表示画面の表示領域に前記相手先の画像を表示させる表示制御部と
   を具備する請求項１から３のいずれか１項に記載の電子機器。
5. 前記表示装置は、方位３６０度にわたって連続的に設けられた表示画面を有している請求項４に記載の電子機器。
6. 前記表示装置は、前記水平面に対して垂直な軸線まわりに回転可能に設けられた１または複数の表示画面を有する請求項４に記載の電子機器。
7. 台座部と、
   台座部上に支持される本体部と、
   本体部に設けられた表示装置と、
   本体部の上部に設けられた撮像装置と
   を具備し、
   前記表示装置は、前記本体部の上下方向における中心軸線まわりの方位３６０度に対して表示可能な表示画面を有し、
   前記撮像装置は、前記中心軸線まわりの方位３６０度における画像を取得可能とされている電子機器。
8. 水平面内において全方位３６０度を撮像することにより３６０度画像を取得する工程と、
   前記３６０度画像において、一または複数のユーザを特定する工程と、
   特定された前記ユーザの位置に基づいて、前記３６０度画像のうち前記ユーザを含めるために切り取る角度領域を算出し、送信画像を生成する工程と、
   前記送信画像を相手先に送信する工程と
   を有する通信方法。
9. 相手先の画像を受信する工程と、
   周囲のユーザを検出する工程と、
   水平面内における方位３６０度に対して表示可能な表示画面を有する表示装置において、ユーザが検出された方位に対応する前記表示画面の表示領域に前記相手先の画像を表示させる工程と
   を有する請求項８に記載の通信方法。
10. 水平面内において全方位３６０度を撮像することにより３６０度画像を取得する処理と、
    前記３６０度画像において、一または複数のユーザを特定する処理と、
    特定された前記ユーザの位置に基づいて、前記３６０度画像のうち前記ユーザを含めるために切り取る角度領域を算出し、送信画像を生成する処理と、
    前記送信画像を相手先に送信する処理と
    をコンピュータに実行させるための通信プログラム。
11. 相手先の画像を受信する処理と、
    周囲のユーザを検出する処理と、
    水平面内における方位３６０度に対して表示可能な表示画面を有する表示装置において、ユーザが検出された方位に対応する前記表示画面の表示領域に前記相手先の画像を表示させる処理と
    をコンピュータに実行させるための請求項１０に記載の通信プログラム。
    

Images