JP2017092558A

JP2017092558A - 通信装置およびプログラム

Info

Publication number: JP2017092558A
Application number: JP2015216618A
Authority: JP
Inventors: 茂丈松山; Shigetake Matsuyama
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-11-04
Filing date: 2015-11-04
Publication date: 2017-05-25

Abstract

【課題】ビデオ通話処理が可能な通信装置において、ユーザの撮影画像をいっそう望ましいものとする技術を提供することである。【解決手段】通信装置１０Ａは、他の通信装置とビデオ通話処理が可能である。通信装置１０Ａは、ビデオ通話処理時に、通信先の通信装置に対しインカメラの撮影データを送信する。通信装置１０Ａは、通信先の通信装置から、ビデオ通話にかかる相手側ユーザを表示するための動画像データを受信する。通信装置１０Ａは、ビデオ通話処理時に、ディスプレイの外縁を構成する各辺のうちインカメラの配置箇所との距離が短い辺を上側として、受信する動画像データをディスプレイに表示させる。通信装置１０Ａは、例えばインカメラが下側にある場合、ユーザに対して相手側ユーザの動画像データを上下逆に視認させるようにディスプレイに表示することで、ユーザに通信装置１０Ａを回転させるよう促す。【選択図】図１

Description

本開示は、ビデオ通話処理をすることができる通信装置の技術に関する。

携帯電話機の無線基地局の設置、無線ＬＡＮ（Local Area Network）アクセスポイントの普及、スマートフォンなどの通信装置の普及などにより、ユーザ同士がメッセージなどを送受信する機会がますます増加している。例えば、スマートフォンで撮影した画像を、他のユーザと送受信するなどである。ユーザ同士でコミュニケーションを行うため、ビデオ通話に対応しているスマートフォンも普及している。例えば、スマートフォンのディスプレイが配置された面に、ユーザ自身を撮影するためのカメラ（インカメラ）を備え、インカメラで撮影した動画像を相手側のスマートフォンに送信し、相手側のスマートフォンからは動画像データを受信して、受信した相手側のユーザの動画像データをディスプレイに表示する。

このようなビデオ通話処理をいっそう使いやすいものとするため、様々な技術が従来より検討されている。例えば、特開２００１−５４０８４号公報（特許文献１）は、撮像部や表示部の向きによって撮像画像や表示画像の向きを変更し、常に適切な画像を送信または表示するテレビ電話装置を記載している。具体的には、特許文献１は、テレビ電話装置において、撮像部の鉛直方向の上側を、相手側の端末に送信する画像の上側となるように撮影画像を回転処理して画像信号を生成する技術を記載している。また、特許文献１は、テレビ電話装置において、ディスプレイの向きに基づいて、相手側の端末から受信した画像の上側をディスプレイに対して鉛直方向の上側となるように回転処理を行う技術を記載している。

特開２００１−５４０８４号公報

このように、特許文献１の技術によると、端末の向きに応じて、映像を送信または表示している。しかし、カメラがユーザを撮影する位置によって、ユーザが撮影された撮影画像を見た人の印象は大きく異なる可能性がある。すなわち、ユーザ自身を撮影した撮影画像は、端末に配置されているカメラの撮影位置によって、撮影画像を見た相手側のユーザに与える印象が異なることがある。例えば、カメラの位置が端末の下側に配置された状態でユーザ自身を撮影すると、ユーザがカメラを見下ろす形で撮影画像がカメラによって生成されるため、相手側のユーザから見て好印象ではない撮影画像となることがある。また、端末の小型化が進むにつれて、ディスプレイに相手側ユーザの撮影画像を表示した場合に、相手側ユーザの撮影画像をディスプレイから視認するためのユーザの位置もおおよそ定まる。そのため、ユーザがカメラによって撮影される位置の範囲も限られ、理想的な撮影位置からユーザを撮影することが困難な場合もある。

そこで、本開示は、ビデオ通話処理が可能な通信装置において、カメラによってユーザを撮影する位置をいっそう好ましい位置とすることで、ユーザの撮影画像をいっそう望ましいものとする技術を提供することを目的としている。

一実施形態に従う通信装置は、ビデオ通話処理が可能なものである。通信装置は、ビデオ通話処理時にユーザを撮影可能なように筐体に配置されたカメラと、ビデオ通話処理時に相手側ユーザを表示するためのディスプレイと、通信装置の動作を制御するように構成された制御部とを備える。制御部は、ビデオ通話処理時に、通信先の通信装置からビデオ通話にかかる動画像データを受信する処理を行うデータ通信部と、ビデオ通話処理時に、ディスプレイの外縁を構成する各辺のうちカメラの配置箇所との距離が短い辺を上側として、受信する動画像データをディスプレイに表示させる表示制御部とを含む。

一実施形態によると、ビデオ通話処理が可能な通信装置の動作を制御するためのプログラムが提供される。通信装置は、ビデオ通話処理時にユーザを撮影可能なように筐体に配置されたカメラと、ビデオ通話処理時に相手側ユーザを表示するためのディスプレイと、通信装置の動作を制御するように構成されたプロセッサと、メモリとを備える。プログラムは、プロセッサに、ビデオ通話処理時に、通信先の通信装置からビデオ通話にかかる動画像データを受信する処理を行うステップと、ビデオ通話処理時に、ディスプレイの外縁を構成する各辺のうちカメラの配置箇所との距離が短い辺を上側として、受信する動画像データをディスプレイに表示させるステップとを実行させる。

一実施形態によると、ビデオ通話処理において、カメラが通信装置の上側にある状態で、カメラによってユーザを撮影するようユーザの撮影位置を誘導することができる。これにより、ユーザの撮影画像を、カメラが通信装置の下側にある状態で撮影された撮影画像と比べて好印象のものとすることができ、ユーザ同士のビデオ通話によるコミュニケーションをいっそう活発にさせることができる。

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

実施の形態１のビデオ通話処理システム１の構成を示す図である。実施の形態１の通信装置１０の構成を概略的に示す図である。本実施形態の通信装置の画面の表示例を示す図である。通信装置１０がビデオ通話処理を相手側の通信装置に対し発信する処理を示すフローチャートである。通信装置１０がビデオ通話処理を他の通信装置から着信した場合の処理を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜実施の形態１＞
図１は、実施の形態１のビデオ通話処理システム１の構成を示す図である。

図１に示すように、ビデオ通話処理システム１は、通信装置１０Ａ（スマートフォン）と、通信装置１０Ｂ（タブレット）と、通信装置１０Ｃと、サーバ２０とを含む。ネットワーク９０に、ブロードバンドルータ９１、無線基地局９２、サーバ２０等の各装置が接続されている。以下、通信装置１０Ａ、通信装置１０Ｂおよび通信装置１０Ｃ等の装置を総称して「通信装置１０」ということもある。

通信装置１０は、ＬＴＥ（Long Term Evolution）、ＣＤＭＡ（Code Division Multiple Access）、およびＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）などの規格に従って、無線基地局９２と無線通信する。通信装置１０は、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格にも対応し、ブロードバンドルータ９１と無線通信する。これにより、通信装置１０は、ネットワーク９０を介してサーバ２０と通信することができる。例えば、通信装置１０Ａと通信装置１０Ｂとは、ビデオ通話処理のアプリケーションを実行することにより、互にビデオ通話により通信することができる。通信装置１０は、サーバ２０と接続することにより、サーバ２０を介して他の通信装置と通信接続を確立する処理およびビデオ通話を行う処理を行うこととしてもよい。

サーバ２０は、例えば、ビデオ通話処理システム１を利用するユーザの登録を受け付けて、ユーザ同士の交流を促すためのプラットフォームとして機能する。サーバ２０は、例えば、ＳＮＳ（Social Network Service）機能を有しており、ユーザ同士のメッセージの送受信、ビデオ通話などを可能とする。

＜通信装置１０の構成＞
図２は、実施の形態１の通信装置１０の構成を概略的に示す図である。図２の状態（Ａ）は、通信装置１０の外観を示す。図２の状態（Ｂ）は、通信装置１０の機能的な構成を示すブロック図である。

図２に示すように、通信装置１０は、アンテナ１０１と、無線通信部１１１と、センサ部１３０（加速度センサ１３２、角速度センサ１３３等の各種センサを含む）と、物理操作キー１３１と、操作受付部（タッチパネル）１４１と、ディスプレイ１４２と、カメラ１４４と、音声処理部１４６と、マイク１４７と、スピーカ１４８と、記憶部１５０と、制御部１６０とを含む。

アンテナ１０１は、通信装置１０が発する信号を電波として放射する。また、アンテナ１０１は、空間から電波を受信して受信信号を無線通信部１１１へ与える。本実施形態では、通信装置１０は、複数の無線通信規格に対応している。

無線通信部１１１は、通信装置１０が他の無線機器と通信するため、アンテナ１０１等を介して信号を送受信するための変復調処理などを行う。無線通信部１１１は、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。無線通信部１１１は、通信装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１６０へ与える。

物理操作キー１３１は、物理的な入力装置であり、ユーザによる押下操作を受け付ける。物理操作キー１３１は、ユーザの押下操作に応じて、操作内容を示す信号を制御部１６０へ出力する。

加速度センサ１３２は、通信装置１０の傾きを、重力方向の加速度として検出するためのセンサであり、例えば３軸加速度センサである。加速度センサ１３２は、検出した３軸の加速度を制御部１６０へ出力する。

角速度センサ１３３は、角速度を検出するためのセンサであり、通信装置１０の回転を検出する。角速度センサ１３３は、例えば３軸角速度センサである。

操作受付部１４１は、ユーザの入力操作を受け付ける。操作受付部１４１は、例えば静電容量方式のタッチパネルを用いることによって、ユーザの接触位置を検出する。操作受付部１４１は、検出したユーザの接触位置を示す信号を入力操作として制御部１６０へ出力する。

ディスプレイ１４２は、制御部１６０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１４２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。ディスプレイ１４２は、ビデオ通話処理時に相手側ユーザを表示するためのものである。

カメラ１４４は、ビデオ通話処理時にユーザを撮影可能なように通信装置１０の筐体に配置されている。状態（Ａ）に示すように、カメラ１４４は、ビデオ通話処理時に相手側ユーザを表示するディスプレイ１４２と同じ面に配置される、いわゆるインカメラである。

音声処理部１４６は、音声信号の変復調を行う。音声処理部１４６は、マイク１４７から与えられる信号を変調して、変調後の信号を制御部１６０へ与える。また、音声処理部１４６は、音声信号をスピーカ１４８へ与える。音声処理部１４６は、例えば音声処理用のプロセッサによって実現される。

マイク１４７は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４６へ与える。スピーカ１４８は、音声処理部１４６から与えられる音声信号を音声に変換して当該音声を通信装置１０の外部へ出力する。

記憶部１５０は、例えばフラッシュメモリ等により構成され、通信装置１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１５０は、ユーザ識別情報１５１を記憶する。ユーザ識別情報１５１は、通信装置１０がビデオ通話処理を行う場合に、相手側の通信装置との通信接続を確立するためのユーザの識別情報である。また、記憶部１５０は、ビデオ通話処理を行うための相手側のユーザを特定する情報を記憶する。

制御部１６０は、記憶部１５０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、通信装置１０の動作を制御する。制御部１６０は、例えばアプリケーションプロセッサである。制御部１６０は、プログラムに従って動作することにより、向き検出部１６１と、呼接続確立部１６２と、接続時表示制御部１６３と、動画像通信部１６４としての機能を発揮する。

向き検出部１６１は、センサ部１３０の各種センサの出力結果に基づいて、通信装置１０の傾きを検出する。

呼接続確立部１６２は、通信装置１０が通話処理の相手側の通信装置と接続を確立する。例えば、呼接続確立部１６２は、ビデオ通話処理を行うため、相手側の通信装置を呼び出す処理を行う。また、呼接続確立部１６２は、他の通信装置から着信があった場合に、着信をマイク１４７の音声出力等によりユーザへ報知する処理などを行う。

接続時表示制御部１６３は、ビデオ通話処理時に、ディスプレイ１４２の外縁を構成する各辺（４辺）のうち、カメラ１４４の配置箇所との距離が短い辺を上側として、相手側電話機から受信する動画像データをディスプレイ１４２に表示させる。状態（Ａ）の例で説明すると、接続時表示制御部１６３は、ビデオ通話処理時に、カメラ１４４の配置箇所との距離が最も短い辺であるディスプレイ１４２の上部の辺を上側として、相手側電話機から受信する動画像データをディスプレイ１４２に表示させる。接続時表示制御部１６３は、ビデオ通話処理時に、カメラ１４４の撮影データ（ユーザ自身を撮影した撮影データ）を、向き検出部１６１の検出結果に応じて回転させた状態でディスプレイ１４２に表示させる。接続時表示制御部１６３は、カメラ１４４の撮影データを、向き検出部１６１の検出結果に応じて、ディスプレイ１４２の予め定められた表示位置に表示させる。すなわち、接続時表示制御部１６３は、ユーザ自身を撮影した撮影データを、ユーザが視認しやすいよう、通信装置１０の傾きに応じて、ディスプレイ１４２の左下の位置に視認できるようディスプレイ１４２に表示する。また、接続時表示制御部１６３は、ビデオ通話処理時に、通信先の通信装置から受信する動画像データが縦長または横長であるか判定し、判定結果に示される動画像データをディスプレイ１４２に表示する場合の上辺および下辺を構成する２辺のうち、カメラ１４４に近い方の辺を上側として、受信する動画像データをディスプレイ１４２に表示させることとしてもよい。例えば、状態（Ａ）の例において、通信装置１０が通信先の通信装置から、縦長の動画像データを受信する場合、ディスプレイ１４２の上部の辺を上側にして、受信した動画像データを表示する。また、通信装置１０が通信先の通信装置から、横長の動画像データを受信する場合、横長の画像を表示する場合にカメラ１４４に近い辺である状態（Ａ）のディスプレイ１４２の左側の辺を上側にして、受信した横長の動画像データを表示する。

動画像通信部１６４は、ビデオ通話処理時に、通信先の通信装置に対し、カメラ１４４の撮影データを送信する処理、および、通信先の通信装置から、ビデオ通話にかかる動画像データを受信する処理を行う。

＜画面の表示例＞
図３を参照して、本実施形態の通信装置の画面の表示例を説明する。

図３は、本実施形態の通信装置の画面の表示例を示す図である。状態（Ａ）は、通信装置１０の傾きの検出結果に応じて、ディスプレイ１４２に画像を表示する例を示す図である。状態（Ａ）の状態では、通信装置１０は、相手側の通信装置から受信した動画像データ（相手側動画像１９１）を、通信装置１０の傾きに応じて表示している。そのため、ビデオ通話処理時に、ユーザに対してカメラ１４４の位置が通信装置１０の下側に配置され、ユーザがカメラ１４４を見下ろした状態で撮影がなされる。

状態（Ｂ）は、通信装置１０が、ビデオ通話処理時に、カメラ１４４の配置箇所との距離が最も短い辺を上側として、相手側の通信装置から受信した動画像データをディスプレイ１４２に表示する例を示す図である。この状態において、通信装置１０、相手側ユーザの動画像データ（相手側動画像１９１）が、上下が逆になった状態でユーザに視認させることとなるため、通信装置１０を回転させるようユーザに促すことができる。

状態（Ｃ）は、状態（Ｂ）の状態からユーザが通信装置１０を回転させた状態を示す図である。通信装置１０は、相手側ユーザの動画像データ（相手側動画像１９１）を、ユーザに視認しやすい状態でディスプレイ１４２に表示することができる。

また、状態（Ｂ）および状態（Ｃ）に示すように、通信装置１０は、ユーザ自身をカメラ１４４で撮影した撮影画像データを、通信装置１０の傾きに応じて、ディスプレイ１４２の一定の位置でユーザに視認させるよう表示する。状態（Ｂ）および状態（Ｃ）の例では、通信装置１０は、通信装置１０の傾きに応じて、ユーザからはディスプレイ１４２の左下の位置に表示させるようユーザ動画像１９２をディスプレイ１４２に表示する。通信装置１０は、カメラ１４４の撮影画像データを、通信装置１０の傾きに応じてディスプレイ１４２に表示する。こうすることで、通信装置１０の傾きにかかわらず、ユーザ自身をカメラ１４４で撮影した撮影画像データが、ユーザからは定位置に表示されるように視認させることができる。そのため、通信装置１０は、ユーザに対し、通信装置１０の傾きにかかわらずユーザ動画像１９２が一定位置で視認できるという操作感を提供することができ、ユーザの操作体験を向上させることができる。また、ユーザ動画像１９２はユーザに対して通常の向きに表示されるため、ユーザがカメラを見下ろした状態であるか否かといった自身の映り方を確認し易くすることができる。

＜動作＞
図４と図５とを参照して、通信装置１０の動作について説明する。

図４は、通信装置１０がビデオ通話処理を相手側の通信装置に対し発信する処理を示すフローチャートである。例えば、通信装置１０は、ユーザからビデオ通話処理を行うためのアプリケーションの起動操作を受け付けることにより、図４に示す処理を行う。

ステップＳ１０１において、通信装置１０の制御部１６０は、ディスプレイ１４２に通話相手の候補を表示する等により、ユーザから、通話相手の選択を受け付ける。

ステップＳ１０３において、制御部１６０は、通話相手として選択された相手側の通信装置に対し発信処理をすることにより、通話相手の通信装置との接続を確立する。

ステップＳ１０５において、制御部１６０は、センサ部１３０の出力結果に基づいて、通信装置１０の向き（通信装置１０の傾き）を検出する。

ステップＳ１０７において、制御部１６０は、ステップＳ１０５で検出された通信装置１０の向きにおいて、カメラ１４４が通信装置１０の下側に配置されているか、上側に配置されているかを判定する。通信装置１０の向きにおいてカメラ１４４が通信装置１０の下側に配置されている場合、制御部１６０は、ステップＳ１１１の処理を行い、カメラ１４４が通信装置１０の上側に配置されている場合、制御部１６０は、ステップＳ１０９の処理を行う。

ステップＳ１０９において、制御部１６０は、カメラ１４４の配置箇所に近い辺を上側として、相手側の通信装置から受信する相手側ユーザの動画像データと、カメラ１４４により撮影されるユーザの自画像の動画像データとをディスプレイ１４２に表示する。

ステップＳ１１１において、制御部１６０は、カメラ１４４の配置箇所に近い辺を上側として、相手側の通信装置から受信する相手側ユーザの動画像データをディスプレイ１４２に表示し、カメラ１４４により撮影されるユーザの自画像の動画像データを通信装置１０の向きに従ってディスプレイ１４２に表示し、ステップＳ１０５以降の処理を繰り返す。

図５は、通信装置１０がビデオ通話処理を他の通信装置から着信した場合の処理を示すフローチャートである。例えば、通信装置１０は、他の通信装置からビデオ通話の着信処理を受信することで、図５に示す処理を行う。

ステップＳ１０４において、通信装置１０の制御部１６０は、他の通信装置からビデオ通話処理の着信を受けて、通話相手の通信装置との接続を確立する。

＜まとめ＞
ユーザとカメラとの距離が近くなるにつれて、カメラの撮影位置によっては撮影画像が人に与える印象が大きく異なってくる。ビデオ通話処理時に、ユーザ自身を撮影するカメラの位置によっては、ユーザの撮影画像が好適な印象を与えづらいものとなるおそれがある。本実施形態で説明した通信装置によると、ビデオ通話処理時に、カメラの位置に応じて通話相手の動画像データの表示方法を制御する。これにより、通話相手がユーザの撮影画像から受ける印象をより好適になるようにユーザ自身を撮影するためのカメラの位置を移動させるようユーザに促すことができる。そのためビデオ通話処理によるユーザ間のコミュニケーションをいっそう円滑なものとすることができる。

本実施の形態に係る通信装置およびサーバは、プロセッサと、その上で実行されるプログラムにより実現される。本実施の形態を実現するプログラムは、通信インタフェースを介してネットワークを利用した送受信等により提供される。

今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ビデオ通話処理システム、１０通信装置、２０サーバ、９０ネットワーク、９１ブロードバンドルータ、９２無線基地局、１０１アンテナ、１１１無線通信部、１３１物理操作キー、１４１操作受付部、１４２ディスプレイ、１４４カメラ、１４６音声処理部、１４７マイク、１４８スピーカ、１５０記憶部、１５１ユーザ識別情報、１６０制御部、１６１向き検出部、１６２呼接続確立部、１６３接続時表示制御部、１６４動画像通信部、１９１相手側動画像、１９２ユーザ動画像。

Claims

ビデオ通話処理が可能な通信装置であって、
前記ビデオ通話処理時にユーザを撮影可能なように筐体に配置されたカメラと、
前記ビデオ通話処理時に相手側ユーザを表示するためのディスプレイと、
前記通信装置の動作を制御するように構成された制御部とを備え、
前記制御部は、
前記ビデオ通話処理時に、前記通信先の通信装置から前記ビデオ通話にかかる動画像データを受信する処理を行うデータ通信部と、
前記ビデオ通話処理時に、前記ディスプレイの外縁を構成する各辺のうち前記カメラの配置箇所との距離が短い辺を上側として、前記受信する前記動画像データを前記ディスプレイに表示させる表示制御部とを含む、通信装置。
前記通信装置は、
前記通信装置の傾きを検出するためのセンサをさらに備え、
前記データ通信部は、前記ビデオ通話処理時に、通信先の通信装置に対し前記カメラの撮影データを送信する処理を行い、
前記制御部は、
前記センサの出力結果に基づいて、前記通信装置の傾きを検出する向き検出部を含み、
前記表示制御部は、前記ビデオ通話処理時に、前記カメラの撮影データを、前記向き検出部の検出結果に応じて回転させた状態で前記ディスプレイに表示させる、請求項１に記載の通信装置。
前記制御部の前記表示制御部は、
前記カメラの撮影データを、前記向き検出部の検出結果に応じて前記ディスプレイの予め定められた表示位置に表示させる、請求項１または２に記載の通信装置。
前記制御部の前記表示制御部は、
前記ビデオ通話処理時に、前記通信先の通信装置から受信する前記動画像データが縦長または横長であるか判定し、判定結果に示される前記動画像データを前記ディスプレイに表示する場合の上辺および下辺を構成する２辺のうち、前記カメラに近い方の辺を上側として、前記受信する前記動画像データを前記ディスプレイに表示させる、請求項１から３のいずれか１項に記載の通信装置。
ビデオ通話処理が可能な通信装置の動作を制御するためのプログラムであって、
前記通信装置は、ビデオ通話処理時にユーザを撮影可能なように筐体に配置されたカメラと、
前記ビデオ通話処理時に相手側ユーザを表示するためのディスプレイと、
前記通信装置の動作を制御するように構成されたプロセッサと、メモリとを備え、
前記プログラムは、前記プロセッサに、
前記ビデオ通話処理時に、前記通信先の通信装置から前記ビデオ通話にかかる動画像データを受信する処理を行うステップと、
前記ビデオ通話処理時に、前記ディスプレイの外縁を構成する各辺のうち前記カメラの配置箇所との距離が短い辺を上側として、前記受信する前記動画像データを前記ディスプレイに表示させるステップとを実行させる、プログラム。