JP2022133267A - 端末装置、画像切り出し方法、および画像切り出しプログラム - Google Patents

Abstract

【課題】撮影する画像の動きを抑制し、室内親機のディスプレイにおいて画像を見やすくする携帯端末を提供する。
【解決手段】玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末は、カメラと、カメラで撮影される画像に含まれる顔を検出する検出部と、画像に含まれる顔の移動量を算出する算出部と、顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部と、を備え、切り出し部は、顔の移動量が所定量以上の場合、画像の一部を切り出す切り出し範囲を、移動する顔に追従させる。
【選択図】図６

Description

本開示は、端末装置、画像切り出し方法、および画像切り出しプログラムに関する。

従来、玄関への来訪者の確認を、玄関扉の近傍に配置された玄関子機を介して、室内の室内親機から行う事ができるドアホンシステムが、広く普及している。また、近年、室内親機に通信機能を設け、来訪者の確認をスマートフォン等の携帯可能な携帯端末から行う技術が注目されている。

例えば、特許文献１には、玄関子機を介した来訪者の呼出操作に応じて、親機を介して、玄関子機と携帯端末とを接続し、携帯端末による来訪者への対応を携帯端末から行うインターホンシステムが開示されている。

特開２０１１－１３５２２１号公報

ところで、将来のドアホンシステムでは、室内親機と、スマートフォン等の携帯端末との間で、ビデオ通話が行われることが想定される。

しかしながら、携帯端末のインカメラで自分を撮影し、その画像を室内親機に送信して室内親機のディスプレイに表示する場合、撮影する自分の姿が、例えば、手振れ等で動くと、携帯端末および室内親機のディスプレイで画像が見にくくなるという問題がある。

本開示の非限定的な実施例は、携帯端末で撮影する画像の動きを抑制し、画像を見やすくする携帯端末および画像切り出し方法の提供に資する。

本開示の一態様に係る携帯端末は、玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末であって、カメラと、前記カメラで撮影される画像に含まれる顔を検出する検出部と、前記画像に含まれる前記顔の移動量を算出する算出部と、前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、を備え、前記切り出し部は、前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、移動する前記顔に追従させる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、携帯端末で撮影する画像の動きを抑制し、画像を見やすくできる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本開示の実施の形態に係るドアホンシステムの一例を示した図 室内親機のディスプレイの表示例を説明する図 画像の切り出し例を説明する図 スマートフォンを横向きにした場合であって、切り出し処理を行わない場合の室内親機のディスプレイの表示例を説明する図 スマートフォンを横向きにした場合であって、切り出し処理を行う場合の室内親機のディスプレイの表示例を説明する図 切り出し範囲の移動を説明する図 スマートフォンのブロック構成例を示した図 制御部のブロック構成例を示した図 室内親機のブロック構成例を示した図 スマートフォンのディスプレイと室内親機のディスプレイの表示例を示した図 スマートフォンのディスプレイと室内親機のディスプレイの別の表示例を示した図 ドアホンシステムの動作例を示したシーケンス図 ドアホンシステムの動作例を示したシーケンス図 スマートフォンの画像切り出し動作例を示したフローチャート 予め決められた切り出し範囲の位置を説明する図 予め決められた切り出し範囲の位置を説明する図 予め決められた切り出し範囲の位置を説明する図

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本開示の実施の形態に係るドアホンシステムの一例を示した図である。図１に示すように、ドアホンシステムは、スマートフォン１と、建物Ａ１の室内に配置される室内親機２と、建物Ａ１玄関扉の近傍に配置される玄関子機３と、無線ルータ４と、を有する。建物Ａ１は、例えば、子供とその親とが居住する住居である。

スマートフォン１は、例えば、建物Ａ１の居住者が所有する携帯端末である。例えば、建物Ａ１に居住する親が、スマートフォン１を所有している。なお、携帯端末は、通話機能、カメラ、およびディスプレイを備え、ネットワーク５に接続できる端末であれば、スマートフォン１に限定されない。すなわち、携帯端末は、ビデオ通話が可能な端末であればよい。

スマートフォン１と室内親機２は、ネットワーク５を介して、ビデオ通話を行うことができる。ネットワーク５は、例えば、携帯電話やＷｉＭＡＸ、ＷｉＦｉ等の無線通信ネットワークおよびインターネット等を含むネットワークである。

室内親機２は、建物Ａ１の室内に配置される無線ルータ４を介して、ネットワーク５に接続する。室内親機２は、無線通信または有線ケーブルによって無線ルータ４と接続される。また、室内親機２は、玄関子機３と有線ケーブルによって接続される。なお、室内親機２は、玄関子機３と無線接続されてもよい。さらに、各装置間の接続が有線ケーブルによってなされる場合は、有線ケーブルによる接続のみが可能なルータを、無線ルータ４の代わりに用いてもよい。

玄関子機３は、室内親機２と音声通話をすることできる。これにより、建物Ａ１の居住者は、例えば、室内に居ながらにして、玄関先の訪問者と通話をすることができる。なお、玄関子機３は、カメラを備えていてもよい。この場合、建物Ａ１の居住者は、例えば、訪問者の様子を見ながら通話できる。

ところで、小さな子供は、一般的にスマートフォン等の携帯端末を所有していない場合が多い。そのため、例えば、建物Ａ１で留守番をしている子供は、外出している親と連絡を取ることが難しい。

このような状況に対し、図１に示すドアホンシステムでは、スマートフォン１と室内親機２は、ネットワーク５を介してビデオ通話をすることができる。従って、例えば、建物Ａ１で留守番をしている子供は、室内親機２を用いて、外出中の親とビデオ通話をすることができる。

スマートフォン１を使用する親は、建物Ａ１で留守番している子供とビデオ通話をするとき、自分の姿を撮影するのに、スマートフォン１のインカメラを用いることが多い。インカメラを用いて自分を撮影する場合、スマートフォン１は、縦向きに（長手方向が垂直方向を向くように）所持される場合が多い。そのため、スマートフォン１のインカメラが撮影する画像は、縦長となる。

一方、室内親機２のディスプレイは、一般的に横長であることが多い。そのため、室内親機２の横長のディスプレイに、スマートフォン１から送信された縦長の画像を表示すると、スマートフォン１の画像は、小さく表示される。

図２は、室内親機２のディスプレイの表示例を説明する図である。図２には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。

スマートフォン１の使用者（例えば、外出中の親）は、インカメラで自分を撮影している。スマートフォン１のディスプレイには、図２に示すように、スマートフォン１の使用者が縦長に表示される。

スマートフォン１は、インカメラが撮影する画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図２に示すように、スマートフォン１から送信された画像をディスプレイに表示する。

室内親機２のディスプレイは、横長である。これに対し、スマートフォン１のインカメラで撮影される画像は、縦長である。そのため、スマートフォン１の縦長の画像を、横長の室内親機２のディスプレイに表示すると、図２の室内親機２のディスプレイに示すように、スマートフォン１の画像は、小さく表示される。

例えば、室内親機２は、スマートフォン１から送信された縦長の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン１から送られた画像を拡大または縮小して表示する。この場合、図２の余白Ａ１１ａ，Ａ１１ｂに示すように、室内親機２のディスプレイの横方向には、多くの余白が生じ、スマートフォン１の画像は、小さく表示される。

そこで、スマートフォン１は、インカメラで撮影される画像の一部を切り出す。そして、スマートフォン１は、切り出した画像（以下、切り出し画像と呼ぶことがある）を、ネットワーク５を介して、室内親機２に送信する。

図３は、画像の切り出し例を説明する図である。図３には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。

スマートフォン１は、インカメラが撮影する画像を一部切り出す。例えば、スマートフォン１は、図３の点線で示す切り出し範囲Ａ１２に示すように、インカメラが撮影する画像を、正方形状（略正方形状を含む、以下同じ）に切り出す。このとき、スマートフォン１は、画像を切り出す正方形状の枠（切り出し範囲Ａ１２）の横幅が、インカメラが撮影する画像の横幅に一致するように画像の一部を切り出す。言い換えれば、正方形状の切り出し範囲Ａ１２の一辺の長さは、スマートフォン１のディスプレイの短手方向の幅（インカメラが撮影する画像の短手方向の幅）に一致している。

また、スマートフォン１は、画像を切り出す際、インカメラが撮影する人物の顔を判定する。スマートフォン１は、判定した顔が切り出し範囲Ａ１２の中央に位置するように、切り出し範囲Ａ１２の位置を制御する。

なお、切り出し範囲Ａ１２の横幅は、上記したように、インカメラが撮影する画像の横幅に一致する。従って、スマートフォン１は、上下方向において、判定した顔が切り出し範囲Ａ１２の中央に位置するように、切り出し範囲Ａ１２の位置を制御する。言い換えれば、切り出し範囲Ａ１２は、スマートフォン１のディスプレイの長手方向（図面上下方向）に動き、短手方向（図面左右方向）には動かない。

スマートフォン１は、切り出した画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図３に示すように、スマートフォン１から送信された画像をディスプレイに表示する。

室内親機２のディスプレイは、横長である。これに対し、インカメラで撮影される画像は、正方形である。そのため、スマートフォン１から送信された正方形状の画像を、横長の室内親機２のディスプレイに表示すると、図３の室内親機２のディスプレイに示すように、スマートフォン１の画像は、図２に示した室内親機２の画像より大きく表示される。

例えば、室内親機２は、スマートフォン１から送信された正方形状の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン１から送られた画像を拡大または縮小して表示する。この場合、室内親機２のディスプレイの横方向の余白Ａ１３ａ，Ａ１３ｂは、図２の余白Ａ１１ａ，Ａ１１ｂより小さくなり、スマートフォン１の画像は、図２に示した室内親機２の画像より大きく表示される。

このように、スマートフォン１は、インカメラが撮影する画像に含まれる顔を判定し、判定した顔を含むように画像の一部を切り出す。そして、スマートフォン１は、切り出した画像を、ネットワーク５を介して、室内親機２に送信する。これにより、室内親機２のディスプレイには、スマートフォン１が撮影する画像が大きく表示される。

スマートフォン１の使用者は、スマートフォン１を横向きにして撮影することも考えられる。この場合、スマートフォン１の画像は、画像が切り出されなくても、室内親機２のディスプレイに大きく表示されることが可能である。

図４は、スマートフォン１を横向きにした場合であって、切り出し処理を行わない場合の室内親機２のディスプレイの表示例を説明する図である。図４には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。

スマートフォン１の使用者は、スマートフォン１を横向きにし、インカメラで自分を撮影している。スマートフォン１のディスプレイには、図４に示すように、スマートフォン１の使用者が横長に表示される。

スマートフォン１は、インカメラが撮影する画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図４に示すように、スマートフォン１から送信された画像をディスプレイに表示する。

室内親機２のディスプレイは、横長である。インカメラで撮影される画像も、横長である。そのため、スマートフォン１の画像は、図４の室内親機２のディスプレイに示すように、大きく表示される。

しかし、スマートフォン１が、図３で説明した画像の切り出し処理を行わない場合、室内親機２のディスプレイに表示される画像は、使用者を撮影するスマートフォン１の向き（縦向きまたは横向き）によって変わる。

例えば、図２で説明したように、スマートフォン１を縦向きにして使用者を撮影した場合、室内親機２のディスプレイの横方向には、多くの余白が生じる。一方、図４で説明したように、スマートフォン１を横向きにして使用者を撮影した場合、室内親機２のディスプレイの横方向には、余白が生じない（または余白が少ない）。

すなわち、画像の切り出し処理を行わない場合、室内親機２のディスプレイに表示される画像は、スマートフォン１の撮影方向（縦向きまたは横向き）によって、大きくなったり小さくなったりして、統一感がない。

これに対し、図３で示した画像の切り出し処理を行う場合、室内親機２のディスプレイに表示される画像の大きさは、スマートフォン１の撮影方向に関わらず一定となり、統一感がある。

図５は、スマートフォン１を横向きにした場合であって、切り出し処理を行う場合の室内親機２のディスプレイの表示例を説明する図である。図５には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。

スマートフォン１は、図３で説明した画像の切り出し方法と同様の方法によって、インカメラが撮影した画像を切り出す。図５の点線で示す切り出し範囲Ａ１４は、図３で説明した切り出し範囲Ａ１２と同様に正方形状を有している。正方形状の切り出し範囲Ａ１４の一辺の長さは、スマートフォン１のディスプレイの短手方向の幅（インカメラが撮影する画像の短手方向の幅）に一致している。つまり、図３で説明した切り出し範囲Ａ１２と、図５に示す切り出し範囲Ａ１４は、同じ形状および大きさを有している。

従って、スマートフォン１を横向きにして撮影した場合の、室内親機２のディスプレイに表示される画像の大きさと、スマートフォン１を縦向きにして撮影した場合の、室内親機２のディスプレイに表示される画像の大きさは、同じになる。これにより、室内親機２のディスプレイに表示される画像の大きさは、スマートフォン１の向きに関わらず一定となり、統一感がある。

なお、正方形状の切り出し範囲Ａ１４は、図３に示した切り出し範囲Ａ１２と同様に、スマートフォン１のディスプレイの長手方向（図面左右方向）に動き、短手方向（図面上下方向）には動かない。

画像の切り出し範囲の中心を、インカメラで撮影される顔の位置に直ぐに追従させると、背景が細かく動き、画像が見づらくなる場合がある。例えば、スマートフォン１の使用者は、スマートフォン１を手に持って自分自身を撮影する。手振れによって、撮影する顔の移動量が大きくなる場合があり、その移動量に合わせて切り出し範囲を移動させると、背景が素早く動いて、画像が見づらくなる場合がある。

そこで、スマートフォン１は、撮影する顔の移動量が所定量以上の場合（例えば、単位時間における顔の移動距離が大きい場合）、切り出し範囲を顔の移動に追従させる。言い換えれば、スマートフォン１は、撮影する顔の移動量が所定量以上でない場合、切り出し範囲を動かさない。

図６は、切り出し範囲の移動を説明する図である。図６には、図１に示したスマートフォン１と、室内親機２と、が示してある。

図６の矢印Ｄ１，Ｄ２に示すスマートフォン１には、インカメラが撮影する人物が大きく移動した様子を示している。スマートフォン１のインカメラが撮影する画像は、図６の矢印Ｄ１に示すスマートフォン１から、矢印Ｄ２に示すスマートフォン１に示すように変化したとする。また、矢印Ｄ１，Ｄ２に示すスマートフォン１のインカメラが撮影する画像の顔の移動量は、所定量以上であるとする。

図６の矢印Ｄ１１～Ｄ１４に示すスマートフォン１には、切り出し範囲Ａ１５の動きが示してある。切り出し範囲Ａ１５は、図３で説明した切り出し範囲Ａ１２と同様であり、顔を中心にして、正方形状で画像を切り出す。図６の矢印Ｄ１１に示すスマートフォン１の画像は、矢印Ｄ１のスマートフォン１の画像に対応している。図６の矢印Ｄ１２に示すスマートフォン１の画像は、矢印Ｄ２のスマートフォン１の画像に対応している。

スマートフォン１のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲Ａ１５は、図６の矢印Ｄ１２～Ｄ１４に示すように、顔の移動量より小さい移動量で移動する。言い換えれば、切り出し範囲Ａ１５は、顔の移動速度より遅い速度で移動する。

例えば、図６の矢印Ｄ１２のスマートフォン１に示すように、顔の位置が、所定の移動量を超えて下方に移動したとする。この場合、切り出し範囲Ａ１５は、顔の動きに直ちに追従するのではなく、図６の矢印Ｄ１３および矢印Ｄ１４のスマートフォン１に示すように、顔の位置が徐々に中心に来るよう移動する。

図６の矢印Ｄ２１～Ｄ２４に示す室内親機２には、矢印Ｄ１，Ｄ２に示すスマートフォン１で撮影された画像がディスプレイに表示された様子を示している。上記したように、スマートフォン１のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲Ａ１５は、顔の移動量より小さい移動量で移動する。スマートフォン１は、小さい移動量で移動する切り出し範囲Ａ１５で切り出した画像を室内親機２に送信する。従って、図６の切り出し範囲Ａ１５で切り出された画像は、図６の矢印Ｄ２１～Ｄ２４に示す４つの室内親機２のディスプレイに示すように、表示される。

図７は、スマートフォン１のブロック構成例を示した図である。図７に示すように、スマートフォン１は、通信部１１と、記憶部１２と、制御部１３と、音声処理部１４と、画像処理部１５と、ディスプレイ１６と、操作部１７と、マイクロフォン１８と、スピーカ１９と、インカメラ２０と、アウトカメラ２１と、を有している。

通信部１１は、無線通信回路を有し、無線通信回線によりネットワーク５を構成している無線基地局（図示せず）に接続する。そして、通信部１１は、ネットワーク５を介して、室内親機２に接続する。通信部１１は、室内親機２から送信されたデータを受信して、制御部１３に出力する。また、通信部１１は、制御部１３から出力されたデータを室内親機２に送信する。

記憶部１２には、制御部１３が動作するためのプログラムが記憶される。また、記憶部１２には、制御部１３が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。

制御部１３は、例えば、ＣＰＵ（Central Processing Unit）で構成され、接続されている各部を制御する。

音声処理部１４は、制御部１３から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ１９へ出力する。また、音声処理部１４は、マイクロフォン１８から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部１３へ出力する。

画像処理部１５は、インカメラ２０およびアウトカメラ２１から出力されるデジタル映像データを制御部１３へ出力する。画像処理部１５は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。

ディスプレイ１６は、スマートフォン１の正面側に設けられている。ディスプレイ１６は、例えば、液晶ディスプレイであり、制御部１３から出力されるデジタル映像データに基づいて映像を表示する。

操作部１７は、例えば、ディスプレイ１６に重畳されるタッチパネルおよび各種ボタンを含む。操作部１７は、使用者（例えば、スマートフォン１の使用者）の操作を受付け、使用者の操作内容を示す操作情報を制御部１３へ出力する。

マイクロフォン１８は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部１４に出力する。

スピーカ１９は、音声処理部１４から出力されるアナログ音声信号を、音声に変換して出力する。

インカメラ２０は、スマートフォン１の正面側に設けられている。インカメラ２０は、撮影した画像データを画像処理部１５に出力する。

アウトカメラ２１は、スマートフォン１の背面側に設けられている。アウトカメラ２１は、撮影した画像データを画像処理部１５に出力する。

図８は、制御部１３のブロック構成例を示した図である。図８に示すように、制御部１３は、画像取り込み部３１と、顔検出部３２と、移動量算出部３３と、切り出し部３４と、を有している。

画像取り込み部３１は、インカメラ２０が撮影した画像（動画像）データを、画像処理部１５から取り込む。

顔検出部３２は、画像取り込み部３１が取り込んだ画像データに含まれる顔を検出する。顔検出部３２は、検出した顔の位置（例えば、顔の中心座標）や顔のサイズを検出する。顔検出部３２の機能は、一般的な顔認証技術を用いて実現できる。

移動量算出部３３は、顔検出部３２によって検出された顔の位置の移動量を算出する。

切り出し部３４は、画像を切り出す切り出し範囲の中央に、顔検出部３２によって検出された顔が位置するように、切り出し範囲を移動する。そして、切り出し部３４は、画像を切り出し範囲で切り出し、切り出し画像を生成する。例えば、切り出し部３４は、図３および図５で説明したように、正方形状の切り出し範囲で画像を切り出し、切り出し画像を生成する。

切り出し部３４は、画像を切り出す際、移動量算出部３３によって算出された顔の移動量が所定量以上の場合に、切り出し範囲を、顔の位置が中心に来るように移動させる。例えば、切り出し部３４は、図６で説明したように、切り出し範囲を、顔の移動量より小さい移動量で、顔の位置が徐々に中心に来るよう移動させる。

図９は、室内親機２のブロック構成例を示した図である。図９に示すように、室内親機２は、通信部４１，４８と、記憶部４２と、制御部４３と、音声処理部４４と、画像処理部４５と、ディスプレイ４６と、操作部４７と、マイクロフォン４９と、スピーカ５０と、カメラ５１と、を有している。図９には、玄関子機３と無線ルータ４も示してある。

通信部４１は、無線通信回路を有し、無線通信回線により無線ルータ４に接続する。そして、通信部４１は、無線ルータ４およびネットワーク５を介して、スマートフォン１に接続する。通信部４１は、スマートフォン１から送信されたデータを受信して、制御部４３に出力する。また、通信部４１は、制御部４３から出力されたデータをスマートフォン１に送信する。

記憶部４２には、制御部４３が動作するためのプログラムが記憶される。また、記憶部１２には、制御部４３が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。

制御部４３は、例えば、ＣＰＵで構成され、接続されている各部を制御する。

音声処理部４４は、制御部４３から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ５０へ出力する。また、音声処理部４４は、マイクロフォン４９から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部４３へ出力する。

画像処理部４５は、カメラ５１から出力されるデジタル映像データを制御部４３へ出力する。画像処理部４５は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。

ディスプレイ４６は、室内親機２の正面側に設けられている。ディスプレイ４６は、例えば、液晶ディスプレイであり、制御部４３から出力されるデジタル映像データに基づいて映像を表示する。

操作部４７は、例えば、ディスプレイ４６に重畳されるタッチパネルおよび各種ボタンを含む。操作部４７は、使用者（例えば、建物Ａ１の居住者）の操作を受けつけ、使用者の操作内容を示す操作情報を制御部４３へ出力する。

通信部４８は、有線通信回路を有し、玄関子機３に接続する。制御部４３は、通信部４８を介して、玄関子機３と通信を行う。通信部４８は、玄関子機３から送信されたデータを制御部４３に出力し、制御部４３から出力されたデータを玄関子機３に送信する。

マイクロフォン４９は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部４４に出力する。

スピーカ５０は、音声処理部４４から出力されるアナログ音声信号を、音声に変換して出力する。

カメラ５１は、室内親機２の正面側に設けられている。カメラ５１は、撮影した画像データを画像処理部４５に出力する。

図１０は、スマートフォン１のディスプレイ１６と室内親機２のディスプレイ４６の表示例を示した図である。図１０に示すように、スマートフォン１は正面に、図７で説明したディスプレイ１６と、インカメラ２０と、を有している。室内親機２は正面に、図９で説明したディスプレイ４６と、カメラ５１と、を有している。なお、図１０には、スマートフォン１を所持する親Ａ３１ａと、建物Ａ１で留守番をしている子供Ａ３１ｂも示してある。

親Ａ３１ａは、スマートフォン１のインカメラ２０で自分を撮影する。制御部１３は、インカメラ２０で撮影される親Ａ３１ａの画像をディスプレイ１６に表示する。制御部１３は、親Ａ３１ａの画像をディスプレイ１６に表示する際、インカメラ２０で撮影される画像に含まれる顔を判定し、判定した顔を含むように、画像の一部を正方形状で切り出し、表示する。例えば、制御部１３は、図１０の画像Ａ３３ａに示すように、親Ａ３１ａの顔を含むように画像を切り出して、ディスプレイ１６に表示する。

なお、図１０では、制御部１３は、切り出した画像Ａ３３ａを縮小して、切り出した画像Ａ３３ａをディスプレイ１６に表示している。制御部１３は、切り出した画像Ａ３３ａの横幅を、ディスプレイ１６の横幅に一致させて、切り出した画像Ａ３３ａをディスプレイ１６に表示してもよい。

スマートフォン１の通信部１１は、制御部１３によって切り出された画像Ａ３３ａを、ネットワーク５を介して、室内親機２に送信する。室内親機２の制御部４３は、スマートフォン１から送信された画像Ａ３３ａを、ディスプレイ４６に表示する。例えば、制御部４３は、図１０の画像Ａ３２ｂに示すように、親Ａ３１ａの顔部分が切り出された画像を、ディスプレイ４６に表示する。

室内親機２のカメラ５１は、建物Ａ１で留守番をしている子供Ａ３１ｂを撮影する。制御部４３は、カメラ５１が撮影する子供Ａ３１ｂの画像をディスプレイ４６に表示する。例えば、制御部４３は、図１０の画像Ａ３３ｂに示すように、子供Ａ３１ｂの画像を表示する。

室内親機２の通信部４１は、カメラ５１が撮影する子供Ａ３１ｂの画像を、ネットワーク５を介して、スマートフォン１に送信する。スマートフォン１の制御部１３は、室内親機２から送信された画像Ａ３３ｂを、ディスプレイ１６に表示する。例えば、制御部１３は、図１０の画像Ａ３２ａに示すように、子供Ａ３１ｂの画像を、ディスプレイ１６に表示する。

このように、ドアホンシステムは、装置（スマートフォン１および室内親機２）を使用する使用者自身の画像と、ビデオ通話相手の画像とをディスプレイ１６，４６に表示してもよい。これにより、装置を使用する使用者は、ビデオ通話相手の装置に、自分自身の姿がどのように表示されているかを見ることができ、また、ビデオ通話相手の様子を見ることができる。

ドアホンシステムは、自分自身の画像をディスプレイ１６，４６に表示せず、ビデオ通話相手の画像をディスプレイ１６，４６に表示してもよい。

図１１は、スマートフォン１のディスプレイ１６と室内親機２のディスプレイ４６の別の表示例を示した図である。図１１において、図１０と同じものには同じ符号が付してある。

図１１では、スマートフォン１の制御部１３は、スマートフォン１の使用者である親Ａ３１ａの画像を、ディスプレイ１６に表示していない。制御部１３は、室内親機２から送信された子供Ａ３１ｂの画像Ａ３２ａのみを表示している。

室内親機２の制御部４３は、室内親機２の使用者である子供Ａ３１ｂの画像を、ディスプレイ４６に表示していない。制御部４３は、スマートフォン１から送信された親Ａ３１ａの画像Ａ３２ｂのみを表示している。

このように、ドアホンシステムは、装置を使用する使用者自身の画像を表示せず、ビデオ通話相手の画像をディスプレイ１６，４６に表示してもよい。これにより、装置を使用する使用者は、自分自身の姿をディスプレイ１６，４６で見ることはできないが、ビデオ通話の相手の様子を見ることができる。

なお、ドアホンシステムの表示形態は、図１０および図１１の例に限られない。例えば、図３に示したように、スマートフォン１は、スマートフォン１の使用者自身のみをディスプレイ１６に表示してもよい。そして、室内親機２は、スマートフォン１から送信された切り出された画像のみをディスプレイ４６に表示してもよい。これにより、スマートフォン１を使用する親は、子供の様子を見ることはできないが、室内親機２を使用する子供は、親の顔を見ながらビデオ通話できる。

また、表示形態は、使用者の操作に応じて、切替えられてもよい。例えば、スマートフォン１の制御部１３は、使用者の操作に応じて、図１０のディスプレイ１６に示した画面を表示してもよいし、図１１のディスプレイ１６に示した画面を表示してもよい。また、室内親機２の制御部４３は、使用者の操作に応じて、図１０のディスプレイ４６に示した画面を表示してもよいし、図１１のディスプレイ４６に示した画面を表示してもよい。

図１２は、ドアホンシステムの動作例を示したシーケンス図である。スマートフォン１の制御部１３は、スマートフォン１の使用者（例えば、外出中の親）から、室内親機２とのビデオ通話の要求を示す操作を受付ける。制御部１３は、ビデオ通話の要求を示す操作に応じて、室内親機２を呼び出す（ステップＳ１）。

室内親機２の制御部４３は、ステップＳ１の呼び出しを受信すると、例えば、ディスプレイ４６の表示またはスピーカ５０の音によって、スマートフォン１から呼び出しがあったことを知らせる。制御部４３は、室内親機２の使用者（例えば、留守番中の子供）から、ビデオ通話の応答操作を受付けると、スマートフォン１に呼び出しの応答を返す（ステップＳ２）。

スマートフォン１の制御部１３および室内親機２の制御部４３は、ステップＳ２の処理の後、ビデオ通話を開始する（ステップＳ３）。ビデオ通話の開始によって、スマートフォン１のディスプレイ１６および室内親機２のディスプレイ４６には、例えば、図１０または図１１に示したような画面が表示される。

スマートフォン１の制御部１３および室内親機２の制御部４３のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する（ステップＳ４）。

このように、ドアホンシステムは、スマートフォン１から室内親機２への呼び出しを契機に、ビデオ通話を開始してもよい。

なお、スマートフォン１の制御部１３は、ステップＳ１の呼び出し処理の後、ステップＳ３のビデオ通話を開始する前から、画像の切り出し処理を開始してもよい。つまり、スマートフォン１の制御部１３は、スマートフォン１の使用者から、室内親機２の呼び出し操作を受付けた直後から、切り出し画像をディスプレイ１６に表示してもよい。これにより、スマートフォン１の使用者は、ビデオ通話を開始する前に、自分が室内親機２にどのように表示されるかを見ることができる。

図１２では、スマートフォン１から室内親機２を呼び出したが、室内親機２からスマートフォン１を呼び出してもよい。

図１３は、ドアホンシステムの動作例を示したシーケンス図である。室内親機２の制御部４３は、使用者（例えば、留守番中の子供）から、スマートフォン１とのビデオ通話の要求を示す操作を受付ける。制御部４３は、ビデオ通話の要求を示す操作に応じて、スマートフォン１を呼び出す（ステップＳ１１）。

スマートフォン１の制御部１３は、ステップＳ１１の呼び出しを受信すると、例えば、ディスプレイ１６の表示またはスピーカ１９の音によって、室内親機２から呼び出しがあったことを知らせる。制御部１３は、スマートフォン１の使用者（例えば、外出中の親）から、ビデオ通話の応答操作を受付けると、室内親機２に呼び出しの応答を返す（ステップＳ１２）。

スマートフォン１の制御部１３および室内親機２の制御部４３は、ステップＳ１２の処理の後、ビデオ通話を開始する（ステップＳ１３）。ビデオ通話の開始によって、スマートフォン１のディスプレイ１６および室内親機２のディスプレイ４６には、例えば、図１０または図１１に示したような画面が表示される。

スマートフォン１の制御部１３および室内親機２の制御部４３のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する（ステップＳ１４）。

このように、ドアホンシステムは、室内親機２からスマートフォン１への呼び出しを契機に、ビデオ通話を開始してもよい。

図１４は、スマートフォン１の画像切り出し動作例を示したフローチャートである。スマートフォン１は、例えば、スマートフォン１の使用者から室内親機２の呼び出し操作を受付けた場合、または、室内親機２から呼び出しを受けた場合、図１４に示すフローチャートの処理を繰り返し実行する。

画像取り込み部３１は、インカメラ２０が撮影する画像データを画像処理部１５から取得する（ステップＳ２１）。

顔検出部３２は、ステップＳ２１にて取得された画像データに含まれる顔を検出し、検出した顔の基準点座標を検出する（ステップＳ２２）。

例えば、顔検出部３２は、ステップＳ２１にて取得された画像データ内の顔画像領域を検出し、検出した顔画像領域の中心座標を、顔の基準点座標として検出する。顔検出部３２は、顔画像領域の中心座標以外に、目、目の中間点、鼻、口、または耳を、顔の基準点座標として検出してもよい。

移動量算出部３３は、ステップＳ２２にて検出された顔の基準点座標から、画像データに含まれる顔画像領域の移動量を算出する（ステップＳ２３）。例えば、移動量算出部３３は、前回撮影された顔の基準点座標と、今回、ステップＳ２２にて検出された顔の基準点座標とから、画像データに含まれる顔画像領域の移動量を算出する。

なお、前回撮影された顔の基準点座標は、例えば、メモリ等の記憶装置に記憶されている。また、ステップＳ２２にて検出された顔の基準点座標と比較される基準点座標は、前回撮影された顔の基準点座標に限られない。例えば、前々回に撮影された顔の基準点座標であってもよい。

切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上であるか否かを判定する（ステップＳ２４）。

切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上である場合（ステップＳ２４の「Ｙｅｓ」）、顔の基準点座標が切り出し範囲の中心に来るよう、切り出し範囲を移動させる（ステップＳ２５）。

例えば、切り出し部３４は、顔の基準点座標が、室内親機２のディスプレイ４６の基準位置（例えば、ディスプレイ４６の中心またはディスプレイ４６の上から１／３の位置）に配置されるよう、切り出し範囲を移動させる。

一方、切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上でない場合（ステップＳ２４の「Ｎｏ」）、切り出し範囲を移動しない（ステップＳ２６）。

切り出し部３４は、ステップＳ２５またはステップＳ２６の処理の後、今回の顔の基準点座標をメモリに記憶する（ステップＳ２７）。そして、スマートフォン１は、当該フローチャートの処理を終了する。

なお、顔画像領域の移動が、所定量を超えない量で繰り返されると、顔画像領域が、切り出し範囲から外れる場合がある。このように、顔画像領域が切り出し範囲から外れた場合、切り出し部３４は、顔の基準点座標が中心に来るよう、切り出し範囲を移動する。

また、スマートフォン１は、ステップＳ２６の処理の後においては、ステップＳ２７の処理を実行しなくてもよい。例えば、スマートフォン１は、ステップＳ２５の処理の後にステップＳ２７の処理を実行し、ステップＳ２６の処理の後には、ステップＳ２７の処理を実行せず、当該フローチャートの処理を終了してもよい。

また、切り出し範囲の移動（ステップＳ２５）には、例えば、次の３のバリエーションがあってもよい。

１．線形または非線形の速度での連続的な移動かつ顔の移動速度より遅い速度の移動
例えば、切り出し部３４は、移動した顔の基準点座標が、切り出し範囲の中心にくるよう、切り出し範囲を、線形または非線形の速度で連続的（例えば、人の目で見て連続的となるように）に追従させてもよい。その際、切り出し部３４は、移動した顔の速度より遅い速度で切り出し範囲を追従させる。なお、顔の基準点座標の速度（顔の移動速度）は、例えば、次の式で求められる。

顔の基準点座標の移動量／｛（今回の画像データの取得時刻）－（前回の画像データの取得時刻）｝

２．段階的かつ顔の移動速度より遅い速度の移動
例えば、切り出し部３４は、切り出し範囲を連続的でなく、段階的（例えば、人の目で見て段階的となるように）に移動させてもよい。例えば、切り出し部３４は、１．による切り出し範囲の移動量より粗い移動量（大きい移動量）で切り出し範囲を移動させてもよい。

３．予め位置が設定された切り出し範囲の移動
図１５Ａ、図１５Ｂ、および図１５Ｃは、予め決められた切り出し範囲の位置を説明する図である。図１５Ａでは、切り出し範囲Ａ４１ａは、スマートフォン１のディスプレイの最上部に位置している。図１５Ｂでは、切り出し範囲Ａ４１ｂは、スマートフォン１のディスプレイの中央に位置している。図１５Ｃでは、切り出し範囲Ａ４１ｃは、スマートフォン１のディスプレイの最下部に位置している。

切り出し範囲の移動位置は、例えば、図１５Ａ、図１５Ｂ、および図１５Ｃに示す位置に限られていてもよい。切り出し部３４は、図１５Ａ、図１５Ｂ、および図１５Ｃに示すいずれかの位置に切り出し範囲を移動する。例えば、切り出し部３４は、顔の基準点座標に、最も中心が近い切り出し範囲を選択する。このように、切り出し範囲の移動位置を予め設定しておく（決めておく）ことにより、スマートフォン１は、処理負荷を低減できる。

なお、切り出し範囲の位置は、３つに限られない。例えば、切り出し範囲の位置は、スマートフォン１のディスプレイの最上部と最下部との２つであってもよい。また、切り出し範囲の位置は、４以上であってもよい。

また、切り出し範囲は、例えば、切り出し範囲Ａ４１ａ、切り出し範囲Ａ４１ｂ、切り出し範囲Ａ４１ｃのように連続的に移動してもよいし、切り出し範囲Ａ４１ａから切り出し範囲Ａ４１ｃのように間を空けて移動してもよい。

以上説明したように、玄関扉の近傍に配置される玄関子機３と通信を行う室内親機２とビデオ通話を行うスマートフォン１は、インカメラ２０と、インカメラ２０で撮影される画像に含まれる顔を検出する顔検出部３２と、画像に含まれる顔の移動量を算出する移動算出部３３と、顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部３４と、を備え、切り出し部３４は、顔の移動量が所定量以上の場合、画像の一部を切り出す切り出し範囲を、移動する顔に追従させる。

これにより、撮影する画像の動きは抑制され、室内親機のディスプレイにおいて画像を見やすくできる。また、スマートフォン１は、インカメラ２０が撮影する画像を切り出して室内親機２に送信するので、送信データ量が少なくて済む。また、スマートフォン１は、インカメラ２０が撮影する画像に含まれる顔を判定し、判定した顔を含むように画像を切り出すので、使用者は、インカメラ２０が撮影する画像の決まった箇所が切り出される場合よりも、顔の位置合わせが容易となる。言い換えれば、使用者は、ディスプレイ１６の決まった箇所に自分自身が映し出されるように、インカメラ２０の撮影方向を調整しなくても済む。

なお、切り出し部３４は、画像を正方形状に切り出すとしたが、これに限られない。例えば、切り出し部３４は、室内親機２のディスプレイ４６と同じアスペクト比の形状で画像を切り出してもよい。

また、正方形状の切り出し範囲の一辺の長さを、インカメラ２０が撮影する画像の短手方向の幅に一致させたが、これに限られない。例えば、正方形状の切り出し範囲の一辺の長さは、インカメラ２０が撮影する画像の短手方向の幅より短くてもよい。この場合、切り出し部３４は、切り出し範囲の中心に顔が来るよう、切り出し範囲を画像の短手方向にも動かしてもよい。

また、制御部１３は、画像取り込み部３１、顔検出部３２、移動量算出部３３、および切り出し部３４を有するとしたが、これに限られない。例えば、画像処理部１５が、前述の機能を有してもよい。

また、室内親機２は、カメラ５１を備えるとしたが、これに限られない。室内親機２は、カメラ５１を備えなくてもよい。この場合、スマートフォン１のディスプレイ１６には、例えば、建物Ａ１で留守番をしている子供の様子が表示されないが、スマートフォン１を使用する外出中の親の様子は、室内親機２のディスプレイ４６に表示される。これにより、建物Ａ１で留守番をしている子供は、外出中の親の顔を見ることができ、安心できる。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、または、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、ドアホンシステムとして有用である。

１ スマートフォン
２ 室内親機
３ 玄関子機
４ 無線ルータ
５ ネットワーク
１１，４１，４８ 通信部
１２，４２ 記憶部
１３，４３ 制御部
１４，４４ 音声処理部
１５，４５ 画像処理部
１６，４６ ディスプレイ
１７，４７ 操作部
１８，４９ マイクロフォン
１９，５０ スピーカ
２０ インカメラ
２１ アウトカメラ
３１ 画像取り込み部
３２ 顔検出部
３３ 移動量算出部
３４ 切り出し部
５１ カメラ
Ａ１ 建物
Ａ１１ａ，Ａ１１ｂ，Ａ１３ａ，Ａ１３ｂ 余白
Ａ１２，Ａ１４，Ａ１５ 切り出し範囲
Ａ３１ａ 親
Ａ３１ｂ 子供
Ａ３２ａ，Ａ３２ｂ，Ａ３３ａ，Ａ３３ｂ 画像

Claims (9)

1. ネットワークを介してビデオ通話を行う端末装置であって、
   カメラと、
   前記カメラで撮影される画像に含まれる顔を検出する検出部と、
   前記画像に含まれる前記顔の移動量を算出する算出部と、
   前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、
   を備え、
   前記切り出し部は、前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、予め決まっている位置に移動させ、移動する前記顔に追従させる、
   端末装置。
2. ネットワークを介してビデオ通話を行う端末装置であって、
   カメラと、
   前記カメラで撮影される画像に含まれる顔を検出する検出部と、
   前記画像に含まれる前記顔の移動量を算出する算出部と、
   前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、
   を備え、
   前記切り出し部は、前記顔の移動量が所定量以上の場合、前記画像の切り出し範囲を、段階的に移動して、移動する前記顔に追従させる、
   端末装置。
3. 前記切り出し画像を表示するディスプレイをさらに有する、
   請求項１または２に記載の端末装置。
4. 前記ネットワークを介して前記切り出し画像を他の端末装置に送信する通信部をさらに有する、
   請求項１または２に記載の端末装置。
5. ネットワークを介して行うビデオ通話に用いる画像切り出し方法であって、
   カメラが撮影する画像に含まれる顔を検出し、
   前記画像に含まれる前記顔の移動量を算出し、
   前記顔を含むように前記画像の一部を切り出して切り出し画像を生成し、
   前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、予め決まっている位置に移動させ、移動する前記顔に追従させる、
   画像切り出し方法。
6. ネットワークを介して行うビデオ通話に用いる画像切り出し方法であって、
   カメラが撮影する画像に含まれる顔を検出し、
   前記画像に含まれる前記顔の移動量を算出し、
   前記顔を含むように前記画像の一部を切り出して切り出し画像を生成し、
   前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、段階的に移動して、移動する前記顔に追従させる、
   画像切り出し方法。
7. 前記ネットワークを介して前記切り出し画像を送信する、
   請求項５または６に記載の画像切り出し方法。
8. ネットワークを介して行うビデオ通話に用いる画像切り出し方法の各処理を実行するプログラムであって、
   カメラが撮影する画像に含まれる顔を検出するステップと、
   前記画像に含まれる前記顔の移動量を算出するステップと、
   前記顔を含むように前記画像の一部を切り出して切り出し画像を生成するステップと、を含み、
   前記切り出し画像を生成するステップは、
   前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、予め決まっている位置に移動させ、移動する前記顔に追従させるステップと、を含む、
   画像切り出しプログラム。
9. ネットワークを介して行うビデオ通話に用いる画像切り出し方法の各処理を実行するプログラムであって、
   カメラが撮影する画像に含まれる顔を検出するステップと、
   前記画像に含まれる前記顔の移動量を算出するステップと、
   前記顔を含むように前記画像の一部を切り出して切り出し画像を生成するステップと、を含み、
   前記切り出し画像を生成するステップは、
   前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、段階的に移動して、移動する前記顔に追従させるステップと、を含む、
   画像切り出しプログラム。

Images