JP2014053671A - Ｔｖ電話におけるカメラを持つデバイスの認証システム - Google Patents

Abstract

【課題】カメラを持つ携帯通信端末を簡易に認証してTV電話の固定端末に紐付けることを可能にすること。
【解決手段】TV電話の利用者Aの顔画像を認証用画像として予めサーバ10に登録しておく。サーバ10は、利用者A側から認証モード開始命令を受信すると(S11)、を双方の固定端末のTV電話画面に枠線を表示させる(S12)。利用者Aは、固定端末20の画面枠線内に自分の顔画像が表示されるように位置する。利用者Bが固定端末20の画面枠線内画像を携帯電話30のカメラで撮影し(S13)、サーバ10に送信すると、サーバ10は、これを認証用画像と照合し(S14)、両者が一致すれば、その旨を携帯電話30に通知するとともに、携帯電話30を固定端末20に紐付ける。その後、携帯電話30から送信される動画などを固定端末20から送信されている動画に重畳させて配信する(S15)。
【選択図】図１

Description

本発明は、ＴＶ電話におけるカメラを持つデバイスの認証システムに関し、特に、ＴＶ電話での画像を利用して携帯電話などの、カメラを持つデバイスを簡易に認証し、ＴＶ電話の固定端末に紐付けることができる、ＴＶ電話におけるカメラを持つデバイスの認証システムに関する。

ＴＶ電話は、ＴＶ会議システムや遠隔在宅医療支援システムなどで利用されており、ＴＶ電話の固定端末に他のデバイスを適宜追加的に組み合わせることも提案されている。

特許文献１には、在宅医療サービスのモジュール端末が記載されている。このモジュール端末は、患者宅に設置され、在宅医療センターと電話連絡でき、パソコンとカメラとマイクロホンを持つ基礎モジュールを備える。この基礎モジュールには、医療機器や生化学センサの検査手段が接続される遠隔観察補間モジュール、診断機器や相談端末が接続される遠隔相談モジュール、スキャナ・ヘッドが接続される看護スタッフ補助モジュールを組み合わせることができる。

非特許文献１には、遠隔在宅医療支援システムが記載されている。このシステムは、パソコンやセットトップボックス(STB)などの固定端末を用いてＴＶ電話を行って遠隔地での対面診療を補完するものであり、ＴＶ電話の固定カメラの他に、患部などの映像を撮影するときに使用するビデオカメラを持つ。

特許文献２には、携帯電話やＰＨＳ、ＰＤＡなどの携帯通信端末を利用してＴＶ電話機能を実現するＴＶ電話システムが記載されている。このシステムでは、携帯通信端末と無線通信基地局との間で送受信されている動画を、自営基地局を介して受信し、モニター装置に出力することができるようにして、携帯通信端末が持つカメラを利用して、高画質のＴＶ電話通信を可能としている。

特許文献３には、ユーザがコミュニケーションに利用する端末とは別の周辺機器にコンテンツを表示させる際、周辺機器から送信される受信端末の電話番号や周辺機器の機器情報により周辺機器の認証を行うことが記載されている。

特表２００４−５０８９１４号公報 再表２００５−７６６１５号公報 特開２０１１−２２３５０６号公報

http://niimi-ma.no.jp.com/〜ishikai/enkaku/d_01.html新見医師会遠隔在宅医療支援システム

特許文献１や非特許文献１記載のシステムは、ＴＶ電話を利用して対面診断を行うことができるので、遠隔地で通院が難しい患者や寝たきり患者などの診断には有用である。また、遠隔在宅医療支援システムでは、寝たきり患者の褥瘡などの患部を撮影するために、ＴＶ電話の固定端末のカメラだけでなく、可搬型カメラを備えることも有用であり、特許文献１や非特許文献１記載のシステムでは、パソコンに接続されるビデオカメラを備えるので、患者の家族や看護士は、寝たきり患者の褥瘡などを撮影することができる。

しかしながら、特許文献１には、遠隔観察補間モジュールや遠隔相談モジュールや看護スタッフ補助モジュールを組み合わせる際の認証について、自動認証を行う旨が記載されているだけで、その認証の具体的手法については記載されていない。

また、非特許文献１記載のシステムにおけるビデオカメラは、遠隔医療支援の携帯用端末の一部として予め組み込まれているものであり、その認証を必要とするシステムではない。また、特許文献２記載のＴＶシステムは、携帯通信端末をＴＶ電話の端末として利用するにすぎず、携帯通信端末は、ＴＶ電話の固定端末に紐付けられて利用されるものではない。

さらに、特許文献３記載の発明は、電話を契機としてBluetooth(登録商標)やWiFiなどの近接無線通信規格を用いて認証するものであり、このような認証では、近接無線通信を用いるための、Bluetooth(登録商標)のペアリング処理やWiFiの認証設定といった初期設定を必要とする。これには、特に利用者のリテラシーが低い場合、大きな困難を伴うという課題がある。

一方、一般的に家庭に存在する携帯電話などの、カメラやマイク等を持つ携帯通信端末は、持ち運びが容易であるため、固定端末の機能を補うことができ、ＴＶ電話の機能を補うデバイスとして有用なものであり、それを、ＴＶ電話の固定端末に簡易な手法で認証して紐付け利用できるようにすることが望まれる。

本発明の目的は、カメラを持つ携帯通信端末を簡易に認証してＴＶ電話の固定端末に紐付けることができる、ＴＶ電話におけるカメラを持つデバイスの認証システムを提供することにある。

上記課題を解決するため、本発明は、カメラを持つ携帯端末を認証し、ＴＶ電話に使用される固定カメラを持つ固定端末に紐付ける、ＴＶ電話におけるカメラを持つデバイスの認証システムであって、前記携帯端末が持つカメラにより撮影された認証画像を受信する認証画像受信手段と、前記認証画像受信手段により受信された認証画像が、ＴＶ電話中に前記固定端末の表示画面に表示されたものであって、予め登録された画像と一致するかどうかを照合する照合手段を備え、前記照合部により認証画像が予め登録された画像と一致すると判定された場合に前記携帯端末を前記個体端末に紐付ける点に第１の特徴がある。

また、本発明は、前記予め登録された画像が、ＴＶ電話の通話中にリアルタイムに受信される動画中の画像を自動的にキャプチャすることにより得られたものである点に第２の特徴がある。

また、本発明は、前記予め登録された画像が、システムの使用開始直前に、システムのロック解除の際に撮影された画像であって、システムの使用開始のたびに新しく書き換えられる点に第３の特徴がある。

また、本発明は、前記照合手段が、前記固定端末とＴＶ電話を行う相手側固定端末からの通知に基づいて生成したマーカに囲まれた領域の画像について照合する点に第４の特徴がある。

また、本発明は、前記予め登録された画像が、前記相手側固定端末の利用者の顔画像である点に第５の特徴がある。

また、本発明は、前記携帯端末が、携帯電話であり、前記認証画像受信手段は、メールにより認証画像を受信する点に第６の特徴がある。

また、本発明は、前記携帯端末が、携帯電話であり、前記認証画像受信手段は、インターネットを介して認証画像を受信する点に第７の特徴がある。

また、本発明は、さらに、ＴＶ電話で前記固定端末の表示画面に表示されている動画に、該固定端末に紐付けられた携帯端末のカメラで撮影された動画を重畳させる重畳手段を備える点に第８の特徴がある。

さらに、本発明は、前記固定端末および前記携帯端末から送信される患者側の動画を受信し、それらの動画を重畳して医師側の前記相手側固定端末に配信するようにして遠隔診察に適用される点に第９の特徴がある。

本発明の第１ないし第９の特徴によれば、ＴＶ電話での動画を利用して携帯端末を簡易な手法で認証し、ＴＶ電話が備える固定端末に紐付けることができる。これにより、ＴＶ電話による動画や音声では不足する情報を、ＴＶ電話に関連する情報として携帯端末から受けることができる。

また、本発明の第２の特徴によれば、デバイス認証用の画像を自動的に登録でき、また、第３の特徴によれば、システムの他の機能を利用してデバイス認証用の画像を登録できる。

また、第４の特徴によれば、デバイス認証用の画像領域を適切に定めることができる。

また、本発明の第８および第９の特徴によれば、携帯端末のカメラで撮影した動画をＴＶ電話での動画に重畳させて配信でき、ＴＶ電話による動画や音声では不足する情報を、ＴＶ電話に関連する情報として携帯端末から受けることができる。

本発明のシステムを原理的に示す図である。 本発明のシステムにおける動作の一例を示すフローチャートである。 図１におけるサーバの具体的構成の一例を示す機能ブロック図である。

以下、図面を参照して本発明を説明する。本発明は、一般的には、ＴＶ電話の固定端末に、カメラを持つデバイスを紐付けて利用できるようにする際の認証に有用なものであるが、以下では、本発明を遠隔診察に適用した場合の実施形態について説明する。

本実施形態では、ＴＶ電話の利用者の一方は、医師であり、利用者の他方は、患者と患者の家族である。以下では、患者と患者の家族を含めて単に患者と称する。医師は、カメラを持つ固定端末を所持し、患者は、カメラを備える固定端末とカメラを持つ携帯電話を所持する。医師側の固定端末と患者側の固定端末間で行うＴＶ電話により、医師は、患者側固定端末から送信される動画および音声を基に診察を行うことができ、患者は、医師側固定端末から送信される動画および音声により診察を受けることができる。これは、ＴＶ電話の通常の機能である。

本発明では、それに加えて、以下に説明するように、カメラを持つ携帯電話を認証して患者側固定端末に紐付けして利用できるようにする。

図１は、本発明のシステムを原理的に示す図である。まず、医師Aは、自分の顔写真データを認証用画像としてサーバ10に予め登録しておく。認証用画像の登録は、いかなる手法によってもよい。

ここで、医師A側あるいは患者B側からＴＶ電話が開始されると、通常のＴＶ電話シーケンスが開始され、医師Aと患者B間でＴＶ電話の動画と音声による通話が可能となる。ＴＶ電話が終了すれば、ＴＶ電話シーケンスは終了するが、ＴＶ電話の通話中に、医師側固定端末の認証モードボタンが押下されと、認証モード開始命令がサーバに送信される(S11)。

サーバ10は、認証モード開始命令を受信すると、枠線などのマーカ(以下では枠線と称する)を生成して医師側および患者側固定端末20のＴＶ電話画面に枠線を表示させる(S12)。この枠線表示は、医師Aにとっては、患者側固定端末20のＴＶ電話画面の枠線内に自分の顔が表示されるように自己位置を定める目安となるものであり、患者Bにとっては、携帯電話30のカメラで撮影するＴＶ画面内領域の目安となるものである。なお、医師側固定端末には枠線を表示しなくてもよい。枠線は、医師側固定端末が持つ固定カメラで医師Aの顔が撮影されたとき、医師Aの顔画像全体が、患者側固定端末20のＴＶ電話画面の枠線内に入るようなサイズに設定する。枠線のサイズは、サーバ10が保持している解像度情報を基に設定できる。

患者Bは、患者側固定端末20のＴＶ電話画面枠線内の画像、すなわち、医師側固定端末から送信された医師の顔画像を携帯電話30のカメラで撮影し(S13)、その画像を認証画像としてサーバ10に送信する(S14)。認証画像の送信は、メールはインターネットを介した通信などにより行うことができる。また、認証画像の送信は、専用アプリを用いて行うことができる。

サーバ10は、携帯電話から認証画像を受信すると、予め登録されている認証用画像(医師Aの顔写真データ)と照合し、両者が一致すれば、認証された旨を携帯電話30に通知する(S14)とともに、携帯電話30を患者側固定端末20に紐付ける。その後、認証された携帯電話30からメールやインターネットを介した通信などで動画が送信されると、サーバ10は、その動画を患者側固定端末20から送信されている動画に重畳させて医師側固定端末に配信する(S15)。医師Aは、患者側固定端末20と携帯電話30から送信されてくる動画や音声を基に診察することができ、また、ＴＶ電話を通して携帯電話30のカメラで撮影すべき部位を指示することができる。

遠隔診察への適用の場合、予め登録する認証用画像は、医師Aの顔画像が好ましいので、上記では医師Aの顔写真データを登録するものとしたが、他の画像であってもよい。

図２は、本発明のシステムの、特にサーバにおける動作の一例を示すフローチャートである。ここでは、医師の顔写真データが認証用画像としてサーバに予め登録されているものとする。

まず、医師側あるいは患者側からＴＶ電話が開始されると、通常のＴＶ電話シーケンスを開始し(S21)、医師と患者間のＴＶ電話の動画と音声による通話が可能となる。ＴＶ電話の通話中、医師側固定端末の認証モードボタンが押下されたかどうかを判定しており(S22)、認証モードボタンが押下されなければ、ＴＶ電話が終了されたかどうかを判定する(S23)。ＴＶ電話が終了するまでS22に戻って処理を繰り返し、ＴＶ電話が終了すれば、ＴＶ電話シーケンスを終了する(S24)。以上は、ＴＶ電話の通常の動作である。

ＴＶ電話の通話中に、医師側固定端末の認証モードボタンが押下されると、それがS22で判定される。この判定に従って枠線を生成し(S25)、医師側および患者側固定端末のＴＶ電話画面に枠線を表示する(S26)。

次に、患者側固定端末のＴＶ電話画面枠線内の顔画像が取得されたかどうかを判定し(S27)、顔画像が取得されるまで待つ。ここで、顔画像が取得されれば、その顔画像が予め登録されている認証用画像(医師の顔写真データ)と一致するか否かを照合する(S28)。顔画像の照合には周知の技術を利用でき、その手法は限定されない。

次に、照合結果が一致かどうかを判定する(S29)。ここで、送付された認証画像が予め登録されている認証用画像と一致しなければ、顔画像の再取得の指示(S30)を枠線とともに患者側固定端末のＴＶ電話画面に表示し(S26)、S27以下の動作を繰り返す。しかし、送付された認証画像が予め登録されている認証用画像と一致すれば、認証された旨を携帯電話に通知するとともに、携帯電話を患者側固定端末に紐付ける(S31)。

この紐付けにより、認証された携帯電話からその後に送信されてくる動画を患者側固定端末から送信されている動画に重畳させ、重畳動画を医師側固定端末に配信(S32)することが可能になる。その後、ＴＶ電話が終了(S23)すれば、ＴＶ電話シーケンスを終了する(S24)。

以上のように、本実施形態によれば、ＴＶ電話での画像を利用して携帯電話を簡易な手法で認証し、ＴＶ電話が備える固定端末に紐付けることができるので、ＴＶ電話での医師の指示に従って患者の褥瘡など、種々の患部を携帯電話のカメラで撮影し、患者側固定端末から送信されている動画に重畳させて医師側に配信でき、医師は、患者側から送信されてくる動画を基に適切に診察できるようになる。

図３は、図１におけるサーバ10の具体的構成の一例を示す機能ブロック図である。本構成のサーバは、動画受信部(1)31、動画受信部(2)32、動画受信部(3)33、動画送信部(1)34、動画送信部(2)35、フレーム画像保持部36、枠線生成部37、アドレス等対応部38、認証画像受信部39、照合・認証部40、画像切り出し部41、認証情報送信部42、および動画重畳部43を備える。

デバイス認証の機能を利用する前に、動画受信部(1)31は、医師の顔写真データを受信し、フレーム画像保持部36は、それを保持する。

通常のＴＶ電話では、医師側固定端末から送信された動画は、動画受信部(1)31で受信され、動画送信部(2)35を通して患者側固定端末に送信される。また、患者側固定端末から送信された動画は、動画受信部(2)32で受信され、動画送信部(1)34を通して医師側固定端末に送信される。

医師側固定端末での認証モードボタン押下に従って、枠線生成部37は枠線を生成し、医師側および患者側固定端末の表示画面に枠線を表示させる。アドレス等対応部38は、解像度情報などを用いて枠サイズや表示位置を設定する。医師側固定端末やサーバで枠サイズや表示位置を可変設定できるようにしておいてもよい。

認証画像受信部39は、患者側の携帯電話からメールやインターネットを介した通信などにより送信された認証画像を受信する。医師が医師側固定端末に対して自分の顔を適切に位置させ、携帯電話が患者側固定端末の表示画面枠内を撮影すれば、携帯電話からは医師の顔画像が認証画像として送信される。

照合・認証部40は、携帯電話から送信された認証画像と認証用画像(医師の顔画像)を照合し、認証を行う。認証用画像は、フレーム画像保持部36が保持しているフレーム画像における顔画像部分を、画像切り出し部41で切り出すことにより得ることができる。ここで、両者の画像が一致すれば、携帯電話を患者側固定端末に紐付けるとともに、認証情報送信部42が、認証された旨の認証情報を患者側の携帯電話に送信する。

その後、携帯電話から送信される動画は、動画受信部33で受信され、動画重畳部43で動画受信部(1)31が受信するＴＶ電話の動画に重畳され、動画送信部(1)34を通して医師側固定端末に送信される。

上記実施形態では、認証用に登録する画像を、ＴＶ電話の通話に先立って登録するようにしているが、ＴＶ電話の通話中に医師側からリアルタイムに配信される動画中の画像を自動的にキャプチャして登録するようにしてもよい。なお、この場合には、フレーム保持部36(図３)で一定期間のフレーム画像を保持し、認証画像受信部39で受信される認証画像がそれらのフレーム画像の何れかに一致するかどうかの照合を行う。これは、医師側から配信された動画中の画像のうち、どの画像が患者側で撮影されて送信されてくるか分からないからである。

また、顔認証で使用が許可されるシステムの場合には、認証用に登録する画像を、システムの使用開始直前に、システムロック解除の際に撮影された画像とし、システムの使用開始のたびに新しく書き換えるようにしてもよい。その場合の手順を以下の(1)〜(16)に示す。ここで、(1)〜(15)が認証の手順である。
(1)医師が医師側固定端末のＴＶ電話用アプリケーションを立ち上げる。
(2)医師側固定端末の固定カメラが立ち上がり、ＴＶ電話システムのロックを顔認証で解除するためのロック解除用画面が立ち上がる。
(3)医師は医師側固定端末の固定カメラで自分の顔を撮影し、サーバへアップロードする。
(4)サーバは、今回の顔画像を前回の顔画像と照合し、一致すればシステムのロックを解除する。なお、ここでは、顔の経時的変化を見込んで一致を判断する。
(5)(4)での照合が一致すれば前回の顔画像を今回の顔画像に置き換える。これにより、システムロック解除用およびデバイス認証用に登録されている顔画像が前回の顔画像から今回の顔画像に置き換えられる。
(6)医師は、ＴＶ電話を使用し、患者へ電話する。
(7)患者は、ＴＶ電話を受ける。
(8)ＴＶ電話中に、医師が携帯電話による動画の送信を要求する。あるいは患者が携帯電話による動画を送信したい旨を話す。
(9)医師は、医師側固定端末の認証開始ボタンを押下する。
(10)医師側固定端末と患者側固定端末の両者のＴＶ電話表示画面に枠線(マーカ)が表示される。
(11)医師は、医師側固定端末のＴＶ電話表示画面の枠線を目安として、患者側固定端末のＴＶ電話表示画面の枠線内に自分の顔画像が表示されるように自己位置を定める。これにより医師側固定端末の固定カメラで医師の顔が撮影され、患者側固定端末のＴＶ電話表示画面の枠線内に表示される。
(12)患者は、患者側固定端末のＴＶ電話表示画面の枠線内に表示された医師の顔を携帯電話のカメラで撮影する。
(13)携帯電話からメールやインターネットを介した通信などにより顔画像がサーバへアップロードされる。
(14)サーバは、(12)でアップロードされた顔画像と(4)で置き換えられた顔画像を照合し、認証を行う。
(15)サーバは、認証に成功すると、携帯電話を患者側固定端末に紐付けるとともに、携帯電話へ認証された旨を通知する。
(16)サーバは、携帯電話から動画を受信すると、その動画を患者側固定端末から送信されている動画に重畳して医師側固定端末に配信する。

以上、実施形態について説明したが、本発明は、上記実施形態に限られるのものではない。例えば、医師側端末からの指示により携帯電話からの動画を拡大縮小させたり、回転させたりする機能をサーバに持たせてもよい。

また、以上では、本発明を遠隔診察に適用した場合の実施形態について説明したが、本発明は、一般的には、ＴＶ電話が備える固定端末に、カメラを持つ携帯端末を紐付けて利用できるようにする際の認証に有用なものであり、それにより、ＴＶ電話による動画や音声では不足する情報を携帯端末から受けることができる。また、携帯端末から送信する情報は、動画に限らず、携帯端末で取得あるいは蓄積された他の情報、携帯端末で入力された文字情報などでもよく、それらの情報を固定端末から送信されている動画に重畳して相手側固定端末に配信できる。

本発明は、一般的には、ＴＶ電話の利用者の一方(例えば、医師)が固定端末を持ち、他方(例えば、患者)が固定端末とカメラを持つ携帯端末を持ち、他方が持つ固定端末に携帯端末を紐付けて利用できるようにする際の認証に有用なものであり、それにより、ＴＶ電話による動画や音声では不足する情報を携帯端末から受けることができる。

10・・・サーバ、20・・・固定端末、30・・・携帯端末(携帯電話)、31,32,33・・・動画受信部、34,35・・・動画送信部、36・・・フレーム画像保持部、37・・・枠線生成部、38・・・アドレス等対応部、39・・・証画像受信部、40・・・照合・認証部、41・・・画像切り出し部、42・・・認証情報送信部、43・・・動画重畳部

Claims (9)

1. カメラを持つ携帯端末を認証し、ＴＶ電話に使用される固定カメラを持つ固定端末に紐付ける、ＴＶ電話におけるカメラを持つデバイスの認証システムであって、
   前記携帯端末が持つカメラにより撮影された認証画像を受信する認証画像受信手段と、
   前記認証画像受信手段により受信された認証画像が、ＴＶ電話中に前記固定端末の表示画面に表示されたものであって、予め登録された画像と一致するかどうかを照合する照合手段を備え、
   前記照合部により認証画像が予め登録された画像と一致すると判定された場合に前記携帯端末を前記固定端末に紐付けることを特徴とする、ＴＶ電話におけるカメラを持つデバイスの認証システム。
2. 前記予め登録された画像は、ＴＶ電話の通話中にリアルタイムに受信される動画中の画像を自動的にキャプチャすることにより得られたものであること特徴とする請求項１に記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
3. 前記予め登録された画像は、システムの使用開始直前に、システムのロック解除の際に撮影された画像であって、システムの使用開始のたびに新しく書き換えられること特徴とする請求項１に記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
4. 前記照合手段は、前記固定端末とＴＶ電話を行う相手側固定端末からの通知に基づいて生成したマーカに囲まれた領域の画像について照合すること特徴とする請求項１ないし３のいずれか１つに記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
5. 前記予め登録された画像は、前記相手側固定端末の利用者の顔画像であることを特徴とする請求項１ないし４のいずれか１つに記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
6. 前記携帯端末は、携帯電話であり、前記認証画像受信手段は、メールにより認証画像を受信することを特徴とする請求項１ないし５のいずれか１つに記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
7. 前記携帯端末は、携帯電話であり、前記認証画像受信手段は、インターネットを介して認証画像を受信することを特徴とする請求項１ないし５のいずれかに記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
8. さらに、ＴＶ電話で前記固定端末の表示画面に表示されている動画に、該固定端末に紐付けられた携帯端末のカメラで撮影された動画を重畳させる重畳手段を備えることを特徴とする請求項１ないし７のいずれか１つに記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。
9. 前記固定端末および前記携帯端末から送信される患者側の動画を受信し、それらの動画を重畳して医師側の前記相手側固定端末に配信するようにして遠隔診察に適用されることを特徴とする請求項８に記載の、ＴＶ電話におけるカメラを持つデバイスの認証システム。