JP2023177293A - 動画像の送受信システム、送信端末、プログラム及び方法 - Google Patents

Abstract

【課題】送信端末が高品質のまま送信する動画像の範囲を主に受信端側で任意に選択できるようにする。【解決手段】通信回線を介して接続された送信端末１０と受信端末２０を含む動画像送信システムにおいて、送信端末１０は、撮像部で取得した動画像を受信端末２０へ送信する。受信端末２０は、送信端末１０から受信した動画像の中から特定の着目領域を指定し、この着目領域に関する情報を送信端末１０に送信する。送信端末１０は、受信端末２０から着目領域に関する情報を受信すると、この着目領域に関する情報に基づいて、撮像部が取得した原動画像から着目領域内の動画像を切り出す処理か、又は、原動画像から着目領域外の動画像の品質を低下させる処理を行った修正動画像を作成して受信端末２０に送信する。【選択図】図２

Description

本発明は、通信回線を介して動画像を送信端末から受信端末へ送信するためのシステム、送信端末自体、送信端末用のプログラム、及び動画像の送信方法に関する。

近年、現場作業の複雑化、就労人口の減少、熟練工が持つ技術の承継などの様々な問題に対応するために、現場作業のＤＸ（デジタルトランスフォーメーション）化が喫緊の課題となっている。これらの問題の解決策の一つとして、現場の作業員が装着しているウェアラブルデバイスと支援者が操作するコンピュータをインターネット等を経由して接続し、音声情報や視覚情報を共有する遠隔支援システムが提案されている（特許文献１）。

このような遠隔支援システムでは、ウェアラブルデバイス（送信端末）がカメラによって作業者の周囲を写した動画像を取得して、支援者の操作するコンピュータ（受信端末）へと送信する。近年、小型なカメラでも高解像度かつ高フレームレートの動画像を取得できるようになっているが、送信端末と受信端末とを接続している通信回線の帯域幅には一定の制限があることから、送信端末のカメラで取得した動画像をそのまま受信端末へと送信することができない場合がある。この場合、送信端末は、通信回線の帯域幅に合わせて動画像の品質を最適化した後に、受信端末へと送信することが一般的である。

ここで、特許文献２には、主に監視カメラによる動画像の伝送に関して、動画像のデータ量やビットレートを削減するための技術が開示されている。具体的には、特許文献２に記載の発明は、ユーザの指定により動画像におけるフレーム内に特定領域を設定するとともに、この特定領域を第１のフレームレートで伝送し、その他の非特定領域を第２のフレームレートで伝送することとしている。これにより、特定領域の解像度を保ちながら効率よく動画像のデータ量やビットレートを削減できるとされている。

特許第７０２３０２２号公報 特開２０２１－１３１４５号公報

ところで、特許文献２に記載の発明は、動画像を撮影する監視カメラ自体に、ユーザから特定領域の指定を受け付ける設定部が設けられている。このため、特許文献２の発明によれば、監視カメラにて特定領域を設定して、その特定領域を高フレームレートで電子機器内外へ伝送することは可能であるが、例えばインターネットを介して監視カメラで撮影した動画像を遠隔の他のコンピュータ等に送信することまでは特許文献２では想定されていない。

一方で、前述した作業員と支援者との間で情報共有を行う遠隔支援システムを考えると、特許文献２の技術を参考にして、ウェアラブルデバイス（送信端末）側で特定領域を高フレームレートに設定し、その他の非特定領域を低フレームレートに設定することも可能である。しかし、この場合、送信端末側で高フレームレートに設定した領域が、遠隔地にいる支援者が着目したい領域と一致するとは限らない。すなわち、作業員はウェアラブルデバイスを装着してその周囲の環境を撮影しているが、支援者は作業者から送信されてくる動画像の中の一部の領域を高品質（高解像度及び／又は高フレームレート）で観察したいという場合がある。また、支援者には、送信端末と受信端末とを繋ぐ通信回線の帯域幅が許す範囲で、動画像の中の一部の領域を可能な限り高品質で観察したいという要望もある。このように、送信端末から送信されている動画像のうち、可能な限り高品質で送信される領域を、支援者が操作する受信端末側で任意に選択できるようになると便利である。

そこで、本発明は、送信端末と受信端末を含む動画像送信システムにおいて、送信端末が高品質のまま送信する動画像の範囲を、主に受信端末によって任意に選択できるようにすることを主な目的とする。

本発明の第１の側面は、動画像送信システムに関する。本発明に係る動画像送信システムは、通信回線を介して接続された送信端末と受信端末を含む。送信端末と受信端末は、無線ＬＡＮ等で直接接続されていてもよいし、あるいはＷｅｂ会議等のビデオ会話ツールを提供する外部のクラウドサーバを中継してインターネット等を介して接続されていてもよい。送信端末は、動画像を取得する撮像部と、この動画像を受信端末へ送信する送信部を有する。このときに送信される動画像は、通信回線の帯域幅に合わせて低品質化されたものであってもよい。送信端末と受信端末の両方又はいずれか一方はこの動画像の中から特定の着目領域を指定する着目領域指定部を有する。特に、受信端末は、送信端末から動画像を受信する受信部と、動画像の中から特定の着目領域を指定する着目領域指定部と、着目領域に関する情報を送信端末に送信する送信部を有することが好ましい。この場合、送信端末は、受信端末から着目領域に関する情報を受信する受信部を有することとすればよい。着目領域の指定は、例えば動画像の中から矩形や円形等の任意形状の領域を指定することとしてもよいし、動画像に含まれる特定のオブジェクトを指定することとしてもよい。送信端末は、さらに、この着目領域に関する情報に基づいて動画像を修正する画像処理部を有する。具体的に、この画像処理部は、着目領域に関する情報に基づいて、撮像部が取得した原動画像から着目領域内の動画像を切り出す処理か、又は、原動画像から着目領域外の動画像の品質を低下させる処理を行う。撮像部が取得した原動画像に対してこれらいずれかの処理を行うことにより得られた画像を、本願明細書では「修正動画像」という。また、本願明細書において、動画像の「品質」とは、動画像の解像度とフレームレートの両方を含む概念である。つまり、動画像の品質を低下させる処理には、動画像の解像度を下げる処理とフレームレートを下げる処理の両方又はいずれか一方が含まれる。送信端末は、このようにして得られた修正動画像を送信部を介して受信端末に送信する。

上記構成のように、送信端末から送信されてくる動画像の中から主に受信端末が特定の着目領域を指定できるようにすることで、例えば現場の作業員を遠隔で支援する支援者が、作業員の周囲の環境のうちの着目したい領域を自由に指定できるようになる。また、本発明は、送信端末から送信されてきた動画像を受信端末にて画像処理するのではなく、受信端末側で指定した着目領域に応じた画像処理を送信端末にて行うことが好ましい。これにより、送信端末から受信端末へ送信される動画像は着目領域以外の領域が削除されているか、低品質化されることによってデータ量が削減されたものとなるため、限られた通信帯域であっても効率的に動画像データを送信することが可能となる。

本発明に係るシステムにおいて、送信端末及び受信端末の両方又はいずれか一方は、通信回線の帯域幅を測定する帯域測定部をさらに有することが好ましい。なお、「帯域幅」とは、単位時間あたりに送信又は受信可能なデータの最大量であり、通信容量ともいう。この場合、送信端末の画像処理部は、通信回線の帯域幅に応じて修正画像を作成する。具体的には、原動画像から着目領域内の動画像を切り出す処理を行う場合、通信回線の帯域幅に応じて、動画像を切り出す範囲を調整したり、ここで切出した動画像の品質を調整すればよい。また、原動画像から着目領域外の動画像の品質を低下させる処理を行う場合、通信回線の帯域幅に応じて、品質を下げる程度を調整すればよい。これにより、通信回線の帯域幅をリアルタイムに測定しながら、その帯域幅を最大限活かして着目領域内の動画像を受信端末へと送信することができる。

本発明に係るシステムにおいて、受信端末は、支援部をさらに有することが好ましい。この支援部は、通信回線の帯域幅に応じて着目領域の指定を支援するユーザインターフェース（ＵＩ）を提供する。例えば、着目領域内の動画像を切り出す場合、支援部は、通信回線の帯域幅に応じて、原動画像の品質のまま送信可能な最大面積を枠で囲って表示し、その枠の中から着目領域として切り出す部分をユーザに選択させればよい。また、着目領域外の動画像の品質を下げる場合、支援部は、例えば、通信回線の帯域幅に応じて、原動画像の品質のまま送信可能な最大面積を枠で囲って表示し、その枠の中から着目領域として特定する部分を受信端末の操作者に選択させればよい。このように通信回線の帯域幅に応じて原動画像の品質のまま送信できる最大面積が変化する場合、その最大面積を上記のようなＵＩによって受信端末の操作者に提示することで、操作者が着目領域を指定しやすくなる。

本発明の第２の側面は、送信端末用のプログラムに関する。本発明に係るプログラムは、撮像部（カメラ）を備える携帯情報端末（ＰＤＡ）を、上記第１の側面に係るシステムにおける送信端末として機能させる。このようなプログラムは、インターネットを通じて携帯情報端末にダウンロード可能なものであってもよいし、携帯情報端末にプリインストールされていてもよいし、ＣＤ－ＲＯＭ等の携帯情報端末が読取り可能な記録媒体に格納されていてもよい。

本発明の第３の側面は、動画像の送信端末に関する。本発明に係る送信端末は、通信回線を介して受信端末と接続されている。送信端末は、撮像部、送信部、受信部、及び画像処理部を有する。撮像部は、動画像を取得する。送信部は、動画像を受信装置に送信する。受信部は、動画像の中から指定された特定の着目領域に関する情報を受信端末から受信する。または、この受信部の代わりに、送信端末は、動画像の中から特定の着目領域を指定する着目領域指定部を有することとしてもよい。画像処理部は、着目領域に関する情報に基づいて、撮像部が取得した原動画像から着目領域内の動画像を切り出す処理か、又は、原動画像から着目領域外の動画像の品質を低下させる処理を行った修正動画像を作成する。送信部は、さらに、修正動画像を受信端末に送信する。

本発明の第４の側面は、送信端末から受信端末へ通信回線を介して動画像を送信する方法に関する。本発明に係る方法では、まず、送信端末が、動画像を取得し、この動画像を受信端末へ送信する（第１工程）。次に、送信端末又は受信端末が、動画像の中から特定の着目領域を指定する（第２工程）。次に、送信端末が、着目領域に関する情報に基づいて、撮像部が取得した原動画像から着目領域内の動画像を切り出す処理か、又は、原動画像から着目領域外の動画像の品質を低下させる処理を行った修正動画像を作成し、この修正動画像を受信端末に送信する（第３工程）。

本発明によれば、送信端末が高品質のまま送信する動画像の範囲を主に受信端末側で任意に選択できるようになる。

図１は、本発明の一実施形態に係るシステムの全体図を示している。 図２は、本発明の一実施形態に係るシステムの情報処理の概要を示している。 図３は、送信端末の一例として、首掛け型のウェアラブルデバイスを示している。 図４は、本発明の一実施形態に係るシステムの機能構成を示したブロック図である。 図５は、受信端末が提供する支援用ユーザインターフェースの一例を示している。 図６は、本発明の一実施形態に係るシステムにて実行される処理のフローチャートを示している。 図７は、着目領域の指定方法の別例を示している。

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

図１は、本発明の一実施形態に係るシステム１００の全体構成を模式的に示している。本実施形態に係るシステム１００は、現場での作業を行う作業者を支援者がインターネットを介して遠隔で支援するといった用途で好適に用いられる。本システム１００において、作業者は、送信端末１０にて動画像を撮影し、この動画像をインターネット経由で支援者が操作する受信端末２０に送信する。また、遠隔地の支援者は、受信端末２０を通じて、作業者の送信端末１０から送られてきた動画像を閲覧したり、この送信端末１０と音声のやり取りをすることもできる。また、本システム１００には、送信端末１０及び受信端末２０に対してビデオ会話ツールを提供する外部のクラウドサーバ３０が含まれていてもよい。この場合、このクラウドサーバ３０を経由して、送信端末１０から受信端末２０へと動画像が送信されることとなる。

図２は、本発明に係るシステム１００の概要を示している。図２に示されるように、送信端末１０と受信端末２０はインターネット等の通信回線により接続されているが、この通信回線の帯域幅には一定の制限がある。このため、送信端末１０が高品質（高解像度かつ高フレームレート）の原動画像を取得しても、この原動画像の単位時間あたりのデータ量が通信回線の帯域幅を上回っている場合、その原動画像をその取得時の品質のまま受信端末２０へと送信することができない。このため、送信端末１０は、通信回線の帯域幅に応じて、原動画像全体の品質を低下させてから受信端末２０へと送信する。例えば、原動画像の低品質化させる処理としては、動画の画面解像度（画質）を低下させたり、動画のフレームレートを低下させたりすることが挙げられる。受信端末２０は、送信端末１０より低品質化された動画像を受信して、この動画像をリアルタイムに表示部に表示する。

ここで、受信端末２０を操作する支援者にとって、送信端末１０から受信した動画像のうちの一部をより高品質で閲覧したいという場合がある。例えば、送信端末１０が現場の作業者の正面側の比較的広い範囲の動画像を取得して受信端末２０へ送信しているときに、支援者がその動画像に写っている小さい文字を判別したり、作業者の操作している機器を詳細に確認したいという場合がある。この場合に、支援者は、受信端末２０を操作して、動画像の中の着目領域を指定する。例えば、図２に示されるように、画面上に表示されている動画像の中の一部の矩形領域を着目領域として指定することができる。受信端末２０にて指定された着目領域に関する情報は、インターネットを介して送信端末１０へと送信される。

送信端末１０は、受信端末２０から着目領域に関する情報を受信すると、この情報に基づいて原動画像の画像処理を行う。具体的には、送信端末１０は、原動画像から受信端末２０により着目領域として指定された範囲のみを切り出し、その切り出した部分の品質は原動画像のまま維持すると同時に、着目領域として指定された範囲外の動画像のデータを削除する。あるいは、送信端末１０は、原動画像から受信端末２０により着目領域として指定された範囲については、その品質を原動画像のまま維持すると同時に、着目領域として指定された範囲外の動画像の品質を低下させる。このようにして、送信端末１０は着目領域として指定された部分については原動画像の品質を維持しつつ、それ以外の部分については動画像のデータを削除するか品質を低下させた修正動画像を作成し、この修正動画像の単位時間あたりのデータ量を通信回線の帯域幅以内として、受信端末２０へと送信する。これにより、受信端末２０においては、着目領域として指定した部分ついて、送信端末１０が取得した原動画像の品質のまま表示することが可能となる。

続いて、本発明の一実施形態に係るシステム１００の構成についてさらに具体的に説明する。図３は、送信端末１０の一例を示した外観斜視図である。また、図４には、送信端末１０のハードウェア要素の例を示している。図３に示されるように、本実施形態における送信端末１０は、首掛け型のウェアラブルデバイスである。送信端末１０は、左腕部と、右腕部と、それらを装着者の首裏にて接続する本体部を備える。送信端末１０を装着する際には、本体部を装着者の首裏に接触させ、左腕部と右腕部を装着者の首横から胸部側に向かって垂らすようにして、装置全体を首元に引っ掛ければよい。送信端末１０の筐体内には、各種の電子部品が格納されている。

左腕部と右腕部には、それぞれ複数の集音部１４（マイク）が設けられている。集音部１４は、主に装着者の周囲の音や、装着者と対話者の音声を取得することを目的として配置されている。装着者周囲で発生した音を広く集音できるように、集音部１４としては、全指向性（無指向性）のマイクロホンを採用することが好ましい。集音部１４としては、ダイナミックマイクやコンデンサマイク、ＭＥＭＳ（Micro-Electrical-Mechanical Systems）マイクなど、公知のマイクロホンを採用すればよい。集音部１４は、音を電気信号に変換し、その電気信号をアンプ回路によって増幅した上で、Ａ／Ｄ変換回路によってデジタル情報に変換して制御部１１へと出力する。集音部１４によって取得した音信号は、筐体内に設けられた制御部１１へ伝達される。また、本実施形態において、集音部１４によって取得した音信号は、通信部１３を介してインターネット経由で受信端末２０に送信することができる。これにより、現場の作業者が送信端末１０によって取得した音が、遠隔地の支援者の受信端末２０にも共有される。

左腕部には、撮像部１５がさらに設けられている。具体的には、左腕部の先端面に撮像部１５が設けられており、この撮像部１５によって装着者の正面側の動画像を撮影することができる。また、撮像部１５は静止画像を撮影可能なものであってもよい。撮像部１５によって取得された動画像及び静止画像（以下まとめて「画像」という）は、筐体内の制御部１１に伝達され画像データとして記憶される。撮像部１５としては一般的なデジタルカメラを採用すればよい。撮像部１５は、例えば、撮影レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットなどの光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、及びＩＣメモリで構成される。撮像部１５によって取得された画像データは、制御部１１へと供給されて記憶部１２に記憶される。また、画像データに対して所定の画像解析処理を行うこととしてもよい。また、撮像部１５で取得した動画像や静止画像は、通信部１３を介してインターネット経由で受信端末２０へと送信される。これにより、現場の作業者が送信端末１０で取得した動画像や静止画像が、遠隔地の支援者の受信端末２０にも共有される。

右腕部には、非接触型のジェスチャセンサ１６がさらに設けられている。ジェスチャセンサ１６は、主に送信端末１０の正面側における装着者の手の動きを検知することを目的として、右腕部の先端面に配置されている。ジェスチャセンサ１６は、例えば装着者の手指の動作や形を検知する。ジェスチャセンサ１６の例は光学式センサであり、赤外発光ＬＥＤから対象物に向けて光を照射し、その反射光の変化を受光素子で捉えることで対象物の動作や形を検出する。ジェスチャセンサ１６による検知情報は、制御部１１へと伝達され、主に撮像部１５や放音部１８の制御に利用される。具体的には、ジェスチャセンサ１６の検知情報は、撮像部１５や放音部１８の起動、停止などの制御に利用される。例えば、ジェスチャセンサ１６は、装着者の手などの物体がそのジェスチャセンサ１６に近接したことを検知して撮像部１５を制御することとしてもよいし、あるいはジェスチャセンサ１６の検知範囲内で装着者が所定のジェスチャーを行ったことを検知して撮像部１５を制御することとしてもよい。なお、撮像部１５とジェスチャセンサ１６の位置を入れ替えることも可能である。また、ジェスチャセンサ１６は近接センサに置き換えることとしてもよい。近接センサは、例えば装着者の手指が所定範囲まで近接したことを検知する。近接センサとしては、光学式、超音波式、磁気式、静電容量式、又は温感式などの公知のものを採用できる。

装着者の首裏に位置する本体部の外側（装着者の反対側）には放音部（スピーカ）１８が設けられている。本実施形態において、放音部１８は、本体部の外側に向かって音を出力するように配置されている。このように、装着者の首裏から真後ろに向かって音を放出することで、この放音部１８から出力された音が、装着者の正面前方に存在する対話者に直接的に届きにくくなる。これにより、対話者は、装着者自身が発した音声と送信端末１０の放音部１８から発せられた音とを区別しやすくなる。放音部１８は、電気信号を物理的振動（すなわち音）に変換する音響装置である。放音部１８の例は、空気振動により音を装着者に伝達する一般的なスピーカである。また、放音部１８としては、装着者の骨を振動させることにより音を装着者に伝達する骨伝導スピーカであってもよい。なお、この場合、放音部１８を本体部の内側（装着者側）に設けて、骨伝導スピーカが装着者の首裏の骨（頚椎）に接触するように構成すればよい。また、本実施形態において、受信端末２０に入力された音声信号は、インターネット経由で送信端末１０に送信される。送信端末１０は、受信端末２０から受信した音声信号を放音部１８によって音に変換して出力する。これにより、受信端末２０を操作する支援者の音声を、送信端末１０を装着した作業者に届けることができる。

図４に示されるように、送信端末１０の制御部１１は、この送信端末１０が備える他の要素を制御する演算処理を行う。制御部１１としては、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサを利用することができる。制御部１１は、基本的に、記憶部１２に記憶されているプログラムを読み出してメインメモリに展開し、このプログラムに従って所定の演算処理を実行する。また、制御部１１は、プログラムに従った演算結果を記憶部１２に適宜書き込んだり読み出したりすることができる。

また、送信端末１０の制御部１１は、機能ブロックとして、帯域測定部１１ａ及び画像処理部１１ｂを有する。これらの各機能ブロック１１ａ～１１ｂは、制御部１１が所定のプログラムを実行することにより実現される。

帯域測定部１１ａは、受信端末２０との接続に利用されている通信回線の帯域幅を測定する。前述したように、送信端末１０は、主に動画像を受信端末２０に向けて送信することになるが、帯域測定部１１ａは、この動画像を送信する際に、その送信用（上り）の通信回線の帯域幅を測定すればよい。帯域幅の測定には公知の方法を利用できる。例えば、送信端末１０の帯域測定部１１ａは、受信端末２０に対してテストデータのパケットを送信する処理を徐々にパケットの送信間隔を短くしながら繰り返し行う。そして、帯域測定部１１ａは、テストデータにパケットロスが発生した時点での送信レート（データ量／送信にかかった時間）を、その時点での利用可能な帯域幅として算出すればよい。また、所定の送信レートで動画像のデータを受信端末２０に送信している際にパケットロスが発生した場合、帯域測定部１１ａは、その送信レートでは動画像を送信できないとして送信レートを下げる判断を行うこともできる。

画像処理部１１ｂは、撮像部１５が取得した原動画像に対して所定の画像処理を行う。画像処理部１１ｂは、例えば、帯域測定部１１ａが測定した通信回線の帯域幅に基づき、この帯域幅で動画像を受信端末２０に対して送信できるように、撮像部１５が取得した原動画像全体の品質（解像度及び／又はフレームレート）を最適化する。また、画像処理部１１ｂは、受信端末２０にて指定された着目領域に基づいて、撮像部１５が取得した原動画像から着目領域に相当する部分を切り出したり、着目領域以外の領域の品質を低下させたりすることで修正動画像を作成する。

送信端末１０の記憶部１２は、制御部１１での演算処理等に用いられる情報やその演算結果を記憶するための要素である。記憶部１２のストレージ機能は、例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また、記憶部１２は、制御部１１による演算処理の途中経過などを書き込む又は読み出すためのメインメモリとしての機能を有していてもよい。記憶部１２のメモリ機能は、ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。また、記憶部１２には、それを所持するユーザ固有のＩＤ情報が記憶されていてもよい。また、記憶部１２には、送信端末１０のネットワーク上の識別情報であるＩＰアドレスが記憶されていてもよい。

送信端末１０の通信部１３は、受信端末２０やクラウドサーバ３０と無線通信するための要素である。通信部１３は、インターネットを介して受信端末２０やクラウドサーバ３０と通信を行うために、例えば、３Ｇ（W-CDMA）、４Ｇ（LTE／LTE-Advanced）、５Ｇといった公知の移動通信規格や、Wi-Fi（登録商標）等の無線ＬＡＮ方式で無線通信するための通信モジュールを採用すればよい。また、送信端末１０は、他の送信端末１０と通信することもできる。この場合、通信部１３は、別の送信端末１０と直接的に通信を行うために、Bluetooth（登録商標）やＮＦＣ等の方式の近接無線通信用の通信モジュールを採用することが好ましい。

送信端末１０のセンサ類１７は、例えば送信端末１０の動作や利用状況、あるいはその装着者の生体情報を検知するためのセンサ機器を含む。センサ類１７としては、一般的な携帯情報端末やウェアラブルデバイスに搭載されているセンサモジュールを採用すればよい。例えば、センサ類１７には、ジャイロセンサ、加速度センサ、地磁気センサ、バッテリセンサが含まれる。また、センサ類１７には、体温センサ、心拍センサ、血中酸素濃度センサ、血圧センサ、心電図センサなど、装着者の生体情報を検知するための生体センサが含まれていてもよい。

送信端末１０の位置情報取得部１９は、その送信端末１０の現在の位置情報を取得するための要素である。具体的には、位置情報取得部１９は、ＧＰＳ（Global Positioning System）を利用した測位を行う機能を持つ。位置情報取得部１９は、複数のＧＰＳ衛星から送られた電波に含まれる電波送信時間の情報に基づき、それぞれの電波を受信するのに要した時間を測定し、その時間を示す時間情報を制御部１１に伝達する。制御部１１は、取得した時間情報に基づいて、送信端末１０の所在位置の緯度経度に関する情報を算出することができる。また、位置情報取得部１９は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントなどの無線基地局から発信される電波やビーコン信号をスキャンすることにより、現在の位置情報を取得するものであってもよい。

なお、図３及び図４から明らかなように、本実施形態において、送信端末１０は、ディスプレイやモニタなどの表示装置を有していない。このため、作業者は、ジェスチャセンサ１６等を利用して各ハードウェア要素のオン・オフ等の比較的簡単な操作は行うことができるものの、アプリケーションプログラムの操作など複雑な操作は困難である。このような表示装置を持たない送信端末１０を用いる場合、本発明に係るシステムのように、受信端末２０などによってインターネットを介して送信端末１０を遠隔制御することが特に有効である。

図４は、さらに、受信端末２０のハードウェア要素の例を示している。受信端末２０は、一般的なパーソナルコンピュータ（ＰＣ）により実現可能である。受信端末２０は、デスクトップ型ＰＣとラップトップ型ＰＣのいずれであっても構わない。受信端末２０は、その他にスマートフォンやタブレット型端末であってもよい。受信端末２０は、制御部２１、記憶部２２、通信部２３、表示部２４、操作部２５、集音部２６、及び放音部２７を有する。これらの要素としては、一般的なＰＣやそれと共に用いられる周辺機器を利用することができる。

受信端末２０の制御部２１は、ＣＰＵやＧＰＵなどのプロセッサにより構成される。制御部２１は、基本的に、記憶部２２に記憶されているプログラムを読み出してメインメモリに展開し、このプログラムに従って所定の演算処理を実行する。また、制御部１１は、プログラムに従った演算結果を記憶部１２に適宜書き込んだり読み出したりすることができる。このようにして、制御部２１は、記憶部２２に記憶されたプログラムに従って各要素２２～２７の制御処理を行う。

また、受信端末２０の制御部２１は、機能ブロックとして、帯域測定部２１ａ、支援部２１ｂ、及び着目領域指定部２１ｃを有する。これらの各機能ブロック２１ａ～２１ｃは、制御部２１が所定のプログラムを実行することにより実現される。

帯域測定部２１ａは、送信端末１０との接続に利用されている通信回線の帯域幅を測定する。受信端末２０は、送信端末１０から主に動画像を受信することになるが、帯域測定部２１ａは、この動画像を受信する際に、その受信用（下り）の通信回線の帯域幅を測定すればよい。帯域幅の測定には公知の方法を利用できる。例えば、受信端末２０の帯域測定部２１ａは、送信端末１０からテストデータのパケットを受信する処理を徐々にパケットの受信間隔を短くしながら繰り返し行う。そして、帯域測定部２１ａは、テストデータにパケットロスが発生した時点での受信レート（データ量／受信にかかった時間）を、その時点での利用可能な帯域幅として算出すればよい。また、所定の受信レートで動画像のデータを送信端末１０から受信している際にパケットロスが発生した場合、帯域測定部２１ａは、その受信レートでは動画像を送信できないとして受信レートを下げる判断を行うこともできる。

支援部２１ｂは、帯域測定部２１ａが測定した通信回線の帯域幅に応じて、着目領域の指定を支援するためのＵＩを提供する。図５（ａ）は、支援用ＵＩの一例を示している。図５（ａ）に示した例において、支援部２１ｂは、送信端末１０から送信されてくる原動画像の品質と通信回線（特に下り回線）の帯域幅とに応じて、原動画像の品質のまま送信可能な最大面積を示す枠Ｆを表示部２４の表示画面上に表示する。つまり、この枠Ｆの面積は、原動画像の品質と通信回線の帯域に応じて増減する。例えば、送信端末１０が撮像部１５で取得した原動画像が高品質（高画質、高フレームレート）であるほど、その原動画像は単位面積当たりのデータ量が大きくなり、原動画像の品質のまま通信回線を介して受信端末２０へ送信できる範囲が狭くなるため、枠Ｆの面積は狭くなる。反対に、送信端末１０が撮像部１５で取得した原動画像が低品質であるほど、枠Ｆの面積は広くなる。一方で、通信回線の帯域幅が狭いほど、通信回線は、送信端末１０が撮像部１５で取得した原動画像を送信可能な単位時間当たりのデータ容量が小さくなるため、枠Ｆの面積は狭くなる。反対に、通信回線の帯域幅が広いほど、枠Ｆの面積は広くなる。このように、支援部２１ｂは、送信端末１０から送信されてくる原動画像が品質と通信回線の帯域幅とから、原動画像の品質のまま送信可能な最大面積を求めて、その面積に応じた枠Ｆを表示部２４に表示すればよい。

また、図５（ａ）に示したように、枠Ｆの面積が決まれば、この枠Ｆは動画像の表示画面上を任意に動かすことができる。枠Ｆを動かす操作は、受信端末２０の操作部２５によって行えばよい。また、枠Ｆの面積が一定であれば、動画像の表示画面の範囲内で、枠Ｆの形状はある程度自由に変形させることができる。図５（ａ）に示した枠Ｆは、横長の矩形状であるが、正方形にしたり、縦長にしたり、さらに横長にすることもできる。また、枠Ｆの形状は矩形に限らず、円形や楕円形とすることも可能である。

着目領域指定部２１ｃは、送信端末１０から受信した動画像のうち、受信端末２０のユーザ（支援者）から特定の着目領域の指定を受け付ける。本実施形態では、前述したように、支援部２１ｂが、原動画像の品質のまま送信可能な最大面積を示す枠Ｆを表示画面上に表示している。この場合、着目領域指定部２１ｃは、この枠Ｆの範囲内でユーザから特定の着目領域の指定を受け付けることとなる。具体的に説明すると、図５（ａ）で示したように、ユーザは操作部２５を操作することによって、表示画面上において枠Ｆの位置と形状を決定する。次に、枠Ｆの位置と形状が固定されると、図５（ｂ）に示したように、ユーザは操作部２５を操作することによって、枠Ｆの範囲内で着目領域Ｒを指定する。この着目領域Ｆは枠Ｆからはみ出すことができないようになっている。なお、枠Ｆと着目領域Ｒとが一致していてもよい。着目領域指定部２１ｃは、このようにしてユーザにより指定された着目領域Ｒに関する情報を、記憶部２２に一時的に記憶する。着目領域Ｒに関する情報としては、例えば着目領域Ｒが矩形状である場合、対角をなす２つの頂点（対頂点）の動画像上における座標情報（ｘｙ座標）を記憶しておけばよい。受信端末２０の制御部２１は、このようにして取得した着目領域Ｒに関する情報を、通信部２３を介して送信端末１０へと伝達する。この着目領域Ｒに関する情報は、前述したとおり、送信端末１０の制御部１１における画像処理部１１ｂでの処理に利用される。

受信端末２０の記憶部２２は、制御部２１での演算処理等に用いられる情報やその演算結果を記憶するための要素である。記憶部２２のストレージ機能は、例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また、記憶部２２は、制御部１１による演算処理の途中経過などを書き込む又は読み出すためのメインメモリとしての機能を有していてもよい。記憶部２２のメモリ機能は、ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。

受信端末２０の通信部１３は、受信端末２０やクラウドサーバ３０と通信するための要素である。通信部１３の通信方式は有線と無線のどちらであってもよい。例えば、受信端末２０は、有線にて光回線や電話回線を通じてインターネットに接続可能なものであってもよい、Wi-Fi（登録商標）等の無線ＬＡＮ方式でインターネットに接続可能なものであってもよい。

受信端末２０の表示部２４は、画像を表示するための要素である。本発明に係るシステムにおいては、主に、送信端末１０から受信した動画像が表示部２４に表示される。表示部２４としては、液晶ディスプレイや有機ＥＬディスプレイといった公知のものを利用できる。また、表示部２４は、スクリーンに映像光を投影するプロジェクタであってもよい。

受信端末２０の操作部２５は、ユーザ（支援者）が受信端末２０（特に制御部２１）に対して所定の操作情報を入力するための要素である。操作部２５としては、タッチパネル、マウス、キーボード、トラックパッド、スタイラスペン、ペンタブレッドなどの公知のものを利用できる。また、タッチパネルを表示画面に重ね合わせることでタッチパネルディスプレイを構成することも可能である。

受信端末２０の集音部２６は、主にユーザ（支援者）の音声を取得するための要素である。集音部２６としては、指向性又は全指向性（無指向性）のマイクロホンを採用すればよい。マイクロホンとしては、ダイナミックマイクやコンデンサマイク、ＭＥＭＳマイクなど、公知のものを採用することができる。本実施形態において、受信端末２０の集音部２６によって取得した音声信号は、通信部２３を介してインターネット経由で送信端末１０に送信できる。これにより、支援者の音声が、現場で働く作業者の送信端末１０から出力されるようになる。

受信端末２０の放音部２７は、主に送信端末１０から受信した音声を出力するための要素である。放音部２７としては、空気振動により音を伝達する一般的なスピーカや、イヤホン、ヘッドホンを採用すればよい。本実施形態において、送信端末１０に入力された音信号は、インターネット経由で受信端末２０に送信される。受信端末２０は、送信端末１０から受信した音信号を放音部２７によって音に変換して出力する。これにより、送信端末１０が取得した音を、受信端末２０を操作する支援者に届けることができる。

クラウドサーバ３０は、送信端末１０と受信端末２０に対してＷｅｂ会議等のビデオ会話ツールを提供する。クラウドサーバ３０は、一又は複数のサーバ装置３１によって構成されている。クラウドサーバ３０は、例えば、送信端末１０と受信端末２０との間の通信接続を確立する際に、送信端末１０と受信端末２０のそれぞれのユーザ（作業者と支援者）に対して、ビデオ会話ツール用のアカウントへのログインを求める。送信端末１０と受信端末２０には、それぞれビデオ会話ツール用の専用のアプリケーションプログラムがインストールされている。送信端末１０と受信端末２０は、このプログラムを実行してそれぞれクラウドサーバ３０にアクセスし、各自のアカウントにログインする。送信端末１０と受信端末２０とがログイン認証に成功すると、クラウドサーバ３０は、これらの送信端末１０と受信端末２０との間の画像データや音データの送受信の中継を開始する。ビデオ会話ツール用としては、一般的に利用可能な市販のツールを適宜利用することが可能である。

続いて、図６を参照して、送信端末１０から受信端末２０に動画像を送信する処理のフローについて説明する。

まず、送信端末１０は、撮像部１５を起動して、動画像の取得を開始する（ステップＳ１）。本実施形態では、送信端末１０が取得した動画像をリアルタイムで受信端末２０へ送信することを想定している。このため、これ以降、送信端末１０は動画像を取得し続ける。

次に、送信端末１０の帯域測定部１１ａは、受信端末２０へ動画像を送信するための通信回線の帯域幅を測定する（ステップＳ２）。

次に、送信端末１０の画像処理部１１ｂは、帯域測定部１１ａが測定した帯域幅に応じて、撮像部１５が取得した原動画像の品質を最適化する（ステップＳ３）。通常、帯域幅には制限があることから、原動画像の品質のまま受信端末２０へ送信することは困難である。このため、画像処理部１１ｂは、通常、原動画像全体に対して、解像度を下げたり、フレームレートを下げたりするといった低品質化のための画像処理を行う。

次に、送信端末１０は、通信部１３により、通信回線を介して画像処理部１１ｂにより最適化された動画像を受信端末２０へ送信する（ステップＳ４）。また、この送信端末１０は、動画像を送信するとともに、原動画像の品質に関するメタ情報を受信端末２０に送信すると良い。このメタ情報には、原動画像の解像度、フレームレート、及び原動画像の単位時間あたりのデータ量が含まれる。受信端末２０は、通信部２３により送信端末１０から動画像及びメタ情報を受信する（ステップＳ５）。なお、動画像やメタ情報は、クラウドサーバ３０を経由して送信端末１０から受信端末２０へ送信されてもよい。

次に、受信端末２０は、表示部２４にて、送信端末１０から受信した動画像の表示を開始する（ステップＳ６）。本実施形態では、送信端末１０が取得した動画像をリアルタイムで受信端末２０の表示部２４に表示することを想定している。このため、これ以降、受信端末２０は動画像を表示し続ける。なお、通常、この段階で、表示部２４には、送信端末１０の撮像部１５が取得した原動画像よりも低品質化された動画像が表示されることになる。

次に、受信端末２０の制御部２１は、ユーザ（支援者）により着目モードを開始するための入力操作がなされたか否かを判断する（ステップＳ７）。なお、このような入力操作は、操作部２５を介して行われる。着目モードが開始されない場合、送信端末１０が動画像を通信回線の帯域幅に応じて最適化して受信端末２０へと送信するここまでの処理（ステップＳ２～Ｓ６）を繰り返せばよい。一方で、着目モードが開始された場合、次のステップＳ７へと進む。

着目モードが開始された場合、受信端末２０の帯域測定部２１ａは、送信端末１０から動画像を受信するための通信回線の帯域幅を測定する（ステップＳ７）。

次に、受信端末２０の支援部２１ｂは、帯域測定部２１ａが測定した帯域幅と、送信端末１０から受信した原動画像の品質に関するメタ情報とに基づいて、原動画像の品質のまま送信可能な最大面積を求め、その最大面積を示す枠Ｆ（図５参照）を現在表示している動画像の表示画面上に表示する（ステップＳ９）。前述のとおり、ユーザは、操作部２５を介してこの枠Ｆの位置と形状を任意に設定することが可能である。

次に、受信端末２０の着目領域指定部２１ｃは、支援部２１ｂが表示した枠Ｆの範囲内で、ユーザから特定の着目領域の指定を受け付ける（スッテプＳ１０）。ユーザにより指定された着目領域に関する情報（座標情報）は、受信端末２０から送信端末１０へと送信される（ステップＳ１１）。また、送信端末１０は、受信端末２０からこの着目領域に関する情報を受信する（ステップＳ１２）。

次に、送信端末１０の画像処理部１１ｂは、受信端末２０から受信した着目領域の情報に基づいて、撮像部１５で撮像した原動画像を修正する（ステップＳ１３）。前述の通り、画像処理部１１ｂは、原動画像の品質を維持したまま原動画像から着目領域のみを切り出すこととしてもよい。また、画像処理部１１ｂは、着目領域については原動画像の品質を維持しつつ、その他の領域については通信回線の帯域幅に応じて低品質化することとしてもよい。送信端末１０は、このようにして得られた修正動画像を受信端末２０へと送信する（ステップＳ１４）。また、受信端末２０は、送信端末１０から修正動画像を受信する（ステップＳ１５）。

次に、受信端末２０は、これまで表示部２４に表示していた動画像（ステップＳ６）に代えて、送信端末１０から受信した修正動画像の表示を開始する（ステップＳ１６）。ユーザにより指定された着目領域に焦点を当てた修正動画像の表示する処理（ステップＳ８～Ｓ１６）は、着目モードが終了するまで続けられる（ステップＳ７）。着目モードが終了すると、再び、送信端末１０が取得した動画像全体を最適化したものを表示する処理（ステップＳ２～Ｓ６）へと戻る。ここまでの動画像の表示処理は、送信端末１０と受信端末２０との通信が切断されたり、送信端末１０の撮像部１５での撮影が停止されたりするまで続けられる。

図７は、着目領域の指定方法の別例を模式的に示している。上記した実施形態では、受信端末２０のユーザ（支援者）が動画像上の任意の矩形状の領域を指定することにより着目領域を指定していた。一方、図７に示した例では、ユーザが動画像に含まれるオブジェクトを指定することにより、そのオブジェクトの表示領域を着目領域として指定することとしている。

具体的に説明すると、図７（ａ）は、受信端末２０に表示される動画像全体が送信端末１０の取得した原動画像よりも低画質化されている様子を示している。図７（ａ）に示した例において、動画像には、オブジェクトとして３人の人物が含まれている。

次に、図７（ｂ）は、ユーザにより動画像に含まれる一つのオブジェクトが指定された様子を示している。この場合、受信端末２０の着目領域指定部２１ｃは、動画像を解析して、公知のオブジェクト認識によりユーザが指定したオブジェクトの表示領域を特定し、そのオブジェクトの表示領域を着目領域Ｒとして指定する。このオブジェクトの指定に関わる着目領域Ｒの情報は、受信端末２０から送信端末１０へと送信される。送信端末１０は、受信端末２０と同様に、撮像部１５の原動画像を解析して、公知のオブジェクト認識によりユーザが指定したオブジェクトの表示領域を特定する。そして、送信端末１０の画像処理部１１ｂは、着目領域Ｒとして指定されたオブジェクトの表示領域については原動画像のままの品質を維持しつつ、その他の領域については通信回線の帯域幅に収まるように解像度やフレームレートを低下させる。このように画像処理部１１ｂにて画像処理された修正動画像は、送信端末１０から受信端末２０へと送信される。

次に、図７（ｃ）は、受信端末２０において修正動画像を表示した様子を示している。ここに示されるように、着目領域Ｒとして指定された人物については、原動画像の解像度やフレームレートが維持され、その他の領域や人物については全体的に低品質化されている。このため、着目領域Ｒとして指定された人物については、高精細かつ滑らかな動きで受信端末２０の表示部２４に表示されることになる。一方で、その他の領域や人物については低品質化によりデータ量が削減されている。このため、動画像全体としてデータ量が削減されることから、着目領域Ｒとして指定された人物を高品質に維持したままであっても、動画像を通信回線を通じて送信端末１０から受信端末２０へと送信することが可能となる。

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

１０…送信端末 １１…制御部
１１ａ…帯域測定部 １１ｂ…画像処理部
１２…記憶部 １３…通信部（受信部、送信部）
１４…集音部 １５…撮像部
１６…ジェスチャセンサ １７…センサ類
１８…放音部 １９…位置情報取得部
２０…受信端末 ２１…制御部
２１ａ…帯域測定部 ２１ｂ…支援部
２１ｃ…着目領域指定部 ２２…記憶部
２３…通信部（受信部、送信部） ２４…表示部
２５…操作部 ２６…集音部
２７…放音部 ３０…クラウドサーバ
３１…サーバ装置 １００…システム

Claims (7)

1. 通信回線を介して接続された送信端末と受信端末を含む動画像送信システムであって、
   前記送信端末は、
   動画像を取得する撮像部と、
   前記動画像を前記受信端末へ送信する送信部を有し、
   前記送信端末と前記受信端末の両方又はいずれか一方は、
   前記動画像の中から特定の着目領域を指定する着目領域指定部を有し、
   前記送信端末は、
   前記着目領域に関する情報に基づいて、前記撮像部が取得した原動画像から前記着目領域内の動画像を切り出す処理か、又は、前記原動画像から前記着目領域外の動画像の品質を低下させる処理を行った修正動画像を作成する画像処理部をさらに有し、
   前記送信部により前記修正動画像を前記受信端末に送信する
   システム。
2. 前記受信端末は、
   前記送信端末から前記動画像を受信する受信部と、
   前記動画像の中から特定の着目領域を指定する着目領域指定部と、
   前記着目領域に関する情報を前記送信端末に送信する送信部を有し、
   前記送信端末は、
   前記受信端末から前記着目領域に関する情報を受信する受信部をさらに有する
   請求項１に記載のシステム。
3. 前記送信端末及び前記受信端末の両方又はいずれか一方は、前記通信回線の帯域幅を測定する帯域測定部をさらに有し、
   前記画像処理部は、前記通信回線の帯域幅に応じて前記修正画像を作成する
   請求項１に記載のシステム。
4. 前記送信端末及び前記受信端末の両方又はいずれか一方は、前記通信回線の帯域幅を測定する帯域測定部をさらに有し、
   前記受信端末は、前記通信回線の帯域幅に応じて前記着目領域の指定を支援するユーザインターフェースを提供する支援部をさらに有する
   請求項１に記載のシステム。
5. 携帯情報端末を請求項１に記載のシステムにおける前記送信端末として機能させるためのプログラム。
6. 通信回線を介して受信端末と接続された送信端末であって、
   動画像を取得する撮像部と、
   前記動画像の中から特定の着目領域を指定する着目領域指定部、又は、前記動画像の中から指定された特定の着目領域に関する情報を前記受信端末から受信する受信部と、
   前記着目領域に関する情報に基づいて、前記撮像部が取得した原動画像から前記着目領域内の動画像を切り出す処理か、又は、前記原動画像から前記着目領域外の動画像の品質を低下させる処理を行った修正動画像を作成する画像処理部と、
   前記修正動画像を前記受信端末に送信する送信部を有する
   送信端末。
7. 送信端末から受信端末へ通信回線を介して動画像を送信する方法であって、
   前記送信端末が、動画像を取得し、前記動画像を前記受信端末へ送信する工程と、
   前記送信端末又は前記受信端末が、前記動画像の中から特定の着目領域を指定する工程と、
   前記送信端末が、前記着目領域に関する情報に基づいて、前記撮像部が取得した原動画像から前記着目領域内の動画像を切り出す処理か、又は、前記原動画像から前記着目領域外の動画像の品質を低下させる処理を行った修正動画像を作成し、前記修正動画像を前記受信端末に送信する工程を含む
   方法。

Images