JP2017091226A - 画面共有システム及び画面共有方法 - Google Patents

Abstract

【課題】周囲の騒音等により、音声が聞き取りにくい場合であっても、作業指示の内容を把握しやすくした画面共有システム及び画面共有方法を提供する。
【解決手段】画面データを提供する画面送信機器１００と、他の一以上の画面受信機器１０とが、画面共有する画面共有システムは、画面表示の共有をする共有領域の指定を受け付け、音声入力を受け付け、入力された音声を音声認識でテキストデータに変換し、指定を受け付けた共有領域内の画面データと、変換したテキストデータと、を表示する。
【選択図】図１

Description

本発明は、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムに関する。

近年、作業者が操作する画面送信機器と、指示者が操作する画面受信機器とにおいて、インターネット等の公衆回線網等を介して、画面共有の実行が行われている。このような画面共有において、作業者が作業空間を撮影した撮影画像を、画面送信機器と画面受信機器とが画面共有し、指示者が撮影画像を閲覧しつつ、作業指示の内容を通話等により音声で伝えることにより作業指示を出すことが行われている。

例えば、特許文献１では、インターネットを介して画像及び音声の送受信による情報共有を行い、一の拠点で用いられる端末に、他の拠点から送信された音声データを音声として出力する構成が開示されている。

特開２０１４−２４１５２４号公報

しかしながら、特許文献１の構成では、工事現場等において、作業指示を音声により受ける場合、周囲の騒音により、音声が聞き取りにくく、作業指示の内容を作業者が把握しにくいという問題があった。

そこで、本発明は、指示者からの音声を、テキストメッセージとして表示することにより、作業指示の内容を把握しやすくする点に着目した。

本発明の目的は、周囲の騒音等により、音声が聞き取りにくい場合であっても、作業指示の内容を把握しやすくした画面共有システム及び画面共有方法を提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムであって、
画面表示の共有をする共有領域の指定を受け付ける指定受付手段と、
音声入力を受け付ける音声入力受付手段と、
入力された前記音声を音声認識でテキストデータに変換する変換手段と、
指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示する表示手段と、
を備えることを特徴とする画面共有システムを提供する。

第１の特徴に係る発明によれば、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムは、画面表示の共有をする共有領域の指定を受け付け、音声入力を受け付け、入力された前記音声を音声認識でテキストデータに変換し、指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示する。

ここで、第１の特徴に係る発明は、画面共有システムのカテゴリであるが、画面共有方法等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムであって、
画面表示の共有をする共有領域の指定を受け付ける指定受付手段と、
音声入力を受け付ける音声入力受付手段と、
入力された前記音声を音声認識でテキストデータに変換する変換手段と、
指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示する表示手段と、
を備えることを特徴とする画面共有システムを提供する。

第２の特徴に係る発明によれば、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムは、画面表示の共有をする共有領域の指定を受け付け、音声入力を受け付け、入力された前記音声を音声認識でテキストデータに変換し、指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示する。

ここで、第２の特徴に係る発明は、画面共有システムのカテゴリであるが、画面共有方法等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第３の特徴に係る発明は、前記テキストデータをファイル出力する出力手段を備えることを特徴とする第１又は第２の特徴に係る発明である画面共有システムを提供する。

第３の特徴に係る発明によれば、第１又は第２の特徴に係る発明である画面共有システムは、前記テキストデータをファイル出力する。

第４の特徴に係る発明は、前記テキストデータと、前記共有領域の画面データと、を対応付ける対応付手段を備えることを特徴とする第１乃至第３の何れかの特徴に係る発明である画面共有システムを提供する。

第４の特徴に係る発明によれば、第１乃至第３の何れかの特徴に係る発明である画面共有システムは、前記テキストデータと、前記共有領域の画面データと、を対応付ける。

第５の特徴に係る発明は、変換された前記テキストデータの内容に応じて、前記表示されたテキストデータの表示方法を変更する変更手段を備えることを特徴とする第１乃至第４の何れかの特徴に係る発明である画面共有システムを提供する。

第５の特徴に係る発明によれば、第１乃至第４の何れかの特徴に係る発明である画面共有システムは、変換された前記テキストデータの内容に応じて、前記表示されたテキストデータの表示方法を変更する。

第６の特徴に係る発明は、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有方法であって、
画面表示の共有をする共有領域の指定を受け付けるステップと、
音声入力を受け付けるステップと、
入力された前記音声を音声認識でテキストデータに変換するステップと、
指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示するステップと、
を備えることを特徴とする画面共有方法を提供する。

第７の特徴に係る発明は、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有方法であって、
画面表示の共有をする共有領域の指定を受け付けるステップと、
音声入力を受け付けるステップと、
入力された前記音声を音声認識でテキストデータに変換するステップと、
指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示するステップと、
を備えることを特徴とする画面共有システムを提供する。

本発明によれば、周囲の騒音等により、音声が聞き取りにくい場合であっても、作業指示の内容を把握しやすくした画面共有システム及び画面共有方法を提供することが可能となる。

図１は、画面共有システム１の概要を示す図である。 図２は、画面共有システム１の遠隔指示システム１の全体構成図である。 図３は、画面送信機器１０、第１の画面受信機器１００及び第２の画面受信機器２００の機能ブロック図である。 図４は、画面送信機器１０、第１の画面受信機器１００及び第２の画面受信機器２００が実行する画面共有処理を示すフローチャートである。 図５は、画面送信機器１０が表示する共有領域４００を示す図である。 図６は、第１の画面受信機器１００が表示する撮影画像３１０を示す図である。 図７は、第１の画面受信機器１００が受け付けた入力操作を示す図である。 図８は、表示方法テーブルを示す図である。 図９は、画面送信機器１０が表示する撮影画像３１０及びメッセージを示す図である。 図１０は、画面送信機器１０が表示する撮影画像３１０及びメッセージを示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［画面共有システム１の概要］
本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である画面共有システム１の概要を説明するための図である。画面共有システム１は、画面送信機器１０、第１の画面受信機器１００及び第２の画面受信機器２００から構成される。なお、画面受信機器は、２つに限らず３つ以上でも良いし、１つでも良い。また、画面送信機器１０も、１つに限らず複数であっても良い。また、後述する各処理は、画面送信機器又は画面受信機器の何れか又は双方が実行していても良い。

画面送信機器１０は、データ通信機能、カメラ機能等を備えるウェアラブル端末や電化製品である。画面送信機器１０は、例えば、メガネ型端末、ヘッドマウントディスプレイ等のウェアラブル端末や、携帯電話、携帯情報端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品である。

また、第１の画面受信機器１００及び第２の画面受信機器２００は、データ通信機能等を備える電化製品である。第１の画面受信機器１００及び第２の画面受信機器２００は、画面送信機器１０と同様のウェアラブル端末や電化製品や、据置型の端末装置である。

はじめに、画面送信機器１０と、第１の画面受信機器１００及び第２の画面受信機器２００とは、画面共有に必要なネットワークを確立するとともに、音声通話に必要な通信を確立する（ステップＳ０１）。

画面送信機器１０は、作業者が作業する空間である作業空間を撮影する（ステップＳ０２）。

画面送信機器１０は、画像表示を共有する共有領域の指定を受け付ける（ステップＳ０３）。画面送信機器１０は、共有領域に撮影画像を表示する。

画面送信機器１０は、撮影画像のデータである撮影画像データを、第１の画面受信機器１００及び第２の画面受信機器２００に送信する（ステップＳ０４）。

第１の画面受信機器１００及び第２の画面受信機器２００は、撮影画像データを受信し、表示する。第１の画面受信機器１００と第２の画面受信機器２００とは、指示者からの音声入力を受け付ける（ステップＳ０５）。

第１の画面受信機器１００は、受け付けた音声入力に基づいた音声データを音声認識し、テキストデータに変換し、メッセージ表示領域にメッセージとして表示するとともに、画面送信機器１０に送信する（ステップＳ０６）。ステップＳ０６において、第１の画面受信機器１００は、音声データと同時に、自身に関するデータである機器データを送信する。機器データには、端末を識別する識別子や、端末のＩＰアドレスや、端末のＭＡＣアドレス等が含まれる。

第２の画面受信機器２００は、受け付けた音声入力に基づいた音声データを音声認識し、テキストデータに変換し、メッセージ表示領域にメッセージとして表示するとともに、画面送信機器１０に送信する（ステップＳ０７）。ステップＳ０７において、第２の画面受信機器１００は、音声データと同時に、自身に関するデータである機器データを送信する。機器データには、端末を識別する識別子や、端末のＩＰアドレスや、端末のＭＡＣアドレス等が含まれる。

画面送信機器１０は、テキストデータを受信し、メッセージ表示領域にメッセージとして表示する（ステップＳ０８）。ステップＳ０８において、画面送信機器１０は、所定の入力や所定の条件に基づいて、共有領域内に撮影画像及びメッセージ表示領域を表示する。あるいは、ステップＳ０８において、画面送信機器１０は、所定の入力や所定の条件に基づいて、共有領域内に撮影画像を表示するとともに、共有領域外にメッセージ表示領域を表示する。

なお、上述した各ステップは、全ての処理を、画面送信機器１０又は第１の画面受信機器１００と第２の画面受信機器２００の何れか又は双方が実行しても良い。また、上述した各ステップのうち、特定のステップを、画面送信機器１０又は第１の画面受信機器１００及び第２の画面受信機器２００が実行しても良い。

以上が、画面共有システム１の概要である。

［画面共有システム１のシステム構成］
図２に基づいて、画面共有システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である画面共有システム１のシステム構成を示す図である。画面共有システム１は、画面送信機器１０、第１の画面受信機器１００、第２の画面受信機器２００及び公衆回線網５（インターネット網や第３、第４世代通信網等）から構成される。なお、画面共有システム１は、画面送信機器１０と、第１の画面受信機器１００と、第２の画面受信機器２００とがサーバ装置を介して接続されていても良い。この場合、画面送信機器１０と、第１の画面受信機器１００と、第２の画面受信機器２００とは、各種データ通信をサーバ装置を介して実行すれば良い。

画面送信機器１０は、後述の機能を備え、データ通信を実行可能であり、上述したウェアラブル端末や電化製品である。

第１の画面受信機器１００及び第２の画面受信機器２００は、後述の機能を備え、データ通信を実行可能であり、上述したウェアラブル端末や電化製品や据置型の端末装置である。

［各機能の説明］
図３に基づいて、各装置の構成について説明する。図３は、本発明の好適な実施形態である画面送信機器１０、第１の画面受信機器１００及び第２の画面受信機器２００の機能ブロック図である。

画面送信機器１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。

また、画面送信機器１０は、入出力部１３として、制御部１１で制御したデータや画像を出力表示する表示部と、音声を集音するマイクや、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、音声を放音するスピーカ等の出力部や、ＧＰＳから自身の位置情報を取得可能なデバイス等を備える。また、画面送信機器１０は、記憶部１４として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、画面送信機器１０は、撮影部１５として、動画や静止画等の画像を撮影するレンズや撮影素子等の撮影デバイスを備える。

画面送信機器１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、接続要求送信モジュール２０、データ送受信モジュール２１を実現する。また、画面送信機器１０において、制御部１１が所定のプログラムを読み込むことにより、入出力部１３と協働して、共有領域指定モジュール３０、表示モジュール３１、音声入力受付モジュール３２、表示方法変更モジュール３３、表示方法指定モジュール３４、ファイル出力入力受付モジュール３５を実現する。また、画面送信機器１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１４と協働して、データ対応付モジュール４０、データ記憶モジュール４１を実現する。また、画面送信機器１０において、制御部１１が所定のプログラムを読み込むことにより、撮影部１５と協働して、撮影モジュール５０を実現する。

第１の画面受信機器１００は、画面送信機器１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備える。

また、第１の画面受信機器１００は、画面送信機器１０と同様に入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部と、音声を集音するマイクや、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、音声を放音するスピーカ等の出力部や、ＧＰＳから自身の位置情報を取得可能なデバイス等を備える。また、第１の画面受信機器１００は、記憶部として、画面送信機器１０と同様に、データのストレージ部を備える。

第１の画面受信機器１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、接続要求受信モジュール１５０、データ送受信モジュール１５１を実現する。また、第１の画面受信機器１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、表示モジュール１６０、入力受付モジュール１６１を実現する。

第２の画面受信機器２００は、第１の画面受信機器１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備える。

また、第２の画面受信機器１００は、第１の画面受信機器１００と同様に入出力部２３０として、制御部２１０で制御したデータや画像を出力表示する表示部と、音声を集音するマイクや、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、音声を放音するスピーカ等の出力部や、ＧＰＳから自身の位置情報を取得可能なデバイス等を備える。また、第２の画面受信機器２００は、記憶部として、第１の画面受信機器１００と同様に、データのストレージ部を備える。

第２の画面受信機器２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、接続要求受信モジュール２５０、データ送受信モジュール２５１を実現する。また、第２の画面受信機器２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２３０と協働して、表示モジュール２６０、入力受付モジュール２６１を実現する。

［画面共有処理］
図４に基づいて、画面送信機器１０、第１の画面受信機器１００及び第２の画面受信機器２００が実行する画面共有処理について説明する。図４は、画面送信機器１０、第１の画面受信機器１００及び第２の画面受信機器２００が実行する画面共有処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、接続要求送信モジュール２０は、第１の画面受信機器１００と第２の画面受信機器２００との画面共有及び音声通話に必要なネットワーク接続の確立に係る接続要求を送信する（ステップＳ１０）。

接続要求受信モジュール１５０は、画面送信機器１０が送信した接続要求を受信する。第１の画面受信機器１００と画面送信機器１０とは、画面共有及び音声通話に係るネットワーク接続を確立する（ステップＳ１１）。

接続要求受信モジュール２５０は、画面送信機器１０が送信した接続要求を受信する。第２の画面受信機器２００と画面送信機器１０とは、画面共有及び音声通話に係るネットワーク接続を確立する（ステップＳ１２）。

撮影モジュール５０は、作業空間の撮影指示を受け付けたか否かを判断する（ステップＳ１３）。ステップＳ１３において、撮影モジュール５０は、撮影指示を受け付けていないと判断した場合（ステップＳ１３ ＮＯ）、撮影指示を受け付けるまで本処理を繰り返す。

一方、撮影モジュール５０は、作業空間の撮影指示を受け付けたと判断した場合（ステップＳ１３ ＹＥＳ）、作業空間を撮影する（ステップＳ１４）。

共有領域指定モジュール３０は、撮影画像において、画面表示の共有をする共有領域の指定を受け付ける（ステップＳ１５）。ステップＳ１５において、共有領域指定モジュール３０は、作業者の入力に基づいて、共有領域を指定する。

図５は、共有領域指定モジュール３０が指定する共有領域４００を示す図である。図５において、表示モジュール３１は、画面表示ウインドウ３００内部に撮影画像３１０を表示する。共有領域指定モジュール３０は、撮影画像３１０において、共有領域４００を指定する。共有領域４００は、ユーザがタップした地点を示す指示アイコン４１０により、撮影画像３１０の所定の領域を囲うことにより、指定される。なお、共有領域４００は、所定の形状のアイコン等をドラッグすることにより指定しても良いし、他の方法により指定しても良い。

データ送受信モジュール２１は、ステップＳ１４において撮影した撮影画像のデータである撮影画像データを、第１の画面受信機器１００及び第２の画面受信機器２００に送信する（ステップＳ１６）。

データ送受信モジュール１５１は、撮影画像データを受信する。表示モジュール１６０は、受信した撮影画像データに基づいて、撮影画像を表示する（ステップＳ１７）。

図６は、第１の画面受信機器１００が表示する撮影画像３１０を示す図である。図６において、表示モジュール１６０は、画面共有を実行する撮影画像３１０を、画面表示ウインドウ５００内部に表示した共有領域４００内に表示する。共有領域４００は、画面送信機器１０が指定した共有領域である。

データ送受信モジュール２５１は、撮影画像データを受信する。表示モジュール２６０は、受信した撮影画像データに基づいて、撮影画像を表示する（ステップＳ１８）。ステップＳ１８において、第２の画面受信機器２００は、第１の画面受信機器１００と同様に撮影画像を表示する。

入力受付モジュール１６１は、指示者から共有領域への入力操作を受け付けたか否かを判断する（ステップＳ１９）。

ステップＳ１９において、入力受付モジュール１６１は、入力操作を受け付けたと判断した場合（ステップＳ１９ ＹＥＳ）、受け付けた入力内容を共有領域に表示する（ステップＳ２０）。

図７は、入力受付モジュール１６１が受け付けた入力操作を示す図である。図７において、入力受付モジュール１６１は、指示アイコン４２０を操作することにより、指示線４３０の入力を受け付ける。表示モジュール１６０は、受け付けた入力に基づいて、指示線４３０を共有領域４００内に表示する。なお、指示線４３０は、指示アイコン４２０を操作するのではなく、所定の形状のアイコン等をドラッグすることにより指定しても良いし、他の方法により指定しても良い。また、指示線４３０の形状は適宜変更可能である。

一方、入力受付モジュール１６１は、入力操作を受け付けていないと判断した場合（ステップＳ１９ ＮＯ）、指示者からの音声入力を受け付けたか否かを判断する（ステップＳ２１）。

ステップＳ２１において、入力受付モジュール１６１は、音声入力を受け付けていないと判断した場合（ステップＳ２１ ＮＯ）、上述したステップＳ１９の処理を再度実行する。

入力受付モジュール１６１は、音声入力を受け付けたと判断した場合（ステップＳ２１ ＹＥＳ）、入力された音声を、音声認識し、テキストデータへと変換する（ステップＳ２２）。

データ送受信モジュール１５１は、変換したテキストデータと、受け付けた指示線のデータである指示データと、自身を識別する機器データと、現在時刻を示す時刻データとを、画面送信機器１０に送信する（ステップＳ２３）。機器データには、端末を識別する識別子や、端末のＩＰアドレスや、端末のＭＡＣアドレス等が含まれる。

受付モジュール２６１は、指示者から共有領域への入力操作を受け付けたか否かを判断する（ステップＳ２４）。なお、ステップＳ２４における処理は、上述したステップＳ１９の処理と同様である。

ステップＳ２４において、入力受付モジュール２６１は、入力操作を受け付けたと判断した場合（ステップＳ２４ ＹＥＳ）、受け付けた入力内容を共有領域に表示する（ステップＳ２５）。なお、ステップＳ２５における処理は、上述したステップＳ２０の処理と同様である。

一方、入力受付モジュール２６１は、入力操作を受け付けていないと判断した場合（ステップＳ２４ ＮＯ）、指示者からの音声入力を受け付けたか否かを判断する（ステップＳ２６）。なお、ステップＳ２６における処理は、上述したステップＳ２１の処理と同様である。

ステップＳ２６において、入力受付モジュール２６１は、音声入力を受け付けていないと判断した場合（ステップＳ２６ ＮＯ）、上述したステップＳ２４の処理を再度実行する。

入力受付モジュール２６１は、音声入力を受け付けたと判断した場合（ステップＳ２６ ＹＥＳ）、入力された音声を、音声認識し、テキストデータへと変換する（ステップＳ２７）。なお、ステップＳ２７における処理は、上述したステップＳ２２の処理と同様である。

データ送受信モジュール２５１は、変換したテキストデータと、受け付けた指示線のデータである指示データと、自身を識別する機器データと、現在時刻を示す時刻データとを、画面送信機器１０に送信する（ステップＳ２８）。機器データには、端末を識別する識別子や、端末のＩＰアドレスや、端末のＭＡＣアドレス等が含まれる。なお、ステップＳ２８における処理は、上述したステップＳ２３の処理と同様である。

データ送受信モジュール２１は、第１の画面受信機器１００及び第２の画面受信機器２００が送信したテキストデータと、指示データと、機器データと、時刻データとを受信する。データ対応付モジュール４０は、受信したテキストデータと、共有領域に表示した撮影画像の撮影画像データと、時刻データとを対応付けて記憶する（ステップＳ２９）。

表示方法変更モジュール３３は、受信した機器データに基づいて、データ記憶モジュール４１が記憶する表示方法テーブルを検索し、テキストデータの表示方法を決定する（ステップＳ３０）。ステップＳ３０において、表示方法変更モジュール３３は、第１の画面受信機器１００が送信したテキストデータの表示方法と、第２の画面受信機器１００が送信したテキストデータの表示方法とを、其々決定する。

［表示方法テーブル］
図８は、データ記憶モジュール４１が記憶する表示方法テーブルを示す図である。表示方法テーブルは、機器識別子と、文字の大きさと、文字の色とを対応付けたテーブルである。本実施形態において、第１の画面受信機器１００は、機器データとしてＡＡＡＡが含まれており、また、第２の画面受信機器２００は、機器データとしてＢＢＢＢが含まれているものとして説明する。

図８において、データ記憶モジュール４１は、機器データ「ＡＡＡＡ」と、色「赤」と、サイズ「１０ｐｔ」とを対応付けて記憶する。すなわち、表示方法変更モジュール３３は、この対応付けに基づいて、第１の画面受信機器１００が送信したテキストデータを後述するメッセージとして表示する際、その文字色を「赤」で表示し、その文字サイズを「１０ｐｔ」として表示する。また、データ記憶モジュール４１は、機器データ「ＢＢＢＢ」と、色「青」と、サイズ「１０ｐｔ」とを対応付けて記憶する。すなわち、表示方法変更モジュール３３は、この対応付けに基づいて、第２の画面受信機器２００が送信したテキストデータを後述するメッセージとして表示する際、その文字色を「青」で表示し、その文字サイズを「１０ｐ」として表示する。なお、データ記憶モジュール４１は、文字の色及びサイズに加え、フォントやその他の内容が対応付けられていても良い。また、機器データは、機器を識別する識別子の代わりに、機器のＭＡＣアドレスやＩＰアドレス等であっても良いし、他のデータであっても良い。

表示方法指定モジュール３４は、表示方法の指定を受け付けたか否かを判断する（ステップＳ３１）。ステップＳ３１において、表示方法指定モジュール３４は、表示方法の指定として、テキストデータの表示方法の指定を受け付ける。ステップＳ３１において、表示方法指定モジュール３４は、テキストデータに基づいたメッセージを、共有領域外に表示するか否かの入力を受け付けたか否かを判断する。なお、ステップＳ３１において、音声入力受付モジュール３２が、周囲の音声を集音し、所定デシベル以上であるか否かを判断し、判断した結果に基づいて、表示方法の指定を行っても良い。また、ステップＳ３１において、表示方法指定モジュール３４は、テキストデータに基づいたメッセージを、共有領域内に表示するか否かの入力を受け付けるようにしても良い。

ステップＳ３１において、表示方法指定モジュール３４は、表示方法の指定を受け付けていないと判断した場合（ステップＳ３１ ＮＯ）、表示モジュール３１は、撮影画像と、受信したテキストデータに基づいたメッセージと、を図９に示す共有画面として表示する（ステップＳ３２）。

図９は、表示モジュール３１が表示する撮影画像及びメッセージを示す共有画面である。図９において、表示モジュール３１は、画面表示ウインドウ５００内部に表示した共有領域４００内に、撮影画像３１０と、テキストデータに基づいたメッセージを表示するメッセージ表示領域６００とを表示する。すなわち、表示モジュール３１は、メッセージを撮影画像３１０に重畳させて表示する。

表示モジュール３１が表示するメッセージ表示領域６００には、機器データに基づいて、発信者の識別子と、発信者が入力した音声をテキスト変換したメッセージと、発信者が発信した時刻とを表示する。

一方、ステップＳ３１において、表示方法の指定を受け付けたと判断した場合（ステップＳ３１ ＹＥＳ）、表示モジュール３１は、撮影画像と、受信したテキストデータに基づいたメッセージとを、図１０に示す共有画面として表示する（ステップＳ３３）。

図１０は、表示モジュール３１が表示する撮影画像及びメッセージを示す共有画面である。図１０において、表示モジュール３１は、画面表示ウインドウ５００内部に、共有領域４００と、メッセージ表示領域６１０と、を別個に表示する。表示モジュール３１は、共有領域４００に撮影画像３１０を表示する。また、表示モジュール３１は、メッセージ表示領域６１０に、テキストデータに基づいたメッセージを表示する。

表示モジュール３１が表示するメッセージ表示領域６００には、機器データに基づいて、発信者の識別子と、発信者が入力した音声をテキスト変換したメッセージと、発信者が発信した時刻とを表示する。

ファイル出力入力受付モジュール３５は、テキストデータをファイル出力する入力を受け付けたか否かを判断する（ステップＳ３４）。ステップＳ３４において、ファイル出力入力受付モジュール３５は、入力を受け付けていないと判断した場合（ステップＳ３４ ＮＯ）、本処理を終了する。

ファイル出力入力受付モジュール３５は、入力を受け付けたと判断した場合（ステップＳ３４ ＹＥＳ）、データ記憶モジュール４１は、受信したテキストデータをファイルとして出力し、記憶する（ステップＳ３５）。ステップＳ３５において、データ記憶モジュール４１が記憶するテキストデータのファイルであるテキストファイルには、複数のテキストデータを一のファイルとして出力する。すなわち、出力されるテキストファイルは、発信者の識別子と、テキスト変換したメッセージと、発信時刻とを一のメッセージとし、複数のメッセージを時系列順に並べたデータとして一のファイルとして出力して、記憶する。

以上が、画面共有処理である。

なお、上述した実施形態において、説明した各モジュールは、必ずしも上述した実施形態の各装置が有する必要はなく、例えば、画面送信機器１０又は第１の画面受信機器１００と第２の画面受信機器２００の何れか又は双方が、各モジュールを各々全て有していても良いし、特定のモジュールのみを有していても良い。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 画面共有システム、１０ 画面送信機器、１００ 第１の画面受信機器、２００ 第２の画面受信機器

第１の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有システムであって、
音声入力を受け付ける音声入力受付手段と、
入力された前記音声を音声認識でテキストデータに変換する変換手段と、
指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示する表示手段と、
を備えることを特徴とする画面共有システムを提供する。

第１の特徴に係る発明によれば、遠隔での作業指示を行う際に、画面共有する画面共有システムは、音声入力を受け付け、入力された前記音声を音声認識でテキストデータに変換し、指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示する。

第２の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有システムであって、
音声入力を受け付ける音声入力受付手段と、
入力された前記音声を音声認識でテキストデータに変換する変換手段と、
指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示する表示手段と、
を備えることを特徴とする画面共有システムを提供する。

第２の特徴に係る発明によれば、遠隔での作業指示を行う際に、画面共有する画面共有システムは、音声入力を受け付け、入力された前記音声を音声認識でテキストデータに変換し、指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示する。

第６の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有方法であって、
音声入力を受け付けるステップと、
入力された前記音声を音声認識でテキストデータに変換するステップと、
指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示するステップと、
を備えることを特徴とする画面共有方法を提供する。

第７の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有方法であって、
音声入力を受け付けるステップと、
入力された前記音声を音声認識でテキストデータに変換するステップと、
指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示するステップと、
を備えることを特徴とする画面共有システムを提供する。

Claims (7)

1. 画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムであって、
   画面表示の共有をする共有領域の指定を受け付ける指定受付手段と、
   音声入力を受け付ける音声入力受付手段と、
   入力された前記音声を音声認識でテキストデータに変換する変換手段と、
   指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示する表示手段と、
   を備えることを特徴とする画面共有システム。
2. 画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムであって、
   画面表示の共有をする共有領域の指定を受け付ける指定受付手段と、
   音声入力を受け付ける音声入力受付手段と、
   入力された前記音声を音声認識でテキストデータに変換する変換手段と、
   指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示する表示手段と、
   を備えることを特徴とする画面共有システム。
3. 前記テキストデータをファイル出力する出力手段を備えることを特徴とする請求項１又は２に記載の画面共有システム。
4. 前記テキストデータと、前記共有領域の画面データと、を対応付ける対応付手段を備えることを特徴とする請求項１乃至３の何れか一項に記載の画面共有システム。
5. 変換された前記テキストデータの内容に応じて、前記表示されたテキストデータの表示方法を変更する変更手段を備えることを特徴とする請求項１乃至４の何れか一項に記載の画面共有システム。
6. 画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有方法であって、
   画面表示の共有をする共有領域の指定を受け付けるステップと、
   音声入力を受け付けるステップと、
   入力された前記音声を音声認識でテキストデータに変換するステップと、
   指定を受け付けた前記共有領域内の画面データと、前記変換したテキストデータと、を前記共有領域内に表示するステップと、
   を備えることを特徴とする画面共有方法。
7. 画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有方法であって、
   画面表示の共有をする共有領域の指定を受け付けるステップと、
   音声入力を受け付けるステップと、
   入力された前記音声を音声認識でテキストデータに変換するステップと、
   指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変換したテキストデータを前記共有領域外に表示するステップと、
   を備えることを特徴とする画面共有システム。