JP2019083494A - Web conference system and control method therefor, and program - Google Patents
Web conference system and control method therefor, and program Download PDFInfo
- Publication number
- JP2019083494A JP2019083494A JP2017211284A JP2017211284A JP2019083494A JP 2019083494 A JP2019083494 A JP 2019083494A JP 2017211284 A JP2017211284 A JP 2017211284A JP 2017211284 A JP2017211284 A JP 2017211284A JP 2019083494 A JP2019083494 A JP 2019083494A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- sound data
- web conference
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、ウェブ会議システム、その制御方法およびプログラムに関する。 The present invention relates to a web conferencing system, a control method and program thereof.
従来、インターネット回線などを利用したウェブ会議システムにおいては、サーバ装置と複数のクライアント端末とで、音声データ、及び画像データの送受信を行う。これにより、会議に参加するユーザは、それぞれ別の場所にいながらウェブ会議を行うことが可能となる。 Conventionally, in a web conference system using an internet connection or the like, audio data and image data are transmitted and received between a server device and a plurality of client terminals. This enables users participating in the meeting to conduct web meetings while staying at different places.
特許文献１の技術では、サーバ装置がクライアント端末から受信した音声データを異なるクライアント端末に送信する技術が開示されている。サーバ装置はクライアント端末から受信した音声データをすべて合成し、当該合成した音声データを各クライアント端末へ配信する処理を行う。この処理により、音声データを送受信する仕組みが開示されている。 In the technology of Patent Document 1, a technology is disclosed in which the server device transmits voice data received from a client terminal to different client terminals. The server apparatus synthesizes all the voice data received from the client terminal, and distributes the synthesized voice data to each client terminal. A mechanism for transmitting and receiving audio data by this process is disclosed.
ウェブ会議システムでは、ユーザが話す音声だけでなく、動画や音楽の再生音などクライアント端末で再生する音も他のクライアント端末と共有したい場合がある。 In the web conference system, there are cases where it is desired to share not only the voice spoken by the user but also the sound reproduced by the client terminal, such as the reproduced sound of a video or music, with other client terminals.
しかしながら、クライアント端末で再生する音を適切に共有したい場合の仕組みは、特許文献１では開示されていない。例えば、動画の音声を共有しようとした場合、クライアント端末が備えるスピーカーから再生された動画の再生音を、同じくクライアント端末が備えるマイクで取得する方法が考えられる。しかしながら、動画の再生音を十分に取得できるようにするためには、マイク位置の調整や動画の再生音の調整など、ユーザによる物理的な調整の手間が生じる。 However, the mechanism for sharing the sound reproduced by the client terminal appropriately is not disclosed in Patent Document 1. For example, when trying to share the audio of a moving image, a method is conceivable in which the reproduction sound of the moving image reproduced from the speaker of the client terminal is acquired by the microphone of the client terminal. However, in order to be able to obtain sufficient playback sound of a moving image, it takes time for the user to make physical adjustments, such as adjustment of the microphone position and adjustment of the playback sound of the moving image.
そこで本発明は、ウェブ会議システムにおいて、情報処理装置の再生デバイスで再生される音声を、会議の参加者に適切に共有させることが可能な仕組みを提供することを目的とする。 Therefore, an object of the present invention is to provide a mechanism capable of causing a participant of a conference to appropriately share audio reproduced by a playback device of an information processing apparatus in a web conference system.
本発明のウェブ会議システムは、音声を入力する入力部と音データを出力する出力部とを備える情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を備えるウェブ会議システムであって、前記出力部で出力される音データと、前記入力部で入力された音声の音声データとを取得する取得手段と、前記取得手段で取得した音データと音声データとを合成する合成手段と、前記合成手段で合成した前記音データと前記音声データとを送信する送信手段と、を備えることを特徴とする。 The web conference system according to the present invention is a web conference system including an information processing apparatus including an input unit for inputting voice and an output unit for outputting sound data, and a server apparatus capable of communicating with the information processing apparatus. Acquisition means for acquiring sound data output from the output unit and speech data of speech input from the input unit; synthesis means for synthesizing the sound data and speech data acquired by the acquisition means; It is characterized by comprising transmitting means for transmitting the sound data synthesized by the synthesizing means and the voice data.
本発明によれば、ウェブ会議システムにおいて、情報処理装置の再生デバイスで再生される音声を、会議の参加者に適切に共有させることが可能な効果を奏する。 According to the present invention, in the web conference system, it is possible to appropriately share voices played by the playback device of the information processing apparatus to the participants of the conference.
以下、図面を参照して、本発明の実施の形態の一例について説明する。 Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の一実施例を示すウェブ会議システムのシステム構成を例示する図である。 FIG. 1 is a diagram illustrating a system configuration of a web conference system showing an embodiment of the present invention.
図１に示すように、本実施形態のウェブ会議システムは、例えば、情報処理装置などのパーソナルコンピュータを適用可能なウェブ会議サーバ１００、情報処理装置１０１、情報処理装置１０２を有する。情報処理装置１０１は画面及び音声を共有させるホストコンピュータであり、情報処理装置１０２は画面及び音声を共有するゲストコンピュータである。これら１００〜１０２に示す装置は、ネットワーク通信機能を利用し、ＬＡＮ５００（ローカルエリアネットワーク）を介してデータ通信可能であり、ウェブ会議システムに接続することでウェブ会議へ参加可能となる。
As shown in FIG. 1, the web conference system of the present embodiment includes, for example, a
ウェブ会議サーバ１００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバであり、例えば、情報処理装置などのパーソナルコンピュータを適用可能である。なお、ウェブ会議サーバ１００は、公衆回線１０６を介してデータ通信が可能である。
The
情報処理装置１０１および情報処理装置１０２は、ウェブ会議サーバ１００へアクセスすることにより、ウェブ会議アプリケーション画面（インタフェース）を取得してウェブ会議を行うことができる。情報処理装置１０１および情報処理装置１０２には、ウェブ会議サーバ１００へアクセスするためのウェブブラウザ、及び専用のモジュールがインストールされている。なお、この専用のモジュールは、例えば、ウェブブラウザを介して、ウェブ会議サーバ１００からダウンロードするＡｃｔｉｖｅＸコンポーネントである。
The information processing apparatus 101 and the information processing apparatus 102 can obtain a web conference application screen (interface) and conduct a web conference by accessing the
なお、情報処理装置１０１および情報処理装置１０２には、ウェブ会議において自身の動画像を送信する場合はウェブカメラ（不図示）を接続し、音声を送信する場合はマイク（不図示）を接続する。また、相手の音声を視聴するためにはスピーカー（不図示）を接続する。これらの各デバイスは、情報処理装置１０１および情報処理装置１０２上に複数台接続することが可能である。なお、本実施例のウェブ会議システムでは、各デバイスをそれぞれ１つずつ接続するものとする。 A web camera (not shown) is connected to the information processing apparatus 101 and the information processing apparatus 102 in the case of transmitting its own moving image in a web conference, and a microphone (not illustrated) is connected in the case of transmitting audio. . Also, a speaker (not shown) is connected to view the voice of the other party. A plurality of these devices can be connected on the information processing apparatus 101 and the information processing apparatus 102. In the web conference system of this embodiment, each device is connected one by one.
上記のウェブカメラから取得した映像、マイクから取得した音声は、それぞれ圧縮され、他の参加者の情報処理装置１０２に送信される。 The video acquired from the above-described web camera and the audio acquired from the microphone are each compressed and transmitted to the information processing apparatus 102 of another participant.
また、ウェブ会議システムでは、情報処理装置１０１の画面を情報処理装置１０２に表示することで、情報処理装置１０１の画面で表示している画面の共有を行うことができる。共有される画面は、情報処理装置１０１で指定することが可能である。また、共有される画面は、アプリケーションの画面であったり、デスクトップ全体の画面であったりする。 Further, in the web conference system, by displaying the screen of the information processing apparatus 101 on the information processing apparatus 102, the screen displayed on the screen of the information processing apparatus 101 can be shared. The screen to be shared can be designated by the information processing apparatus 101. Also, the screen to be shared may be the screen of the application or the screen of the entire desktop.
画面共有を行う場合、情報処理装置１０１の画面は、ウェブ会議サーバ１００に送信され、ウェブ会議サーバ１００から情報処理装置１０２に送信される。
When screen sharing is performed, the screen of the information processing apparatus 101 is transmitted to the
また、本実施形態においては、ホストコンピュータである情報処理装置１０１は、本ウェブ会議システムに１台だけ存在できる。ホストコンピュータの役割を担っていた情報処理装置１０１が情報処理装置１０２となり、ゲストコンピュータの役割を担っていた情報処理装置１０２が情報処理装置１０１としての役割を果たすことも可能である。情報処理装置１０２がホストコンピュータである情報処理装置１０１としての役割を果たす場合は、情報処理装置１０２の画面を本ウェブ会議システムで共有することができる。 Further, in the present embodiment, only one information processing apparatus 101, which is a host computer, can exist in the present web conference system. The information processing apparatus 101 playing the role of host computer may be the information processing apparatus 102, and the information processing apparatus 102 playing the role of guest computer may play the role of the information processing apparatus 101. When the information processing apparatus 102 plays a role as the information processing apparatus 101 which is a host computer, the screen of the information processing apparatus 102 can be shared by the present web conference system.
なお、本ウェブ会議システムは、ルームと呼ばれる仮想会議室を複数設定することが可能である。このルームを複数設定することにより複数の会議を行うことが可能であるが、本実施形態では、ウェブ会議システムでは１つのルームによる会議が行われているものとして説明する。複数のルームが存在する場合には、該当する１つのルームがウェブ会議システムを意味するものとする。以上が図１の説明である。 In the web conference system, it is possible to set a plurality of virtual conference rooms called rooms. It is possible to conduct a plurality of meetings by setting a plurality of rooms, but in the present embodiment, in the web conference system, it will be described that a conference by one room is being performed. When there are multiple rooms, one corresponding room shall mean the web conference system. The above is the description of FIG.
次に図２および図３を参照して、本発明の実施形態における各種装置に適用可能なハードウェア構成の一例について説明する。 Next, with reference to FIG. 2 and FIG. 3, an example of the hardware configuration applicable to various devices in the embodiment of the present invention will be described.
図２は、ウェブ会議サーバ１００のハードウェア構成の一例を示す図である。
FIG. 2 is a diagram showing an example of a hardware configuration of the
図２において、ウェブ会議サーバ１００のＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）が記憶される。また、ＲＯＭ２０２あるいは外部メモリ２１１には、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2, a
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、２０５は入力コントローラで、入力デバイス２０９からの入力を制御する。入力デバイス２０９としては、キーボード、タッチパネル、及びマウス等のポインティングデバイス等が挙げられる。
An
なお、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
When the
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 Further, the touch panel may be a touch panel capable of detecting a position touched by a plurality of fingers, such as a multi-touch screen.
２０６はビデオコントローラで、ディスプレイ２１０等の表示機への表示を制御する。なお、ディスプレイ２１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。なお、ディスプレイ２１０は、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものではなく、例えばプロジェクタであってもよい。
A
また、図２のウェブ会議サーバ１００が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ２１０が入力デバイス２０９としての機能を提供する。
Further, when the
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイルへのアクセスを制御する。また、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
A
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
A communication I /
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するための後述する各種プログラムは、ＲＯＭ２０２あるいは外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。
Various programs to be described later for realizing the present invention are stored in the
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報、テーブル等も、外部メモリ２１１に格納されている。
Furthermore, a definition file, various information, tables, and the like used when executing the program are also stored in the
以上で、図２のウェブ会議サーバ１００のハードウェア構成の説明を終了する。
This is the end of the description of the hardware configuration of the
図３は、情報処理装置１０１及び１０２のハードウェア構成の一例を示す図である。情報処理装置１０１と１０２は同じハードウェア構成であるため、情報処理装置１０１を例に以下説明する。 FIG. 3 is a diagram illustrating an example of the hardware configuration of the information processing apparatuses 101 and 102. Since the information processing apparatuses 101 and 102 have the same hardware configuration, the information processing apparatus 101 will be described below as an example.
図３において、情報処理装置１０１のＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）が記憶される。また、ＲＯＭ３０２あるいは外部メモリ３１１には、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 3, a
３０３はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、３０５は入力コントローラで、入力デバイス３０９からの入力を制御する。入力デバイス３０９としては、キーボード、タッチパネル、及びマウス等のポインティングデバイス等が挙げられる。
An
なお、入力デバイス３０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
When the
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 Further, the touch panel may be a touch panel capable of detecting a position touched by a plurality of fingers, such as a multi-touch screen.
３０６はビデオコントローラで、ディスプレイ３１０等の表示機への表示を制御する。なお、ディスプレイ３１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。なお、ディスプレイ３１０は、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものではなく、例えばプロジェクタであってもよい。
A
また、図３の情報処理装置１０１及び１０２が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ３１０が入力デバイス３０９としての機能を提供する。
Further, when the information processing apparatuses 101 and 102 in FIG. 3 are apparatuses capable of receiving the above-described touch operation, the
３０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）へのアクセスを制御する。また、メモリコントローラ３０７は、ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。
A
３０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
A communication I /
なお、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ３１０上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するための後述する各種プログラムは、ＲＯＭ３０２あるいは外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。
Various programs to be described later for realizing the present invention are stored in the
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報、テーブル等も、外部メモリ３１１に格納されており、これらについての詳細な説明も後述する。
Furthermore, definition files and various information used when executing the program, tables, and the like are also stored in the
カメラコントローラ３１２は、カメラ３１４等による映像取得を制御し、音声コントローラ３１３はマイク３１５（入力部）、スピーカー（出力部）３１６等による音声取得制御やスピーカー３１６への出力を制御する。なお、音声コントローラ３１３が音声を出力する先は、スピーカー３１６だけではなくヘッドフォンや外部のスピーカーに出力するための出力端子であってもよい。
The
カメラ３１４は、図３のハードウェア構成を適用する装置に内蔵されているカメラである。また、マイク３１５及びスピーカー３１６は、図３のハードウェア構成を適用する装置に内蔵されているマイク３１５及びスピーカー３１６である。以上が図３の説明である。
The
次に図４を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 4, an example of functional configurations of various devices in the embodiment of the present invention will be described.
情報処理装置１０１及び１０２は、画像記憶部４１１、送信制御部４１２、受信制御部４１３、合成部４１４等を備えている。
The information processing apparatuses 101 and 102 each include an
情報処理装置１０１と１０２は同じ機能構成であるため、ここでは情報処理装置１０１を例に説明を行い、情報処理装置１０２についての説明は省略する。 Since the information processing apparatuses 101 and 102 have the same functional configuration, the information processing apparatus 101 will be described as an example here, and the description of the information processing apparatus 102 will be omitted.
画像記憶部４１１は、送信制御部４１２によって送信する画像と同じ画像を記憶する記憶部（キュー）である。
The
キューには、情報処理装置１０１の撮像装置によって撮像される撮像画像（会議画像）用の画像キューと、ユーザ操作により指定された指定画像（情報処理装置１０１のデスクトップ画面の画像等）の画像キューがある。 The cues include an image cue for a captured image (meeting image) picked up by the imaging device of the information processing apparatus 101 and an image cue for a designated image (an image of a desktop screen of the information processing apparatus 101, etc.) designated by user operation. There is.
撮像画像用の画像キューには撮像画像を順次記憶する。カメラ３１４は継続的に撮像処理（動画の撮像及び情報処理装置１０１への動画の入力）を行うため、当該画像キューには、動画を構成する複数の画像が、動画内のフレームごとに順々に記憶される。
Captured images are sequentially stored in an image queue for captured images. Since the
指定画像用の画像キューには、指定画像を所定時間ごとに記憶する。例えば０．２秒ごとに、情報処理装置１０１のデスクトップ画面に表示されているデスクトップ画像を順次記憶する。記憶される各指定画像は、例えばデスクトップ画像を繋ぎ合わせて再生する動画の１フレームである。 The designated image is stored in the image queue for designated image at predetermined time intervals. For example, desktop images displayed on the desktop screen of the information processing apparatus 101 are sequentially stored every 0.2 seconds. Each designated image to be stored is, for example, one frame of a moving image to be reproduced by connecting desktop images.
送信制御部４１２は、各種画像や音声データを送信する機能部である（画像送信手段）。より具体的には、カメラ３１４において撮像され入力された画像（映像）や、ユーザ操作等により表示を共有する画像として指定された指定画像（デスクトップ全体または指定アプリケーションの画面の画像）を、ウェブ会議サーバ１００に送信制御する。
The
送信された画像は、ウェブ会議サーバ１００の受信制御部４２２で受信され、メモリ上の画像記憶部４２３（画像キュー）に格納される。
The transmitted image is received by the
受信制御部４１３は、ウェブ会議サーバ１００から画像及び音声を受信する機能部である。
The
合成部４１４は、情報処理装置１０１が、ＯＳで管理される動画や音楽プレイヤーで再生される再生音とマイク３１５から取得した音声データとウェブ会議サーバ１００から受信した音声データとを合成する機能部である（合成手段）。当該再生音とマイク３１５から取得した音声データとウェブ会議サーバ１００から受信した音声データとをすべて合成してもよいし、いずれかの再生音または音声データが含まれずに合成してもよい。合成部４１４の機能により各種の音声データを合成して一つの音データとすることで情報処理装置１０１からウェブ会議サーバ１００に当該音データを送信する際にデータ通信量を削減することが可能となる。なお、本実施形態では合成部４１４は情報処理装置１０１及び１０２で機能するが、ウェブ会議サーバ１００で合成してもよい。
The synthesizing
以上で、情報処理装置１０１及び情報処理装置１０２の機能構成の説明を終了する。 This is the end of the description of the functional configurations of the information processing apparatus 101 and the information processing apparatus 102.
次に、ウェブ会議サーバ１００の機能構成図について説明する。
Next, a functional configuration diagram of the
ウェブ会議サーバ１００は、会議情報記憶部４２１、受信制御部４２２、画像記憶部４２３、送信制御部４２４等を備えている。
The
会議情報記憶部４２１は、どのユーザが、どの会議室に入室してどのユーザと会議を行っているかを記憶する記憶部である。
The conference
受信制御部４２２は、情報処理装置１０１の送信制御部４１２より送信された会議画像（映像）、および指定画像、音声を受信する受信部である。
The
画像記憶部４２３は、情報処理装置１０１及び情報処理装置１０２から受信した画像及び音声を記憶する機能部である。
The
送信制御部４２４は、受信制御部４２２で受信した画像や指定画像、音声等を、同じ会議に参加している（例：同じ会議室に入室中の）、当該画像や音声の送信元の情報処理装置１０１とは別の、他の情報処理装置１０２に送信する制御部である。
The
なお、本実施形態においては、情報処理装置１０２がウェブ会議サーバ１００に対して、画像記憶部４２３からの画像の取得要求を行う。当該要求に応じてウェブ会議サーバ１００の送信制御部４２４が要求元の情報処理装置１０２に対して、当該要求受付時におけるキュー内の最新の画像を送信するものとする。
In the present embodiment, the information processing apparatus 102 requests the
情報処理装置１０２は、要求した画像を受信した後、当該受信した画像（動画内の１フレーム）を表示画面に表示する。そして当該表示と並行して、当該動画内の次の画像をウェブ会議サーバ１００に要求する。会議が終了する等、動画の表示が終了するまで、当該画像の要求と表示を繰り返す。
After receiving the requested image, the information processing apparatus 102 displays the received image (one frame in the moving image) on the display screen. Then, in parallel with the display, the next image in the moving image is requested to the
以上が図４のウェブ会議サーバ１００の機能構成図の説明である。
The above is the description of the functional configuration of the
図５は、本実施形態のウェブ会議システムにおける、情報処理装置１０１および情報処理装置１０２の音声共有処理の全体の流れを例示するフローチャートである。 FIG. 5 is a flowchart illustrating the entire flow of the voice sharing process of the information processing apparatus 101 and the information processing apparatus 102 in the web conference system of the present embodiment.
ステップＳ５０１において、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１の画面に、図６に示すようなデバイス設定画面６００を表示するように制御する。
In step S501, the
図６はデバイス設定画面６００の一例を示す図である。デバイス設定画面６００は、ウェブ会議システムで利用する各種デバイスを設定する画面である。デバイス設定画面６００は、カメラ選択部６０１、スピーカー選択部６０２、マイク選択部６０３、ＯＫボタン６０４を備える。カメラ選択部６０１、スピーカー選択部６０２、マイク選択部６０３でそれぞれのデバイスの選択を受け付け、ＯＫボタン６０４の押下を受け付けるとウェブ会議システムで使用するデバイスを決定する。
FIG. 6 shows an example of the device setting screen 600. As shown in FIG. The device setting screen 600 is a screen for setting various devices used in the web conference system. The device setting screen 600 includes a
ステップＳ５０２において、情報処理装置１０１のＣＰＵ３０１は、図６に示すようなデバイス設定画面６００を介して、使用するカメラ３１４、マイク３１５、スピーカー３１６など各デバイスの設定を受け付ける。そして各デバイスの使用状態を図７に示すようなデバイス状態テーブル７００に保存し、ステップＳ５０３に処理を進める。
In step S502, the
図７は、本実施例におけるデバイス状態テーブル７００の一例を示す。デバイス状態テーブル７００では、カメラ３１４、マイク３１５、スピーカー３１６の利用有無を保持する。デバイス状態テーブル７００は、デバイスの種類を示すデバイス７０１、デバイスを利用しているか否かを示す利用７０２を備える。また、利用しているデバイスがＯＳで既定された既定のデバイスか否かを示す既定か否か７０３と、情報処理装置１０１及び１０２で再生される再生音（以下、ＰＣ再生音）を他の情報処理装置１０２と共有しているか否かを示すＰＣ再生音共有７０４を備える。
FIG. 7 shows an example of the device status table 700 in the present embodiment. The device status table 700 holds the use of the
以下、図５のフローチャートの説明に戻る。 Hereinafter, the description returns to the flowchart of FIG.
ステップＳ５０３では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０２で設定を受け付け、選択されたスピーカー３１６が、情報処理装置１０１のＯＳ既定のスピーカー３１６か否かを確認し、デバイス状態テーブル７００に保存する。なお、ＯＳ既定のスピーカー３１６とは、情報処理装置１０１に接続されたスピーカー３１６のうち、音声を再生するソフトウェアが既定で使用するスピーカー３１６のことを示す。以降、ＰＣ再生音は、ＯＳ既定のスピーカー３１６から取得するものとして記述する。
In
ステップＳ５０４では、情報処理装置１０１のＣＰＵ３０１は、図６のデバイス設定画面６００で選択を受け付けた各デバイスの使用を開始する。
In step S504, the
ステップＳ５０５では、情報処理装置１０１のＣＰＵ３０１は、スピーカー３１６の使用有無を判定する。情報処理装置１０１のＣＰＵ３０１は、スピーカー３１６を使用していると判定した場合、ステップＳ５０６に処理を進める。情報処理装置１０１のＣＰＵ３０１は、スピーカー３１６を使用していないと判定した場合、デバイス設定の一連の処理を終了する。
In step S505, the
ステップＳ５０６では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの音声データの受信処理を開始する。
In step S506, the
ステップＳ５０７では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの音声データの受信処理を実行し、受信した音声を再生する音声再生処理を実行する。音声再生処理の詳細については、図１２を用いて説明する。
In step S507, the
図１２は、本発明の実施形態における、ウェブ会議アプリケーションの音声再生処理を例示するフローチャートである。図１２の処理は、図５のステップＳ５０９における、ウェブ会議サーバ１００からの音声受信開始処理において開始される。
FIG. 12 is a flowchart illustrating an audio reproduction process of the web conference application in the embodiment of the present invention. The process of FIG. 12 is started in the process of starting voice reception from the
ステップＳ１２０１において、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００から音声データを受信する。ここで受信する音声データは、他の情報処理装置１０２のマイク３１５から入力された音声データである。当該音声データは、他の情報処理装置１０２からウェブ会議サーバ１００が受信し、ウェブ会議サーバ１００からさらに情報処理装置１０１が受信したものである。
In
ステップＳ１２０２において、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００から音声データを受信したか否かを判定する。音声データを受信したと判定した場合、情報処理装置１０１のＣＰＵ３０１は、Ｓ１２０３に処理を進める。ウェブ会議サーバ１００から音声データを受信したと判定しなかったと判定した場合は、ウェブ会議サーバ１００からの音声受信処理を終了する。
In step S 1202, the
ステップＳ１２０３では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの受信した音声データを伸長（圧縮した音声データの解凍）し、ウェブ会議アプリケーションで選択されたスピーカー３１６のドライバに音声データを書き込む。これにより、選択されたスピーカー３１６で音声データが再生される。
In step S1203, the
図５に説明を戻す。 Description will be returned to FIG.
ステップＳ５０８では、情報処理装置１０１のＣＰＵ３０１は、画面共有処理を行う。画面共有処理については、図９を用いて説明する。
In step S508, the
図９は、本発明の実施形態における、画面共有処理を例示するフローチャートである。本実施形態では一例として、動画再生中の画面および音声を共有する場合を例示するが、画面を共有せず、動画もしくは音楽再生アプリケーションで再生する音楽を共有してもよい。 FIG. 9 is a flowchart illustrating screen sharing processing according to an embodiment of the present invention. In the present embodiment, as an example, the case of sharing a screen and audio during moving image reproduction is illustrated, but the screen may not be shared, and music to be reproduced by a moving image or music reproduction application may be shared.
ステップＳ９０１では、情報処理装置１０１のＣＰＵ３０１は、動画再生指示を受け付ける。動画再生指示を受け付けると、情報処理装置１０１のＣＰＵ３０１は、動画再生アプリケーションを起動し、動画の映像及び音声の再生を開始する。
In step S901, the
ステップＳ９０２では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に表示された図８のウェブ会議アプリケーション画面８００を介して、画面共有開始ボタン８０１の押下を受け付けるとステップＳ９０３に処理を進める。
In step S902, when the
図８のウェブ会議アプリケーション画面８００は、本発明の実施形態におけるウェブ会議アプリケーション画面の一例を示す図である。ウェブ会議システムでは、ウェブ会議に参加しているユーザのうちいずれか１名（１台）がホスト（ホストコンピュータ）となる。ホストとなったユーザは自身のコンピュータ（情報処理装置１０１）のデスクトップ全体、または特定のアプリケーションを、他の参加ユーザ（複数台数可）をゲスト（ゲストコンピュータ）として共有表示することができる。画面共有を開始する場合、ユーザは入室後のウェブ会議アプリケーション画面８００から画面共有開始ボタン８０１を押下する。画面共有開始ボタン８０１の押下を受け付けると、情報処理装置１０１は画面共有を開始する。
The web conference application screen 800 of FIG. 8 is a diagram showing an example of the web conference application screen in the embodiment of the present invention. In the web conference system, any one (one) of the users participating in the web conference serves as a host (host computer). A user who has become a host can share and display the entire desktop of his / her computer (information processing apparatus 101) or a specific application as a guest (a guest computer) with other participating users (a plurality of which may be available). To start screen sharing, the user presses the screen sharing
図８の画面共有操作画面８１０は、本発明の実施形態における、画面共有操作画面の一例を示す図である。 The screen sharing operation screen 810 of FIG. 8 is a diagram showing an example of the screen sharing operation screen in the embodiment of the present invention.
画面共有が開始された際、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１の画面上に画面共有操作画面８１０を表示する。ＰＣ再生音共有ボタン８１１の押下を受け付けると（共有指示受付手段）、情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音の共有を開始する。ＰＣ再生音の共有開始処理については後述する。
When screen sharing is started, the
ステップＳ９０３では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１の画面に、図８に示すような画面共有操作画面８１０を表示するように制御する。
In
ステップＳ９０４では、情報処理装置１０１のＣＰＵ３０１は、図７のデバイス状態テーブル７００を参照し、マイク３１５を使用しているか否かを判定する。マイク３１５を使用していないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ９０５に処理を進める。マイク３１５を使用していると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ９０６に処理を進める。
In step S904, the
ステップＳ９０５では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ９０３で表示された画面共有操作画面８１０のＰＣ再生音共有ボタン８１１を無効化する。これは、ステップＳ９０４の判定により、マイクが使用されておらず、ウェブ会議サーバ１００への音声送信処理が開始されていないためである。ＰＣ再生音の送信はウェブ会議サーバ１００への音声送信処理に依存し、ウェブ会議サーバ１００への音声送信処理が行われない場合にはＰＣ再生音もウェブ会議サーバ１００へ送信することが出来ない。ＰＣ再生音をウェブ会議サーバ１００へ送信しなければ、ＰＣ再生音を他の情報処理装置１０２と共有できないため、ここでではＰＣ再生音共有ボタン８１１を無効化する。
In
ステップＳ９０６において、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００への共有画面のデータの送信を開始し、本フローチャートの処理を終了する。情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１が表示している画面のスクリーンショットを撮影し、ウェブ会議サーバ１００へ撮影した当該画像を送信する処理を行う。当該処理により、情報処理装置１０１は、自身の画面を他の情報処理装置１０２に共有することが可能となる。
In step S906, the
以上で、図９の画面共有処理の説明を終了する。図９の処理により、ＰＣ再生音を共有する際の各種画面の表示が制御され、また情報処理装置１０１で表示される画面が他の情報処理装置１０２に共有される。 This is the end of the description of the screen sharing process of FIG. By the process of FIG. 9, the display of various screens when sharing PC playback sound is controlled, and the screen displayed by the information processing apparatus 101 is shared by the other information processing apparatus 102.
図５に説明を戻す。 Description will be returned to FIG.
ステップＳ５０９では、情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音を他の情報処理装置１０２と共有するべくＰＣ再生音共有開始処理を実行する。ＰＣ再生音共有開始処理の詳細については、図１０を用いて説明する。
In
図１０は、本発明の実施形態における、ＰＣ再生音共有開始処理を例示するフローチャートである。 FIG. 10 is a flowchart illustrating PC reproduction sound sharing start processing in the embodiment of the present invention.
ステップＳ１００１では、情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音共有ボタン８１１の押下を受け付けると、ステップＳ１００２に処理を進める。
In step S1001, when the
ステップＳ１００２では、情報処理装置１０１のＣＰＵ３０１は、デバイス状態テーブル７００を参照し、ウェブ会議で利用しているスピーカー３１６がＯＳ既定のスピーカー３１６か否かを判定する。既定のスピーカー３１６を利用していると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１００３に処理を進める。既定のスピーカー３１６を利用していないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１００４に処理を進める。
In step S1002, the
ステップＳ１００３では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの音声受信処理を停止する。これは、ＰＣ再生音の共有処理により、エコーが発生することを防ぐためである。エコーが発生する理由については図１３で後述する。
In step S1003, the
ステップＳ１００４において、情報処理装置１０１のＣＰＵ３０１は、図７のデバイス状態テーブル７００のＰＣ再生音共有フラグを「あり」に切り替え、処理を終了する。
In step S1004, the
以上で、図１０のＰＣ再生音共有開始処理のフローチャートの説明を終了する。図１０の一連の処理により、情報処理装置１０１で再生されるＰＣ再生音が、他の情報処理装置１０２で共有可能に再生する処理が開始される。 This is the end of the description of the flowchart of the PC reproduction sound sharing start process of FIG. By the series of processes in FIG. 10, the process of reproducing the PC reproduction sound reproduced by the information processing apparatus 101 so as to be shareable by another information processing apparatus 102 is started.
ステップＳ５１０では、情報処理装置１０１のＣＰＵ３０１は、マイク３１５の使用有無を判定する。情報処理装置１０１のＣＰＵ３０１は、マイク３１５を使用していると判定した場合は、ステップＳ５１１に処理を進める。情報処理装置１０１のＣＰＵ３０１は、マイク３１５を使用していないと判定した場合は、ステップＳ５１３に処理を進める。
In step S510, the
ステップＳ５１１では、情報処理装置１０１のＣＰＵ３０１は、マイク３１５から取得した音声データのウェブ会議サーバ１００への送信処理を開始する。
In step S 511, the
ステップＳ５１２では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１のＣＰＵ３０１は、音声送信処理を実行する。音声送信処理については、図１１を用いて詳細を説明する。
In step S512, the
図１１は、本発明の実施形態における、ウェブ会議サーバ１００への音声送信処理を例示するフローチャートである。本処理は、図５のステップＳ５０６のサーバへの音声送信開始処理において開始される。
FIG. 11 is a flowchart illustrating an audio transmission process to the
ステップＳ１１０１では、情報処理装置１０１のＣＰＵ３０１は、マイク入力を停止しているか否かを判定する。マイク入力を停止していないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０２に処理を進める。マイク入力を停止していると判定した場合、情報処理装置１０１のＣＰＵ３０１は、マイク３１５からの入力音を取得せずステップＳ１１０３に処理を進める。
In step S1101, the
ステップＳ１１０２では、情報処理装置１０１のＣＰＵ３０１は、マイク入力音を取得する。マイク入力音とは、情報処理装置１０１が備えるマイク３１５から入力された、ユーザが発した音声等の音声データを示す。マイク入力音を取得すると、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０３に処理を進める。
In step S1102, the
ステップＳ１１０３では、情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音を作成する。ＰＣ再生音の作成はウェブ会議アプリケーションではなく、情報処理装置１０１のＯＳが行う処理である。ＰＣ再生音がＯＳによってどのように作成されるかについては図１３と図１５を用いて説明する。
In step S1103, the
図１３は、本発明の実施形態における、ＯＳによるＰＣ再生音作成処理を例示するフローチャートである。ＰＣ再生音とは、ホストコンピュータとなる情報処理装置１０１上で動作するアプリケーションからスピーカー３１６に書き込まれた、全ての音声データが合成された音声データである。ここでは便宜的に、ＯＳ既定のスピーカー３１６において、ウェブ会議アプリケーション、動画再生アプリケーション、その他のアプリケーションが音声データを再生している場合を例示する。
FIG. 13 is a flowchart illustrating PC reproduction sound creation processing by the OS according to the embodiment of the present invention. The PC reproduction sound is sound data obtained by synthesizing all sound data written to the
ステップＳ１３０１では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議アプリケーションからスピーカー３１６に書き込まれた音声データを取得する。ウェブ会議アプリケーションで書き込まれた音声データとは、ウェブ会議サーバ１００から受信した音声データである。当該音声データにはウェブ会議サーバ１００が他の情報処理装置１０２（ウェブ会議の参加者）から受信した音声データ（第二の音データ）が含まれる。
In step S1301, the
ステップＳ１３０２では、情報処理装置１０１のＣＰＵ３０１は、動画再生アプリケーションから動画の再生時にスピーカー３１６に書き込まれた音声データを取得する。
In step S1302, the
ステップＳ１３０３では、情報処理装置１０１のＣＰＵ３０１は、その他のアプリケーションから書き込まれた音声データを取得する。その他とは、動画再生アプリケーション以外のアプリケーションであり、たとえば音楽再生アプリケーションなどの音声データを再生可能なアプリケーションを示す。
In step S1303, the
ステップＳ１３０４において、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１３０１からステップＳ１３０４の全ての音声データを合成し、ＰＣ再生音を作成する。つまり、同一のスピーカー３１６に対し、ウェブ会議アプリケーション、動画再生アプリケーション、その他のアプリケーションが音声データを再生している場合、ＰＣ再生音には当該３つの音声データが含まれる。
In step S1304, the
ここで、図１５について説明する。図１５のＰＣ再生音作成処理イメージ１５００は、図１１の音声送信処理と図１３のＰＣ再生音作成処理の処理のイメージ図の一例を示す。ＰＣ再生音作成処理イメージ１５００はすべて情報処理装置１０１上での処理のイメージである。ＰＣ再生音作成処理イメージ１５００では、ウェブ会議アプリケーション、動画再生アプリケーション、その他のアプリケーションからそれぞれ音声データを情報処理装置１０１のスピーカー３１６のドライバに書き込む。そして当該書き込んだ音声データを合成し（点線部１５０１）、情報処理装置１０１は点線部１５０１のＰＣ再生音を作成する。ここまでが、図１３のステップＳ１３０１から１３０４までの処理のイメージとなる。
Here, FIG. 15 will be described. The PC reproduction sound creation processing image 1500 of FIG. 15 shows an example of an image diagram of the processing of the sound transmission processing of FIG. 11 and the processing of PC reproduction sound creation of FIG. The PC reproduction sound creation processing image 1500 is all an image of processing on the information processing apparatus 101. In the PC playback sound creation processing image 1500, audio data is written from the web conference application, the video playback application, and other applications to the driver of the
ウェブ会議アプリケーションがスピーカー３１６に書き込んだ音声データは、ウェブ会議サーバ１００が他の情報処理装置１０２（ウェブ会議の参加者）から受信した音声データが含まれる。つまり、情報処理装置１０１で合成するＰＣ再生音には、他の参加者が送信した情報処理装置１０２の音声データが含まれる。情報処理装置１０２からの音声データを含む合成したＰＣ再生音を、情報処理装置１０１からウェブ会議サーバ１００に送信すると（図１５の１５０３）、ウェブ会議サーバ１００は当該ＰＣ再生音を情報処理装置１０２に送信する。その結果、情報処理装置１０２は自身が入力した音声データをウェブ会議サーバ１００から再び受信することとなる。したがって、自身が発した音声が自身に返ってくる現象（エコーと呼ばれる）が起こり、ウェブ会議の阻害要因となる課題が発生する。
The voice data written by the web conferencing application to the
上記の課題を、図１０のＳ１００３の処理を行うことで解決する。ＰＣ再生音共有ボタン８１１の押下を受け付けた場合には、まずウェブ会議サーバ１００からの音声データの受信を停止する。図１５のＰＣ再生音作成処理イメージ１５１０は、ウェブ会議サーバ１００からの音声データの受信を停止してＰＣ再生音を作成しているイメ―ジ図である。音声データの受信停止により図１３のステップＳ１３０１では、ウェブ会議サーバ１００から書き込まれた音声を取得せず、ステップＳ１３０４では他の情報処理装置１０２からの音声データを含まない状態でＰＣ再生音を作成することとなる（図１５の１５１１）。つまり、結果的に各アプリケーションで再生した動画の音声データや音楽の音声データのみのＰＣ再生音を作成する。当該ＰＣ再生音の作成により、情報処理装置１０２は自身が入力した音声データを含まないＰＣ再生音を受信することができるため、上記の課題であるエコーの発生を抑止することが可能となる。
The above problem is solved by performing the process of S1003 in FIG. When the pressing of the PC playback
ただし、情報処理装置１０１には、スピーカー３１６は複数存在することが可能となるため、ウェブ会議アプリケーションが音声データを書き込むスピーカー３１６と、ＰＣ再生音を取得するスピーカー３１６が異なる場合には、上記の課題は発生しない。上記の課題が発生するのは、ウェブ会議アプリケーションが音声データを書き込むスピーカー３１６と、ＰＣ再生音を取得するスピーカー３１６が同一であった場合である。従って、図１０のＳ１００３の処理は、ウェブ会議アプリケーションが音声データを書き込むスピーカー３１６が、ＰＣ再生音を取得するスピーカー３１６、つまりＯＳ既定のスピーカー３１６と同一の場合にのみ行う。そのため、図１０のステップＳ１００２で、情報処理装置１０１のＣＰＵ３０１は、ＯＳ既定のスピーカー３１６を利用していると判定した場合はウェブ会議サーバ１００からの音声受信を停止する。一方、情報処理装置１０１のＣＰＵ３０１は、ＯＳ既定のスピーカー３１６を利用していないと判定した場合は、ウェブ会議アプリケーションが音声データを書き込むスピーカー３１６と、ＰＣ再生音を取得するスピーカー３１６が異なり上記課題が発生しない。図１６のＰＣ再生音作成イメージ１６００は、上記課題が発生しない場合（既定のスピーカー以外のスピーカーが情報処理装置１０１のウェブ会議システムで設定され利用されている場合）のイメージ図である。そのため、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの音声受信処理を停止しない。
However, since a plurality of
以上で、ＰＣ再生音作成処理の説明を終了する。 This is the end of the description of the PC playback sound creation process.
図１１に説明を戻す。 Description will be returned to FIG.
ステップＳ１１０４では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０３で作成したＰＣ再生音を取得する。図１５の１５０２は、当該ステップＳ１１０４の処理のイメージ図である。
In step S1104, the
ステップＳ１１０５では、情報処理装置１０１のＣＰＵ３０１は、デバイス状態テーブル７００のＰＣ再生音共有７０４を参照し、ＰＣ再生音を送信するか否かを判定する。より具体的には、デバイス状態テーブル７００のＰＣ再生音共有７０４のフラグが「あり」となっていればＰＣ再生音を送信する。ＰＣ再生音を送信すると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０６に処理を進める。ＰＣ再生音を送信しないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０７に処理を進める。
In step S1105, the
ステップＳ１１０６において、情報処理装置１０１のＣＰＵ３０１は、マイク入力音があるか否かを判定する。マイク入力音があると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０７に処理を進める。マイク入力音がないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０９に処理を進める。
In step S1106, the
ステップＳ１１０７では、情報処理装置１０１のＣＰＵ３０１は、取得したマイク入力音と、取得したＰＣ再生音を一つの音声データとして合成し、ステップＳ１１０９に処理を進める。マイク入力音と共に合成されるＰＣ再生音は、ウェブ会議アプリケーションから書き込まれた他の情報処理装置１０２の音声データと、動画再生アプリケーション、およびその他のアプリケーションから書き込まれた音声データ（第一の音データ）とを含む。ＰＣ再生音は、ウェブ会議アプリケーションから書き込まれた音声データと、動画再生アプリケーション、およびその他のアプリケーションから書き込まれた音声データとのすべて、もしくはいずれかを含めばよい。ＰＣ再生音はステップＳ１１０３で作成され、ステップＳ１１０３で作成されたＰＣ再生音とマイク入力音とをステップＳ１１０７で合成する。この合成処理により、ＰＣ再生音の音声データの容量を小さくして情報処理装置１０２に対して共有することが可能となる。なお、ステップＳ１１０７でマイク入力音とＰＣ再生音の合成を行った後の音声データは、音割れを防ぐために音量を調整するとよい。
In step S1107, the
ステップＳ１１０８において、情報処理装置１０１のＣＰＵ３０１は、マイク入力音があるか否かを判定する。マイク入力音があると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１１０９に処理を進める。マイク入力音がないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、図１１のフローチャートの一連の処理を終了する。
In step S1108, the
ステップＳ１１０９において、情報処理装置１０１のＣＰＵ３０１は、音声データの圧縮を行い、ステップＳ１１１０に処理を進める。ここで圧縮される音声データは、ステップＳ１１０８でマイク入力音があると判定された場合は、マイク入力音のみ圧縮する。ステップＳ１１０７でマイク入力音とＰＣ再生音を合成した場合は、マイク入力音とＰＣ再生音を合成した音声データを圧縮する。ステップＳ１１０６でマイク入力音が無いと判定された場合は、ＰＣ再生音のみ圧縮する。つまり、ステップＳ１１０９で圧縮される音声データのパターンとしては、ＰＣ再生音のみ、マイク入力音のみ、ＰＣ再生音とマイク入力音を合成した音声データの３パターン存在する。
In step S1109, the
ステップＳ１１１０において、情報処理装置１０１のＣＰＵ３０１は、圧縮した音声データをウェブ会議サーバ１００に送信し、一連の処理を終了する。
In step S1110, the
以上により、図１１のウェブ会議サーバ１００への音声送信処理を例示するフローチャートの説明を終了する。図１１の一連の処理により、情報処理装置１０１から、同じウェブ会議に参加している他の情報処理装置１０２に対してＰＣ再生音のみ、マイク入力音のみ、ＰＣ再生音とマイク入力音を合成した音声データ、の３パターンの音声データを共有することが可能となる。なお、当該３パターンの音声データには限らず、他のパターンの組み合わせの音声データを情報処理装置１０２に共有してもよい。
This is the end of the description of the flowchart illustrating the voice transmission process to the
図１３のステップＳ１３０１で取得する音声データは、図１２のステップＳ１２０３でスピーカー３１６のドライバに書き込まれた音声データである。なお、情報処理装置１０１のＣＰＵ３０１は、図１０のステップＳ１００３でサーバからの音声受信処理を停止していた場合はステップＳ１２０１からステップＳ１２０３の処理を実行しない。
The audio data acquired in step S1301 of FIG. 13 is the audio data written to the driver of the
図５に説明を戻す。 Description will be returned to FIG.
ステップＳ５１３では、情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音の共有停止指示を受け付けたか否かを判定する。より具体的には、図８の画面共有操作画面８１０にＰＣ再生音共有停止ボタン（不図示）を表示させ、そのボタンの押下を受け付けることによりＰＣ再生音の共有停止を受け付けるとよい。情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音の共有停止指示を受け付けたと判定した場合はステップＳ５１４に処理を進める。情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音の共有停止指示を受け付けていないと判定した場合はＰＣ再生音の共有指示を受け付けるまでＰＣ再生音の共有処理を継続する。
In step S513, the
ステップＳ５１４では、情報処理装置１０１のＣＰＵ３０１は、ＰＣ再生音共有停止処理を実行して図５の音声共有処理の一連の処理を終了する。
In step S514, the
次に、図１４のフローチャートの一連の処理の流れについて説明する。図１４は、本発明の実施形態における、ＰＣ再生音共有の停止処理を例示するフローチャートである。 Next, the flow of a series of processes in the flowchart of FIG. 14 will be described. FIG. 14 is a flowchart illustrating stop processing of PC playback sound sharing in the embodiment of the present invention.
ステップＳ１４０１において、情報処理装置１０１のＣＰＵ３０１は、デバイス状態テーブル７００のＰＣ再生音共有７０４のフラグを「なし」に切り替える。
In step S1401, the
ステップＳ１４０２において、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの音声受信処理を停止しているか否かを判定する。ウェブ会議サーバ１００からの音声受信処理を停止していると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１４０３に処理を進める。ウェブ会議サーバ１００からの音声受信処理を停止していないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１４０４に処理を進める。
In step S <b> 1402, the
ステップＳ１４０３では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議サーバ１００からの音声受信処理を開始する。
In step S <b> 1403, the
ステップＳ１４０４では、情報処理装置１０１のＣＰＵ３０１は、マイク入力を停止しているか否かを判定する。マイク入力を停止していると判定した場合、情報処理装置１０１のＣＰＵ３０１は、ステップＳ１４０５に処理を進める。マイク入力を停止していないと判定した場合、情報処理装置１０１のＣＰＵ３０１は、一連の処理を終了する。
In step S1404, the
ステップＳ１４０５では、情報処理装置１０１のＣＰＵ３０１は、マイク入力を開始し、一連の処理を終了する。
In step S1405, the
以上で、図１４のＰＣ再生音共有の停止処理を終了する。この処理により、情報処理装置１０１と他の情報処理装置１０２とのＰＣ再生音の共有は終了し、通常のウェブ会議の音声データの送受信に処理を戻す。以上の本発明の実施形態の処理により、情報処理装置１０１は、動画や音楽など情報処理装置１０１で再生した音声を、物理的なマイク調整を等の手間を低減しつつ適切に他のウェブ会議参加者（情報処理装置１０２）に送信することが可能となる。さらに、音声を合成して他の情報処理装置１０２に送信することで、通信量やデータ容量を低減する効果も奏する。また、ＰＣ再生音の共有中に他のウェブ会議参加者の声がエコーとして戻らないように制御することも可能となる。 This is the end of the process for stopping PC playback sound sharing in FIG. By this processing, sharing of the PC reproduction sound between the information processing apparatus 101 and the other information processing apparatus 102 ends, and the processing returns to transmission / reception of voice data of a normal web conference. According to the processing of the embodiment of the present invention described above, the information processing apparatus 101 appropriately reduces the time, such as physical microphone adjustment, of the audio reproduced by the information processing apparatus 101, such as moving images and music, and other web conferences appropriately. It becomes possible to transmit to the participant (information processing apparatus 102). Furthermore, by synthesizing the voice and transmitting it to the other information processing apparatus 102, an effect of reducing the amount of communication and the data capacity can be achieved. In addition, it becomes possible to control so that the voices of other web conference participants do not return as echo during sharing of PC playback sound.
このように、本発明によれば、ウェブ会議システムにおいて、情報処理装置の再生デバイスで再生される音声データを、会議の参加者に適切に共有させることが可能な効果を奏する。 As described above, according to the present invention, in the web conference system, it is possible to appropriately share voice data played by the playback device of the information processing apparatus to the participants of the conference.
本発明の実施形態においては、情報処理装置１０１と他の情報処理装置１０２を一例に説明を行ったが、ウェブ会議に参加するホストコンピュータ（情報処理装置１０１）以外のゲストコンピュータは、複数存在してよい。 In the embodiment of the present invention, although the information processing apparatus 101 and the other information processing apparatus 102 have been described as an example, there are a plurality of guest computers other than the host computer (the information processing apparatus 101) participating in the web conference. You may
なお、上述した実施形態においてはウェブ会議を例にあげて本発明の説明をしたが、本発明は例えばテレビ会議、テレビ電話等にも適用可能である。ウェブ会議、テレビ会議、テレビ電話等の電子データを用いた会議を電子会議という。 Although the present invention has been described by taking the web conference as an example in the embodiment described above, the present invention is also applicable to, for example, a video conference, a video telephone, and the like. A conference using electronic data such as a web conference, a video conference, and a video telephone is called an electronic conference.
以上、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 As described above, the present invention can be embodied as, for example, a system, an apparatus, a method, a program, or a recording medium. Specifically, the present invention may be applied to a system constituted by a plurality of devices, or may be applied to an apparatus comprising a single device.
また、本発明におけるプログラムは、本実施形態に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体はコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各装置の処理方法ごとのプログラムであってもよい。 Further, the program in the present invention is a program that can execute the processing method of the flowchart shown in the present embodiment by a computer, and the storage medium of the present invention stores a computer executable program. The program in the present invention may be a program for each processing method of each device.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, the recording medium recording the program for realizing the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program itself read out from the recording medium realizes the novel function of the present invention, and the recording medium recording the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, non-volatile memory card, ROM, EEPROM, silicon A disk etc. can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiment are realized, but also an operating system (OS) or the like running on the computer is actually executed based on the instructions of the program. It goes without saying that the processing is partially or entirely performed, and the processing realizes the functions of the above-described embodiments.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided to the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is read based on the instruction of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiment are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, the present invention may be applied to a system constituted by a plurality of devices or to an apparatus comprising a single device. It goes without saying that the present invention can also be applied to the case where the invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can receive the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Further, by downloading and reading out a program for achieving the present invention from a server on a network, a database or the like by a communication program, the system or apparatus can receive the effects of the present invention. In addition, the structure which combined each embodiment mentioned above and its modification is also contained in this invention altogether.
１００ ウェブ会議サーバ
１０１ 情報処理装置
１０２ 情報処理装置
２０１ ＣＰＵ
２０８ 通信Ｉ／Ｆコントローラ
２１１ 外部メモリ
３０１ ＣＰＵ
３０８ 通信Ｉ／Ｆコントローラ
３１１ 外部メモリ
３１４ カメラ
３１５ マイク
３１６ スピーカー
５００ ＬＡＮ
100 Web conference server 101 information processing apparatus 102
208 Communication I /
308 Communication I /
Claims (8)
前記出力部で出力される音データと、前記入力部で入力された音声の音声データとを取得する取得手段と、
前記取得手段で取得した音データと音声データとを合成する合成手段と、
前記合成手段で合成した前記音データと前記音声データとを送信する送信手段と、
を備えることを特徴とするウェブ会議システム。 A web conference system including an information processing apparatus including an input unit for inputting voice and an output unit for outputting sound data, and a server apparatus capable of communicating with the information processing apparatus.
Acquisition means for acquiring sound data output from the output unit and audio data of audio input from the input unit;
Synthesizing means for synthesizing sound data and speech data acquired by the acquisition means;
Transmission means for transmitting the sound data and the voice data synthesized by the synthesis means;
A web conferencing system comprising:
前記ウェブ会議システムは、前記共有指示受付手段で前記音データの共有指示を受け付けた場合は、他の情報処理装置の入力部で入力された前記第二の音データを含まずに前記第一の音データを出力することを特徴とする請求項２に記載のウェブ会議システム。 The web conference system further includes sharing instruction receiving means for receiving an instruction to share the sound data between the information processing device and another information processing device,
When the sharing instruction accepting unit accepts the instruction to share the sound data, the web conference system does not include the second sound data input from the input unit of another information processing apparatus. The web conference system according to claim 2, characterized in that sound data is output.
前記画像送信手段は、前記送信手段で前記音データと前記音声データとを送信する際に、前記画像を送信することを特徴とする請求項１乃至５のいずれか１項に記載のウェブ会議システム。 The web conference system further includes an image transmission unit that transmits an image displayed by the information processing apparatus.
The web conference system according to any one of claims 1 to 5, wherein the image transmission means transmits the image when the sound data and the audio data are transmitted by the transmission means. .
前記出力部で出力される音データと、前記入力部で入力された音声の音声データとを取得する取得ステップと、
前記取得ステップで取得した音データと音声データとを合成する合成ステップと、
前記合成ステップで合成した前記音データと前記音声データとを送信する送信ステップと、
を備えることを特徴とするウェブ会議システム。 A control method of a web conference system including an information processing apparatus including an input unit for inputting a voice and an output unit for outputting sound data, and a server apparatus capable of communicating with the information processing apparatus,
An acquisition step of acquiring sound data output from the output unit and audio data of audio input from the input unit;
A synthesis step of synthesizing the sound data and the speech data acquired in the acquisition step;
A transmitting step of transmitting the sound data and the voice data synthesized in the synthesizing step;
A web conferencing system comprising:
前記ウェブ会議システムを、
前記出力部で出力される音データと、前記入力部で入力された音声の音声データとを取得する取得手段と、
前記取得手段で取得した音データと音声データとを合成する合成手段と、
前記合成手段で合成した前記音データと前記音声データとを送信する送信手段、
として機能させることを特徴とするプログラム。
A program to function as a control method of a web conference system including an information processing apparatus including an input unit for inputting voice and an output unit for outputting sound data, and a server apparatus capable of communicating with the information processing apparatus,
The web conferencing system
Acquisition means for acquiring sound data output from the output unit and audio data of audio input from the input unit;
Synthesizing means for synthesizing sound data and speech data acquired by the acquisition means;
Transmitting means for transmitting the sound data and the voice data synthesized by the synthesizing means;
A program characterized by acting as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017211284A JP7132478B2 (en) | 2017-10-31 | 2017-10-31 | WEB CONFERENCE SYSTEM, CONTROL METHOD AND PROGRAM THEREOF |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017211284A JP7132478B2 (en) | 2017-10-31 | 2017-10-31 | WEB CONFERENCE SYSTEM, CONTROL METHOD AND PROGRAM THEREOF |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019083494A true JP2019083494A (en) | 2019-05-30 |
| JP2019083494A5 JP2019083494A5 (en) | 2020-12-17 |
| JP7132478B2 JP7132478B2 (en) | 2022-09-07 |
Family
ID=66671238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017211284A Active JP7132478B2 (en) | 2017-10-31 | 2017-10-31 | WEB CONFERENCE SYSTEM, CONTROL METHOD AND PROGRAM THEREOF |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7132478B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004343566A (en) * | 2003-05-16 | 2004-12-02 | Ntt Docomo Inc | Mobile telephone terminal and program |
| JP2012075038A (en) * | 2010-09-29 | 2012-04-12 | Sony Corp | Control apparatus and control method |
| US20140320589A1 (en) * | 2013-04-30 | 2014-10-30 | Hewlett-Packard Development Company, L.P. | Audio processing of shared content |
| JP2015177476A (en) * | 2014-03-17 | 2015-10-05 | 株式会社リコー | Information processing apparatus, information processing system and program |
-
2017
- 2017-10-31 JP JP2017211284A patent/JP7132478B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004343566A (en) * | 2003-05-16 | 2004-12-02 | Ntt Docomo Inc | Mobile telephone terminal and program |
| JP2012075038A (en) * | 2010-09-29 | 2012-04-12 | Sony Corp | Control apparatus and control method |
| US20140320589A1 (en) * | 2013-04-30 | 2014-10-30 | Hewlett-Packard Development Company, L.P. | Audio processing of shared content |
| JP2015177476A (en) * | 2014-03-17 | 2015-10-05 | 株式会社リコー | Information processing apparatus, information processing system and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7132478B2 (en) | 2022-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4572615B2 (en) | Information processing apparatus and method, recording medium, and program | |
| JP2015043149A (en) | Operation terminal, program, and information processing system | |
| JP2017111643A (en) | Web conference system, information processing method, and program | |
| WO2020170453A1 (en) | Information processing device, information processing method, and program | |
| JP6508009B2 (en) | Terminal device, screen recording method, program, and information processing system | |
| JP2016063477A (en) | Conference system, information processing method and program | |
| CN115086729B (en) | Wheat connecting display method and device, electronic equipment and computer readable medium | |
| JP6163475B2 (en) | Screen sharing system, screen sharing server, screen sharing system control method, and program | |
| JP5999126B2 (en) | Information processing apparatus, information processing method, and program | |
| US20230199259A1 (en) | Computer-readable storage medium, terminal, and method | |
| JP2017112601A (en) | Information processing apparatus, information processing method, and program | |
| JP7132478B2 (en) | WEB CONFERENCE SYSTEM, CONTROL METHOD AND PROGRAM THEREOF | |
| JP6051075B2 (en) | A communication karaoke system that can continue duet singing in the event of a communication failure | |
| JP7206481B2 (en) | Information processing device, control method and program for information processing device | |
| JP2020144725A (en) | Information processing system and control method thereof | |
| JP2018036688A (en) | Information processing device, server device, information processing system, control method thereof, and program | |
| JP6703259B2 (en) | Information processing system, conference server, control method thereof, and program | |
| JP2016163111A (en) | Information processing device, information processing method, and program | |
| JP7138217B2 (en) | TERMINAL DEVICE, COMMUNICATION SYSTEM, CONTROL METHOD AND PROGRAM THEREOF | |
| JP2020194343A (en) | Information processing system, information processing device, control method of information processing system, and program | |
| JP5994898B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| KR102178924B1 (en) | Method and apparatus for providing performance of contents using virtual reality | |
| JP2019102953A (en) | Web conference system, control method for the same, and program | |
| JP2022164121A (en) | Information processing apparatus, control method for the same, and program | |
| JP2020005178A (en) | Image distribution system, information processing apparatus, control method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190115 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7132478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |