JP6174501B2 - Video conference server, video conference system, and video conference method - Google Patents

Video conference server, video conference system, and video conference method Download PDF

Info

Publication number
JP6174501B2
JP6174501B2 JP2014027354A JP2014027354A JP6174501B2 JP 6174501 B2 JP6174501 B2 JP 6174501B2 JP 2014027354 A JP2014027354 A JP 2014027354A JP 2014027354 A JP2014027354 A JP 2014027354A JP 6174501 B2 JP6174501 B2 JP 6174501B2
Authority
JP
Japan
Prior art keywords
video
quality
video data
terminal
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014027354A
Other languages
Japanese (ja)
Other versions
JP2015154315A (en
Inventor
太三 山本
太三 山本
雄三 橘
雄三 橘
斉 金子
斉 金子
猛志 小川
猛志 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014027354A priority Critical patent/JP6174501B2/en
Publication of JP2015154315A publication Critical patent/JP2015154315A/en
Application granted granted Critical
Publication of JP6174501B2 publication Critical patent/JP6174501B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、映像会議サーバ、映像会議システム、および、映像会議方法の技術に関する。   The present invention relates to a video conference server, a video conference system, and a video conference method.

会議参加者がそれぞれの端末を用いて、他の参加者との間で映像データの双方向通信を行う電子会議システムが提案されている。
例えば、特許文献１には、各参加者から受信した個別の符号化ストリームを１つの会議用の符号化ストリームへと合成する代わりに、個別の符号化ストリームの表示位置を合成画像の該当する表示位置に変更することで、再符号化する処理を不要とする旨が記載されている。
特許文献２には、各クライアント端末からの映像信号及び音声信号を、配信先で伸長可能なコーデックにより再圧縮する旨が記載されている。 There has been proposed an electronic conference system in which conference participants use each terminal to perform bidirectional communication of video data with other participants.
For example, in Patent Document 1, instead of synthesizing individual encoded streams received from the participants into one conference encoded stream, the display position of the individual encoded streams is displayed in the corresponding display of the synthesized image. It is described that the re-encoding process is not required by changing the position.
Patent Document 2 describes that video signals and audio signals from each client terminal are recompressed by a codec that can be expanded at a distribution destination.

特開２００５−３４１３２５号公報JP 2005-341325 A 特開２００６−３０４１７９号公報JP 2006-304179 A

会議参加者がそれぞれ用いる端末や通信回線の性能にはばらつきがあるので、会議参加者を映す映像データの映像品質にもばらつきが生じることも多い。もし、同じ会議参加者を映す映像データの映像品質を一律に定めてしまうと、その一律映像品質が高すぎて輻輳が発生し、映像データが途切れてしまったり、その一律映像品質が低すぎて映像がぼやけることで、会議内容の把握が困難になったりする。   Since the performance of the terminals and communication lines used by the conference participants varies, the video quality of the video data showing the conference participants often varies. If the video quality of video data showing the same conference participants is uniformly determined, the uniform video quality is too high and congestion occurs, the video data is interrupted, or the uniform video quality is too low. Because the video is blurred, it is difficult to understand the contents of the meeting.

一方、会議参加者が視聴する複数人の映像データには、ある重要人物を映す映像データは高品質が必要だが、別の人を映す映像データは低品質でもよいケースもある。このように、会議参加者によって別々の映像品質の映像データが提供されれば、映像品質を全員一律に高くする方式よりも、実質的な会議の体感品質を向上させることができる。
しかし、現状では、高性能な端末の使用者が重要人物であるとは限らないため、高品質で提供された映像データを、そのまま配信しても会議の体感品質を向上させることはできない。特許文献１，２などに記載された電子会議システムでは、会議主催者や会議参加者の品質希望を処理する手段は、記載されていない。 On the other hand, for video data of a plurality of people viewed by a conference participant, video data showing a certain important person needs high quality, but video data showing another person may be low quality. In this way, if video data of different video quality is provided by the conference participants, it is possible to improve the substantial quality of experience of the conference as compared with a method in which all the video quality is uniformly increased.
However, at present, users of high-performance terminals are not necessarily important persons. Therefore, even if video data provided with high quality is distributed as it is, the quality of experience of the conference cannot be improved. In the electronic conference system described in Patent Documents 1 and 2, etc., means for processing the quality request of the conference organizer or the conference participant is not described.

そこで、本発明は、映像会議システムにおける双方向映像通信に関する体感品質を向上させることを、主な課題とする。   Accordingly, the main object of the present invention is to improve the quality of experience related to bidirectional video communication in a video conference system.

前記課題を解決するために、本発明は、各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析する映像分析部と、前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信する映像出力部と、前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示する品質決定部とを有する映像会議サーバである。
または、本発明は、前記映像会議サーバに加えて、前記映像会議サーバから受信した前記複数の映像データを同じ画面内の別々の表示位置に表示する前記各会議参加者の端末を含めて構成される映像会議システムである。
さらに、本発明は、前記品質決定部が、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定することを特徴とする。
そして、前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、自身を映す映像データを、他の参加者に閲覧させるときの映像品質、または、受信者が注目する所定の参加者の映像データを他の映像データよりも高品質にする旨の映像品質である。 In order to solve the above-mentioned problems, the present invention receives video data transmitted from the terminals of each conference participant, analyzes a video quality for each received video data, and each conference participant A video output unit that distributes a plurality of video data received from the terminal to a conference participant's terminal different from the received terminal, and video data transmitted from the speaker's terminal of the video data The video quality of the video data to be distributed is determined from the analyzed video quality so that the video quality is higher than the video quality of the video data transmitted from the terminal that is not the speaker of each video data. The video conference server includes a quality determination unit that determines and instructs the determined video quality to the video output unit.
Or, in addition to the video conference server, the present invention is configured to include the terminals of the conference participants that display the plurality of video data received from the video conference server at different display positions in the same screen. This is a video conferencing system.
Further, according to the present invention, the quality determination unit accepts input of desired video quality for each conference participant from each conference participant's terminal, and the video quality of the above-mentioned speaker is higher than the video quality of the speaker. The video quality of the video data to be distributed is determined from the video quality desired for each of the inputted conference participants within a range where high quality is set.
The desired video quality for each conference participant accepted by the quality determination unit is the video quality when the other participant views the video data showing the video, or the predetermined participant that the receiver pays attention to The video quality of the video data is higher than the other video data.

これにより、発言者を映す映像データが高品質化されるので、会議内容を適切に会議参加者に把握させる上に、非発言者を映す映像データが低品質化されるので、通信資源を節約することができる。よって、映像会議システムにおける双方向映像通信に関する体感品質を向上させることができる。
さらに、自身の映像データを他の会議参加者に高品質で閲覧させなくない旨の希望や、注目する他の会議参加者の映像データを高品質で閲覧したい旨の希望など、会議参加者の希望が反映された映像データの配信処理が可能になる。 As a result, the video data showing the speaker is improved in quality, so the video content showing the non-speaker is reduced in quality, and the communication resources are saved, in addition to making the meeting participants properly grasp the contents of the conference. can do. Therefore, it is possible to improve the quality of experience related to bidirectional video communication in the video conference system.
In addition, the conference participant's desire to not allow other conference participants to view their video data in high quality and the desire to view the video data of other conference participants to watch in high quality. Distribution processing of video data reflecting hope is enabled.

本発明は、前記映像会議サーバが、さらに、前記受信した映像データから分析された映像品質に所望の映像品質が存在しないときに、前記受信した映像データの映像品質を、前記品質決定部が決定した映像品質になるようにアップコンバートまたはダウンコンバートにより変換する映像変換部を有することを特徴とする。   In the present invention, the video determination server further determines the video quality of the received video data when the desired video quality does not exist in the video quality analyzed from the received video data. It has a video conversion section for converting by up-conversion or down-conversion so that the video quality is the same.

これにより、各会議参加者の端末は、配信先の映像データの映像品質になるようにあらかじめ映像データを作成する必要がなくなるため、携帯端末などの低性能な端末でも、会議に参加できる。   This eliminates the need for each conference participant's terminal to create video data in advance so as to achieve the video quality of the video data of the distribution destination, so even a low-performance terminal such as a portable terminal can participate in the conference.

本発明は、前記品質決定部が、前記各会議参加者の端末の通信能力値の入力を受け付け、前記決定された配信対象の映像データの映像品質を配信するための通信能力値よりも、前記入力された端末の通信能力値が劣っている場合には、前記決定された配信対象の映像データの映像品質を前記端末の通信能力値の範囲内に修正することを特徴とする。   In the present invention, the quality determination unit accepts input of the communication capability value of each conference participant's terminal, and more than the communication capability value for distributing the determined video quality of the video data to be distributed. When the input communication capability value of the terminal is inferior, the video quality of the determined video data to be distributed is corrected within the range of the communication capability value of the terminal.

これにより、輻輳発生時には映像品質を落とすことで、遅延の発生を抑制することができる。   Thereby, the occurrence of delay can be suppressed by reducing the video quality when congestion occurs.

本発明によれば、映像会議システムにおける双方向映像通信に関する体感品質を向上させることができる。   ADVANTAGE OF THE INVENTION According to this invention, the quality of experience regarding the bidirectional | two-way video communication in a video conference system can be improved.

本発明の一実施形態に関する映像会議システムの使用例を示す説明図である。図１（ａ）は、５人の会議参加者の使用例を示す説明図である。図１（ｂ）は、図１（ａ）の各参加者の画面表示例を示す。It is explanatory drawing which shows the usage example of the video conference system regarding one Embodiment of this invention. Fig.1 (a) is explanatory drawing which shows the usage example of five meeting participants. FIG.1 (b) shows the example of a screen display of each participant of Fig.1 (a). 本発明の一実施形態に関する映像会議システムの概要を示す構成図である。It is a block diagram which shows the outline | summary of the video conference system regarding one Embodiment of this invention. 本発明の一実施形態に関する映像データに着目した映像会議システムを示す構成図である。It is a block diagram which shows the video conference system which paid its attention to the video data regarding one Embodiment of this invention. 本発明の一実施形態に関する制御データに着目した映像会議システムを示す構成図である。It is a block diagram which shows the video conference system which paid its attention to the control data regarding one Embodiment of this invention. 本発明の一実施形態に関する映像データの入出力を示す説明図である。図５（ａ）は、映像データの入力の一例を示す。図５（ｂ）は、映像データの出力の一例を示す。It is explanatory drawing which shows the input / output of the video data regarding one Embodiment of this invention. FIG. 5A shows an example of video data input. FIG. 5B shows an example of video data output. 本発明の一実施形態に関する品質決定部の処理を示すフロー説明図である。It is flow explanatory drawing which shows the process of the quality determination part regarding one Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図１は、映像会議システムの使用例を示す説明図であり、図１（ａ）は、５人の会議参加者の使用例を示す説明図である。会議の参加者は、各自で端末１を使用して映像会議を行う。
端末１は、自身を撮影して撮影データを作成するカメラと、自身のカメラの撮影データを映像会議サーバ２に送信する送信部１１（図３参照）と、他者のカメラの撮影データを映像会議サーバ２から受信する受信部１２（図３参照）と、各参加者の撮影データを表示するディスプレイとを有する。
映像会議サーバ２は、各端末１からの映像データを受信し、会議に参加する別の端末１に対して受信した映像データを転送（配信）する。 FIG. 1 is an explanatory diagram showing a usage example of the video conference system, and FIG. 1A is an explanatory diagram showing a usage example of five conference participants. Each participant in the conference conducts a video conference using the terminal 1 by himself / herself.
The terminal 1 shoots itself and creates shooting data, a transmission unit 11 (see FIG. 3) that transmits shooting data of its own camera to the video conference server 2, and video of shooting data of another person's camera It has the receiving part 12 (refer FIG. 3) received from the conference server 2, and the display which displays the imaging | photography data of each participant.
The video conference server 2 receives the video data from each terminal 1 and transfers (distributes) the received video data to another terminal 1 participating in the conference.

図１（ｂ）は、図１（ａ）の各参加者の画面表示例を示す。各端末１は、自身の撮影データと他者の撮影データとをもとに、各参加者の姿が領域分割されている１つの会議映像表示を作成し、その会議映像表示をディスプレイに表示する。
なお、端末１は、特許文献１に記載の技術のように、参加者ごとの映像データを受信し、それぞれの参加者の映像データの画面内での再生位置を互いに別々にする。これにより、映像データの受信側での再エンコーディング処理を行わずに済み、その処理に伴う遅延時間の発生を抑制できる。 FIG.1 (b) shows the example of a screen display of each participant of Fig.1 (a). Each terminal 1 creates one conference video display in which the appearance of each participant is divided into regions based on its own shooting data and other people's shooting data, and displays the conference video display on the display. .
Note that the terminal 1 receives video data for each participant as in the technique described in Patent Document 1, and sets the playback position of the video data of each participant on the screen separately from each other. As a result, it is not necessary to perform re-encoding processing on the video data receiving side, and generation of delay time associated with the processing can be suppressed.

ここで、本実施形態の映像会議システムの特徴として、会議の参加者ごとの映像品質を、会議における参加者の役割に応じてメリハリを付けて変化させることが挙げられる。例えば、図１（ｂ）では、映像会議サーバ２は、会議の発言者の映像品質を高品質にし、その他の聴講者の映像品質をそれよりも低い品質（中品質、低品質、静止画）に設定する。   Here, a feature of the video conference system according to the present embodiment is that the video quality of each participant in the conference is changed with a sharpness according to the role of the participant in the conference. For example, in FIG. 1B, the video conference server 2 makes the video quality of the speaker of the conference high, and the video quality of other listeners is lower than that (medium quality, low quality, still image). Set to.

図２は、映像会議システムの概要を示す構成図である。この映像会議システムは、３つのエリア９１，９２，９３をまたがるネットワークシステムとして構築される。エリア９１，９３は、それぞれ端末１を収容するアクセス網であり、エリア９２は、エリア間の通信を中継するコア網である。
そして、各アクセス網には映像会議サーバ２を配備し、コア網には品質管理装置３を配備する集中構成を採用する。なお、品質管理装置３は、図４で詳細に説明するが、映像データの通信品質などの映像会議サーバ２が映像品質を決定するための材料データを、映像会議サーバ２に提供する装置である。これにより、品質管理装置３を配備する台数を節約することができる。 FIG. 2 is a configuration diagram showing an outline of the video conference system. This video conference system is constructed as a network system that spans three areas 91, 92, and 93. Each of the areas 91 and 93 is an access network that accommodates the terminal 1, and the area 92 is a core network that relays communication between the areas.
A centralized configuration in which the video conference server 2 is provided in each access network and the quality control device 3 is provided in the core network is adopted. As will be described in detail with reference to FIG. 4, the quality management device 3 is a device that provides the video conference server 2 with material data for the video conference server 2 to determine video quality such as communication quality of video data. . As a result, the number of the quality management devices 3 to be deployed can be saved.

各エリア間の通信は、通信装置８１，８２，８３によって中継される。例えば、エリア９１の端末１から送信される映像データは、通信装置８１，８２，８３を経由して、エリア９３の端末１へと送信される（図２の実線矢印）。また、エリア９３の端末１から送信される映像データは、通信装置８３，８２，８１を経由して、エリア９１の端末１へと送信される（図２の破線矢印）。
一方、同じエリアに収容される端末１間での映像データのやりとり（エリア内の折り返し通信）には、そのエリア内の映像会議サーバ２だけが転送処理を行い、他のエリアには映像データを流さない。これにより、各エリア間の中継回線の通信量を節約することができる。 Communication between each area is relayed by communication devices 81, 82, 83. For example, the video data transmitted from the terminal 1 in the area 91 is transmitted to the terminal 1 in the area 93 via the communication devices 81, 82, and 83 (solid arrow in FIG. 2). The video data transmitted from the terminal 1 in the area 93 is transmitted to the terminal 1 in the area 91 via the communication devices 83, 82, 81 (broken line arrows in FIG. 2).
On the other hand, in the exchange of video data between terminals 1 accommodated in the same area (return communication within the area), only the video conference server 2 in the area performs transfer processing, and video data is transferred to other areas. Do not flush. Thereby, it is possible to save the communication amount of the relay line between the areas.

図３は、映像データに着目した映像会議システムを示す構成図である。図３の太線矢印は、映像データの流れを示す。
端末１は、図１で前記したように、送信部１１と、受信部１２とを有する。なお、図３では、送信部１１を有する端末１と、受信部１２を有する端末１とを別々に記載しているが、図１で説明したように、１台の端末１が送信部１１および受信部１２を有する（送受信可能な）構成である。
映像会議サーバ２は、映像分析部２１と、映像データ記憶部２２と、品質決定部２３と、映像変換部２４と、映像出力部２５とを有する。
品質管理装置３は、設定受付部３１と、品質管理部３２とを有する（詳細は、図４）。なお、設定受付部３１と、品質管理部３２とは同一筐体に収容してもよいし、別々の筐体に収容してもよい。
これらの各装置（端末１、映像会議サーバ２、品質管理装置３）は、それぞれＣＰＵ（Central Processing Unit）とメモリとハードディスク（記憶手段）とネットワークインタフェースを有するコンピュータとして構成され、このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラムを実行することにより、各処理部を動作させる。 FIG. 3 is a block diagram showing a video conference system focusing on video data. The bold arrows in FIG. 3 indicate the flow of video data.
The terminal 1 includes the transmission unit 11 and the reception unit 12 as described above with reference to FIG. In FIG. 3, the terminal 1 having the transmission unit 11 and the terminal 1 having the reception unit 12 are described separately. However, as described in FIG. The configuration includes the receiving unit 12 (can transmit and receive).
The video conference server 2 includes a video analysis unit 21, a video data storage unit 22, a quality determination unit 23, a video conversion unit 24, and a video output unit 25.
The quality management device 3 includes a setting reception unit 31 and a quality management unit 32 (for details, see FIG. 4). The setting reception unit 31 and the quality management unit 32 may be housed in the same housing or in separate housings.
Each of these devices (terminal 1, video conference server 2, quality control device 3) is configured as a computer having a CPU (Central Processing Unit), a memory, a hard disk (storage means), and a network interface. However, each processing unit is operated by executing the program read on the memory.

映像分析部２１は、各送信部１１からの映像データを受信して分析し、その分析結果を取得する。この分析結果には、例えば、各映像データについて、その配信に必要なネットワーク帯域などの通信能力や、映像データの映像品質が含まれる。
映像データ記憶部２２には、映像分析部２１により分析された各映像データが格納される。
ここで、端末１が映像会議サーバ２に送信する映像データの形式は、無圧縮のRAWデータまたはＪＰＥＧ（Joint Photographic Experts Group）規格などでフレーム内圧縮したデータが望ましい。一方、ＭＰＥＧ（Moving Picture Experts Group）規格などでフレーム間圧縮した映像データは、フレーム間圧縮処理では複数のフレームを蓄積後圧縮するという処理方式上、送信までに遅延が発生するため望ましくないが、採用してもよい。 The video analysis unit 21 receives and analyzes video data from each transmission unit 11 and acquires the analysis result. This analysis result includes, for example, the communication capability such as the network bandwidth necessary for distribution of each video data and the video quality of the video data.
Each video data analyzed by the video analysis unit 21 is stored in the video data storage unit 22.
Here, the format of the video data transmitted from the terminal 1 to the video conference server 2 is preferably uncompressed RAW data or data compressed in a frame by JPEG (Joint Photographic Experts Group) standard or the like. On the other hand, video data compressed between frames according to the MPEG (Moving Picture Experts Group) standard etc. is not desirable because it causes a delay until transmission due to the processing method of compressing after storing multiple frames in the inter-frame compression processing, It may be adopted.

映像出力部２５は、映像データ記憶部２２内の映像データ、および、映像変換部２４により変換された映像データをそれぞれ読み取り、その読み取った映像データを、会議に参加する端末１の受信部１２に向けて配信する。
ここで、映像出力部２５が配信する映像データの映像品質は、品質決定部２３により決定される。
もし、映像会議サーバ２から端末１に対して該当する映像品質を要求し、その要求に従って作成された映像品質の映像データを受信できたときには、映像変換部２４を介さずに（映像データ記憶部２２→映像出力部２５）、受信した映像データをそのまま配信してもよい。 The video output unit 25 reads the video data in the video data storage unit 22 and the video data converted by the video conversion unit 24, and sends the read video data to the reception unit 12 of the terminal 1 participating in the conference. Deliver to.
Here, the video quality of the video data distributed by the video output unit 25 is determined by the quality determination unit 23.
If the video conference server 2 requests the corresponding video quality from the terminal 1 and receives video data of the video quality created according to the request, the video conference server 2 does not go through the video conversion unit 24 (video data storage unit). 22 → video output unit 25), the received video data may be distributed as it is.

一方、端末１から受信した映像データの映像品質と、これから端末１に配信する映像データの映像品質とが異なるときには、映像会議サーバ２は、受信した映像データの映像品質を映像変換部２４を介して変換してから配信する（映像データ記憶部２２→映像変換部２４→映像出力部２５）。
映像変換部２４は、該当する映像品質を得るために、入力される映像データから、フレームの間引き、フレーム単位の再変換（アップコンバート、または、ダウンコンバート）などの各種映像処理を行う。また、映像変換部２４は、音声データの品質変更（サンプリング周波数の変更など）を行ってもよい。なお、映像変換部２４は、遅延を抑制するため、フレーム間圧縮を行わないことが望ましい。 On the other hand, when the video quality of the video data received from the terminal 1 is different from the video quality of the video data to be distributed to the terminal 1, the video conference server 2 converts the video quality of the received video data via the video conversion unit 24. Then, the data is converted and distributed (video data storage unit 22 → video conversion unit 24 → video output unit 25).
The video conversion unit 24 performs various types of video processing such as frame thinning and frame-unit reconversion (up-conversion or down-conversion) from input video data in order to obtain the corresponding video quality. In addition, the video conversion unit 24 may change the quality of audio data (such as changing the sampling frequency). Note that the video conversion unit 24 desirably does not perform inter-frame compression in order to suppress delay.

ここで、映像変換部２４を介するルート（映像変換あり）と、映像変換部２４を介さないルート（映像変換なし）との両方で所望の映像品質を得られるときには、以下に示すように、負荷状態に応じてルート選択する。
例えば、端末１の負荷状態や端末１から映像会議サーバ２への通信回線の負荷状態が所定閾値より高ければ、映像変換部２４を介するルートを採用してもよい（つまり、所望の映像品質を端末１に要求しない）。
または、映像変換部２４の負荷状態が所定閾値より高ければ、映像変換部２４を介さないルートを採用してもよい（つまり、所望の映像品質を端末１に要求する）。
各端末１は、映像会議サーバ２から要求される映像品質が１つであれば、単一の比較的高品質の映像を映像会議サーバ２に送信する。一方、要求される映像品質が複数であれば、同一内容の映像データを複数の映像品質で作成し、作成された各映像データを並列で映像会議サーバ２に送信する。 Here, when a desired video quality can be obtained by both the route through the video conversion unit 24 (with video conversion) and the route not through the video conversion unit 24 (without video conversion), as shown below, Route selection according to the state.
For example, if the load state of the terminal 1 or the load state of the communication line from the terminal 1 to the video conference server 2 is higher than a predetermined threshold, a route via the video conversion unit 24 may be adopted (that is, a desired video quality is set). (Do not request to terminal 1).
Alternatively, if the load state of the video conversion unit 24 is higher than a predetermined threshold, a route that does not pass through the video conversion unit 24 may be adopted (that is, a desired video quality is requested from the terminal 1).
Each terminal 1 transmits a single relatively high quality video to the video conference server 2 if the video quality required by the video conference server 2 is one. On the other hand, if there are a plurality of required video qualities, video data having the same content is created with a plurality of video qualities, and the created video data are transmitted to the video conference server 2 in parallel.

さらに、映像変換部２４は、映像品質を変換する処理に加えて、入力される映像データに対して様々な付加処理を行ってもよい。付加処理の一例として、映像変換部２４は、入力される映像データの音声を解析し、同時テキスト化して配信対象のテキストデータを議事録として抽出したり、抽出したテキストデータを他言語に翻訳して（日本語から英語に翻訳など）配信対象としたりしてもよい（同時通訳サービス）。   Furthermore, the video conversion unit 24 may perform various additional processes on the input video data in addition to the process of converting the video quality. As an example of the additional processing, the video conversion unit 24 analyzes the audio of the input video data, converts it to simultaneous text, extracts the text data to be distributed as minutes, or translates the extracted text data into another language. (Translation from Japanese to English, etc.) may be targeted for distribution (simultaneous interpretation service).

なお、映像出力部２５は、アーカイブ装置７にも映像データを送信し、アーカイブ装置７に対して映像データを保存（アーカイブ）させることで、会議のデータベースを構築してもよい。アーカイブ装置７は、ＮＡＳ（Network Attached Storage）などの網内ストレージであり、受信したデータを自身の記憶手段に格納する装置である。
ここで、アーカイブ装置７は、映像変換部２４の付加処理により作成される各付加データ（音声のテキストデータや、その翻訳データなど）も、受信した映像データに対応付けて格納してもよい。
これにより、１つの会議のデータベース内に「発言時刻、発言者、翻訳結果」などのテキストデータと、各参加者がアップロードした映像データとが保存されているため、リアルタイムに受信しなくても受信者ごとの会議の後日再生ができる。 Note that the video output unit 25 may construct a conference database by transmitting video data to the archive device 7 and storing (archive) the video data in the archive device 7. The archive device 7 is an in-network storage such as NAS (Network Attached Storage), and stores received data in its own storage means.
Here, the archive device 7 may store each additional data (audio text data, translation data thereof, etc.) created by the additional processing of the video conversion unit 24 in association with the received video data.
As a result, text data such as “speech time, speaker, translation result” and video data uploaded by each participant are stored in one conference database. Can be replayed at a later date for each person's meeting.

図４は、制御データに着目した映像会議システムを示す構成図である。
設定受付部３１は、各参加者の端末１から、送信部１１から送信される映像データの品質設定（送信者指定の品質設定）、および、受信部１２が受信する映像データの品質設定（受信者指定の品質設定）をそれぞれ受信し、その受信した品質設定を品質決定部２３に通知する。
つまり、設定受付部３１は、各端末１に対して個々に表示品質を要求させるカスタマコントロールの機能を提供する。
設定受付部３１から品質設定の通知を受けた品質決定部２３は、送信者指定の品質設定を受信者指定の品質設定よりも優先させて、映像品質を決定する。 FIG. 4 is a configuration diagram showing a video conference system focusing on control data.
The setting reception unit 31 sets the quality of video data transmitted from the transmission unit 11 from each participant's terminal 1 (quality setting specified by the sender) and sets the quality of video data received by the reception unit 12 (reception). The user-specified quality setting) is received, and the received quality setting is notified to the quality determination unit 23.
That is, the setting reception unit 31 provides a customer control function for requesting each terminal 1 to individually display quality.
Upon receiving the notification of the quality setting from the setting receiving unit 31, the quality determining unit 23 prioritizes the sender-specified quality setting over the receiver-specified quality setting and determines the video quality.

品質管理部３２は、ある会議に参加する各参加者が使用する端末１の通信能力を、品質決定部２３に通知する。そのため、品質管理部３２は、各端末１について、映像データの送受信についての通信能力を取得し、その取得した通信能力を品質決定部２３に通知する。
なお、品質管理部３２は、品質決定部２３に通知する通信能力について、品質決定部２３で決定された映像品質の送信に不足する場合（換言すると、実効帯域を上回る映像品質を送信しようとする場合）に限定してもよい。 The quality management unit 32 notifies the quality determination unit 23 of the communication capability of the terminal 1 used by each participant participating in a certain conference. Therefore, the quality management unit 32 acquires the communication capability for transmission / reception of video data for each terminal 1 and notifies the quality determination unit 23 of the acquired communication capability.
In addition, the quality management unit 32 attempts to transmit video quality exceeding the effective bandwidth when the communication capability notified to the quality determination unit 23 is insufficient for transmission of the video quality determined by the quality determination unit 23. Case).

なお、取得する通信能力は、パケット監視処理などにより計測した実効帯域などの実測値でもよいし、あらかじめ端末１ごとに設定されているカタログスペックの性能情報でもよい。カタログスペックとは、端末１の本体種別（ＰＣ、タブレット、スマートフォン）でもよいし、画面解像度などの端末１を構成する部品の性能情報でもよい。
ここで、通信能力と性能情報との関係について、端末１のハードウェアは時間変化しても変わらないため、そのＮＩＣ（Network Interface Controller）が提供する通信性能は変わらない（例えば、ギガビット・イーサネット（登録商標）なら、１ギガビット/秒の仕様）。しかし、端末１の通信能力とは、映像データの送受信を行う実効能力であり、映像会議サーバ２から端末１への通信路途中に輻輳が発生している場合などでは、低下してしまう。
品質管理部３２から通信能力の通知を受けた品質決定部２３は、例えば、「スマートフォンなら高品質を選択できない」などのようにして、映像品質を決定する。
なお、品質管理部３２から品質決定部２３に通知される情報（映像品質を決定するための情報）の一例として、輻輳が発生する各種状況の情報が挙げられる。各種状況とは、例えば、無線接続環境からの通信による割当て帯域が不足した状況や、無線という物理環境に依存する通信帯域の乱れが発生した状況である。 The communication capability to be acquired may be an actual measurement value such as an effective bandwidth measured by packet monitoring processing or the like, or catalog spec performance information set for each terminal 1 in advance. The catalog specification may be the main body type of the terminal 1 (PC, tablet, smartphone), or may be performance information of components constituting the terminal 1 such as the screen resolution.
Here, the relationship between the communication capability and the performance information does not change even if the hardware of the terminal 1 changes with time, so that the communication performance provided by the NIC (Network Interface Controller) does not change (for example, Gigabit Ethernet ( (Registered trademark) 1 gigabit / second specification). However, the communication capability of the terminal 1 is an effective capability of transmitting / receiving video data, and decreases when congestion occurs in the communication path from the video conference server 2 to the terminal 1.
Upon receiving the communication capability notification from the quality management unit 32, the quality determination unit 23 determines the video quality, for example, “If the smartphone cannot select high quality”.
An example of information (information for determining video quality) notified from the quality management unit 32 to the quality determination unit 23 is information on various situations in which congestion occurs. The various situations are, for example, a situation where an allocated bandwidth is insufficient due to communication from a wireless connection environment, or a situation where a disruption of the communication bandwidth depending on the physical environment of wireless has occurred.

品質決定部２３は、ポリシおよび課金ルール機能（ＰＣＲＦ：Policy and Charging Rules Function）が実装されている処理部である。
品質決定部２３は、映像出力部２５から各端末１に配信する映像データの映像品質を決定する。決定された映像品質は、映像変換部２４に通知されて映像変換パラメータとして用いられるとともに、映像出力部２５に通知されて映像会議サーバ２からどの映像データを配信用に選択するかを特定するために用いられる。
品質決定部２３は、映像品質を決定するための入力として、映像分析部２１が分析した分析結果（入力された映像データの映像品質）と、設定受付部３１が受け付けた各参加者指定の品質設定と、品質管理部３２が取得した各端末１の通信能力とのうち、少なくとも１つを用いる。 The quality determination unit 23 is a processing unit in which a policy and charging rules function (PCRF) is implemented.
The quality determination unit 23 determines the video quality of the video data distributed from the video output unit 25 to each terminal 1. The determined video quality is notified to the video conversion unit 24 and used as a video conversion parameter, and is also notified to the video output unit 25 to specify which video data is selected for distribution from the video conference server 2. Used for.
The quality determination unit 23 receives the analysis result (video quality of the input video data) analyzed by the video analysis unit 21 and the quality specified by each participant received by the setting reception unit 31 as inputs for determining the video quality. At least one of the setting and the communication capability of each terminal 1 acquired by the quality management unit 32 is used.

なお、同一内容の映像データでも、作成される映像品質の種類が多いほど、映像データ記憶部２２の記憶容量や、映像変換部２４の処理負荷が増大してしまう。そこで、品質決定部２３は、映像品質の種類を減らすために、優先映像（高品質）の映像品質と、非優先映像（低品質）の映像品質とで合計２種類の映像品質を作成してもよい。   Even with video data having the same content, the greater the number of types of video quality created, the greater the storage capacity of the video data storage unit 22 and the processing load of the video conversion unit 24. Therefore, in order to reduce the types of video quality, the quality determination unit 23 creates a total of two types of video quality, that is, the video quality of the priority video (high quality) and the video quality of the non-priority video (low quality). Also good.

そのとき、低品質の映像品質は、会議参加者のうちの最低の受信性能をもつ端末１が、他の会議参加者からの映像データを受信できる程度に、低く設定される。例えば、１０人の会議参加者のうちの参加者Ａの端末１の受信性能が3[Mbps]であり、会議参加者のうちの最低の受信性能であるときに、他の９人の映像データを受信するためには、3[Mbps]／9[人]=0.33[Mbps]が低品質の映像品質となる。   At that time, the low-quality video quality is set so low that the terminal 1 having the lowest reception performance among the conference participants can receive the video data from the other conference participants. For example, when the reception performance of the terminal 1 of the participant A among the 10 conference participants is 3 [Mbps] and the reception performance is the lowest among the conference participants, the other nine video data 3 [Mbps] / 9 [people] = 0.33 [Mbps] is a low quality video quality.

そして、高品質の映像品質は、低品質の映像品質よりも高い品質が設定される。１０人の会議参加者のうちの端末１の受信性能の平均値が5[Mbps]であり、かつ、主に２人が発言者であるときには、受信性能の余裕分（5[Mbps]-3[Mbps]=2[Mbps]）を２人分で割った値（1[Mbps]）を、低品質の映像品質（0.33[Mbps]）に加算した値（1.33[Mbps]）を高品質の映像品質とする。
これにより、２人分の高品質の映像品質（1.33[Mbps]×２[人]=2.66[Mbps]）と、７人分の低品質の映像品質（0.33[Mbps]×７[人]=2.31[Mbps]）との和（4.97[Mbps]）は、受信性能の平均値（5[Mbps]）の範囲内になる。
品質決定部２３は、以上説明した映像品質の決定処理について、その決定処理に使用される入力パラメータが時間とともに変化するので（例えば、会議人数の変動、輻輳などによる通信能力の変動）、映像品質の決定処理を１回だけでなく、複数回実施してもよい。 The high quality video quality is set higher than the low quality video quality. When the average value of the reception performance of the terminal 1 among the 10 conference participants is 5 [Mbps] and two of them are mainly speakers, the margin of the reception performance (5 [Mbps] −3 [Mbps] = 2 [Mbps]) divided by two (1 [Mbps]) and added to low quality video quality (0.33 [Mbps]) (1.33 [Mbps]) Video quality is assumed.
As a result, high quality video quality for 2 people (1.33 [Mbps] x 2 [people] = 2.66 [Mbps]) and low quality video quality for 7 people (0.33 [Mbps] x 7 [people] = 2.31 [Mbps]) (4.97 [Mbps]) is within the range of the average reception performance (5 [Mbps]).
Since the input parameters used for the determination process of the video quality determination process described above change with time (for example, fluctuations in the number of conferences, fluctuations in communication ability due to congestion, etc.), the quality determination unit 23 determines the video quality. This determination process may be performed not only once but a plurality of times.

図５は、映像データの入出力を示す説明図である。
図５（ａ）は、端末１から映像会議サーバ２への映像データの入力例を示す。参加者Ａの端末１からは、同一内容の映像データについて、２種類（高品質、低品質）の映像データが並列に入力される。一方、他の参加者Ｂ，Ｃからは、１種類の映像データが入力される。
図５（ｂ）は、映像会議サーバ２から端末１への映像データの出力例を示す。
１つめの端末１には、参加者Ａの高品質映像と、参加者Ｂの中品質映像と、参加者Ｃの静止画とがそれぞれ出力される。
２つめの端末１には、参加者Ａの低品質映像と、参加者Ｂの中品質映像と、参加者Ｃの静止画とがそれぞれ出力される。
３つめの端末１には、参加者Ａの高品質映像と、参加者Ｂの静止画と、参加者Ｃの静止画とがそれぞれ出力される。
なお、図５（ａ）では、参加者Ｂの静止画は、端末１から入力されていない。そこで、映像変換部２４は、品質決定部２３からの指示を受け、受信した映像会議サーバ２内の参加者Ｂの中品質映像を読み取り、参加者Ｂの静止画へと変換する。 FIG. 5 is an explanatory diagram showing input / output of video data.
FIG. 5A shows an example of video data input from the terminal 1 to the video conference server 2. From the terminal 1 of the participant A, two types (high quality and low quality) of video data are input in parallel for the same content of video data. On the other hand, one type of video data is input from the other participants B and C.
FIG. 5B shows an output example of video data from the video conference server 2 to the terminal 1.
The first terminal 1 outputs a high-quality video of the participant A, a medium-quality video of the participant B, and a still image of the participant C.
The second terminal 1 outputs a low-quality video of the participant A, a medium-quality video of the participant B, and a still image of the participant C.
The third terminal 1 outputs the high-quality video of the participant A, the still image of the participant B, and the still image of the participant C, respectively.
In FIG. 5A, the still image of the participant B is not input from the terminal 1. Therefore, the video conversion unit 24 receives the instruction from the quality determination unit 23, reads the received medium quality video of the participant B in the video conference server 2, and converts it into a still image of the participant B.

図６は、品質決定部２３の処理を示すフロー説明図である。このフローは、会議主催者の要望（Ｓ２１の討論モード、Ｓ２２の講義モード）を会議参加者の要望よりも優先させ、かつ、会議参加者の要望では、映像データの送信者の要望（Ｓ２３の送信者指定）を映像データの受信者の要望（Ｓ２４の受信者指定）よりも優先させるようにするポリシ（指針）を具現化したものである。   FIG. 6 is a flowchart illustrating the processing of the quality determination unit 23. This flow gives priority to the meeting organizer's request (S21 discussion mode, S22 lecture mode) over the meeting participant's request, and in the meeting participant's request, the video data sender's request (S23 This is an implementation of a policy (guideline) that gives priority to the request of the sender (sender designation) over the request of the receiver of the video data (recipient designation in S24).

まず、会議主催者によって討論モードが設定されているときには（Ｓ１１，Ｙｅｓ）、品質決定部２３は討論モードに従って各参加者の映像品質を決定し（Ｓ２１）、Ｓ１５へ処理を進める。
討論モードとは、聴講者を映す映像データの映像品質よりも、発言者を映す映像データの映像品質を高く設定するモードである。なお、このモードは、会議参加者のうちの発言者と聴講者とが時間経過とともに次々と変動する討論の特徴を踏まえている。つまり、討議モードとは、会議における各参加者の役割が変動するモードである。 First, when the discussion mode is set by the conference organizer (S11, Yes), the quality determination unit 23 determines the video quality of each participant according to the discussion mode (S21), and proceeds to S15.
The discussion mode is a mode in which the video quality of the video data showing the speaker is set higher than the video quality of the video data showing the listener. Note that this mode is based on the characteristics of the discussion in which the speakers and listeners of the conference participants change over time. In other words, the discussion mode is a mode in which the role of each participant in the conference varies.

そのため、品質決定部２３は、各映像データの音声トラヒックを分析したり、送信側の端末１により映像データに付加された「発言中である」旨のタグを読み取ったりすることで、リアルタイムに発言者と聴講者とを認識する。
さらに、品質決定部２３は、各映像データの画像から人物認識処理を行い、動きの少ない参加者を検出したときに、検出した参加者を静止画や表示省略に変更してもよい。そして、映像会議サーバ２は、静止画や表示省略とされた参加者の端末１に対しては、映像データの送信処理を停止させることで、端末１の処理負荷やネットワークの通信負荷を軽減できる。 Therefore, the quality determination unit 23 analyzes the voice traffic of each video data, or reads the “speaking” tag added to the video data by the terminal 1 on the transmission side, thereby speaking in real time. Recognize listeners and listeners.
Furthermore, the quality determination unit 23 may perform person recognition processing from each video data image, and when detecting a participant with little movement, the detected participant may be changed to a still image or display omission. Then, the video conference server 2 can reduce the processing load of the terminal 1 and the communication load of the network by stopping the transmission processing of the video data for the terminal 1 of the participant whose display is omitted. .

次に、会議主催者によって講義モードが設定されているときには（Ｓ１２，Ｙｅｓ）、品質決定部２３は講義モードに従って各参加者の映像品質を決定し（Ｓ２２）、Ｓ１５へ処理を進める。講義モードとは、討論モードとは異なり、会議における各参加者の役割が固定であるモードである。
よって、講義モードでは、あらかじめ会議主催者によって指定された生徒を映す映像品質（静止画または表示省略など）よりも、あらかじめ会議主催者によって指定された講師を映す映像品質（動画など）を高く設定するモードである。 Next, when the lecture mode is set by the meeting organizer (S12, Yes), the quality determination unit 23 determines the video quality of each participant according to the lecture mode (S22), and proceeds to S15. Unlike the discussion mode, the lecture mode is a mode in which the role of each participant in the conference is fixed.
Therefore, in lecture mode, the video quality (such as video) that reflects the lecturer specified by the conference organizer in advance is set higher than the video quality (still image or display omitted) that reflects the student specified by the conference organizer in advance. It is a mode to do.

映像データの送信者によって映像品質が設定受付部３１に指定されているときには（Ｓ１３，Ｙｅｓ）、品質決定部２３は送信者指定に従って各参加者の映像品質を決定し（Ｓ２３）、Ｓ１５へ処理を進める。送信者指定とは、例えば、自身を映す映像データを、他の参加者は静止画でしか閲覧できないなどの指定である。   When the video quality is specified by the setting reception unit 31 by the video data sender (S13, Yes), the quality determination unit 23 determines the video quality of each participant according to the transmitter specification (S23), and the process proceeds to S15. To proceed. The sender designation is, for example, designation such that video data that shows itself can only be viewed by other participants as a still image.

映像データの受信者によって映像品質が設定受付部３１に指定されているときには（Ｓ１４，Ｙｅｓ）、品質決定部２３は受信者指定に従って各参加者の映像品質を決定し（Ｓ２４）、Ｓ１５へ処理を進める。受信者指定とは、例えば、受信者が注目する所定の参加者の映像データを他の映像データよりも高品質にするなどの指定である。   When the video quality is specified in the setting reception unit 31 by the receiver of the video data (S14, Yes), the quality determination unit 23 determines the video quality of each participant according to the receiver specification (S24), and the process proceeds to S15. To proceed. The receiver designation is, for example, a designation such that the video data of a predetermined participant that the receiver pays attention to is higher in quality than other video data.

以上、Ｓ２１〜Ｓ２４の各品質設定処理により、設定受付部３１は、各参加者の映像品質を決定する。これにより、同じ会議に参加する各参加者であっても、それぞれの映像品質を自由に決めることができる。なお、品質決定部２３は、Ｓ２１〜Ｓ２４の各品質設定処理について、優先度の高い順にいずれか１つの処理を採用する方式の代わりに、複数の処理を組み合わせることで、それぞれの映像品質を一意に特定してもよい。
例えば、品質決定部２３は、映像品質の候補が３ランク存在するときに（高品質、中品質、低品質）、Ｓ２１の討論モードで発言者Ａを高品質とし、Ｓ２３の送信者指定で聴講者Ｂを中品質とし、Ｓ２４の受信者指定で聴講者Ｃを低品質として、参加者Ｄにそれぞれ配信してもよい。
さらに、品質決定部２３は、優先度の高い品質設定処理（Ｓ２１など）で複数の映像品質の候補を列挙させ（例えば、聴講者は中品質か低品質）、優先度の低い品質設定処理（Ｓ２３など）でそれらの候補から採用する映像品質を絞り込み選択させてもよい（例えば、送信者指定で低品質を採用）。 As described above, the setting reception unit 31 determines the video quality of each participant through the quality setting processes in S21 to S24. Thereby, even each participant who participates in the same conference can freely determine the video quality of each participant. Note that the quality determination unit 23 uniquely assigns each video quality by combining a plurality of processes instead of a method of adopting any one process in descending order of priority for each quality setting process of S21 to S24. You may specify.
For example, when there are three ranks of video quality candidates (high quality, medium quality, and low quality), the quality determination unit 23 sets the speaker A to high quality in the discussion mode of S21, and listens with the sender designation in S23. The party B may be delivered to the participants D with medium quality and the listener C with low quality as designated by the recipient in S24.
Furthermore, the quality determination unit 23 enumerates a plurality of video quality candidates in a high priority quality setting process (such as S21) (for example, the listener has medium or low quality), and a low priority quality setting process ( The video quality to be adopted from those candidates may be narrowed down and selected in S23) (for example, low quality is adopted by the sender).

さらに、品質決定部２３は、品質修正を行う必要があれば（Ｓ１５，Ｙｅｓ）、Ｓ２１〜Ｓ２４で設定された映像品質を修正してもよい（Ｓ２５）。例えば、品質決定部２３は、Ｓ２１で高品質の映像品質として決定されていても、品質管理部３２が取得した配信先である端末１の通信能力が高品質の映像品質を配信できないときには、映像品質を高品質から低品質に修正することで、現状の通信能力に見合った映像品質を決定できる。   Furthermore, if it is necessary to perform quality correction (S15, Yes), the quality determination unit 23 may correct the video quality set in S21 to S24 (S25). For example, even if the quality determination unit 23 determines the high-quality video quality in S21, when the communication capability of the terminal 1 that is the distribution destination acquired by the quality management unit 32 cannot distribute the high-quality video quality, By modifying the quality from high quality to low quality, it is possible to determine the video quality that matches the current communication capability.

以上説明した本実施形態では、映像会議サーバ２の品質決定部２３が、参加者を映す映像データごとに会議の視聴に適した映像品質を決定し、映像出力部２５がその決定した各映像データを端末１に配信し、端末１がそれぞれ配信された各映像データを同一画面内に表示する（図１（ｂ））映像会議システムを示した。
これにより、会議参加者の各映像データを１つの会議の映像データとして合成（再エンコーディング）を実行しなくて済み、映像会議システムとして重要な低遅延での映像データの双方向通信を実現できる。 In the present embodiment described above, the quality determining unit 23 of the video conference server 2 determines video quality suitable for viewing the conference for each video data showing the participant, and the video output unit 25 determines the determined video data. Is distributed to the terminal 1, and each video data distributed by the terminal 1 is displayed on the same screen (FIG. 1B).
Thereby, it is not necessary to synthesize (re-encode) each video data of the conference participants as video data of one conference, and bi-directional communication of video data with low delay which is important as a video conference system can be realized.

品質決定部２３は、映像品質を決定する手がかりとして、会議主催者が設定した各モード（討論モード、講義モード）、設定受付部３１から受信した送信者指定や受信者指定、品質管理部３２から受信した端末１ごとの通信能力などを参照する。
そして、決定された各映像品質は、映像出力部２５が端末１に対して送信する映像データを選択する処理だけでなく、端末１に対する映像データの送信要求や、映像変換部２４映像データの変換要求にも使用される。
これにより、会議として重要な参加者の映像データを高品質にすることができるので、会議参加者の体感品質を向上させることができる。 As a clue to determine the video quality, the quality determination unit 23 sets each mode (discussion mode, lecture mode) set by the conference organizer, sender designation or receiver designation received from the setting reception unit 31, and from the quality management unit 32. The communication capability of each received terminal 1 is referred to.
The determined video qualities include not only the process of selecting the video data to be transmitted to the terminal 1 by the video output unit 25 but also the video data transmission request to the terminal 1 and the conversion of the video data by the video conversion unit 24. Also used for requests.
Thereby, since the video data of a participant important as a meeting can be made high quality, the experience quality of a meeting participant can be improved.

１ 端末
２ 映像会議サーバ
３ 品質管理装置
７ アーカイブ装置
１１ 送信部
１２ 受信部
２１ 映像分析部
２２ 映像データ記憶部
２３ 品質決定部
２４ 映像変換部
２５ 映像出力部
３１ 設定受付部
３２ 品質管理部
８１〜８３ 通信装置
９１〜９３ ネットワーク DESCRIPTION OF SYMBOLS 1 Terminal 2 Video conference server 3 Quality management apparatus 7 Archive apparatus 11 Transmission part 12 Reception part 21 Video analysis part 22 Video data storage part 23 Quality determination part 24 Video conversion part 25 Video output part 31 Setting reception part 32 Quality management part 81- 83 Communication equipment 91-93 Network

Claims (8)

各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析する映像分析部と、
前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信する映像出力部と、
前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示する品質決定部とを有し、
前記品質決定部は、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定し、
前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、自身を映す映像データを、他の参加者に閲覧させるときの映像品質であることを特徴とする
映像会議サーバ。 A video analysis unit that receives video data transmitted from each conference participant's terminal and analyzes the video quality of each received video data;
A plurality of video data received from each conference participant's terminal, a video output unit for delivering to a conference participant's terminal different from the received terminal;
The video quality of the video data transmitted from the terminal of the speaker among the video data is higher than the video quality of the video data transmitted from the terminal that is not the speaker of the video data. as described above, to determine the image quality of the video data to be distributed from the analyzed image quality, it has a quality determination unit for instructing the image quality with the determined to the video output unit,
The quality determining unit accepts input of desired video quality for each conference participant from the terminals of each conference participant, and sets the video quality of the above-described speaker to a higher quality than the video quality of a non-speaker Determining the video quality of the video data to be distributed from the desired video quality for each of the inputted conference participants,
The video conference server characterized in that the video quality desired for each conference participant accepted by the quality determination unit is a video quality when video data showing itself is viewed by other participants . 各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析する映像分析部と、
前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信する映像出力部と、
前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示する品質決定部とを有し、
前記品質決定部は、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定し、
前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、受信者が注目する所定の参加者の映像データを他の映像データよりも高品質にする旨の映像品質であることを特徴とする
映像会議サーバ。 A video analysis unit that receives video data transmitted from each conference participant's terminal and analyzes the video quality of each received video data;
A plurality of video data received from each conference participant's terminal, a video output unit for delivering to a conference participant's terminal different from the received terminal;
The video quality of the video data transmitted from the terminal of the speaker among the video data is higher than the video quality of the video data transmitted from the terminal that is not the speaker of the video data. as described above, to determine the image quality of the video data to be distributed from the analyzed image quality, it has a quality determination unit for instructing the image quality with the determined to the video output unit,
The quality determining unit accepts input of desired video quality for each conference participant from the terminals of each conference participant, and sets the video quality of the above-described speaker to a higher quality than the video quality of a non-speaker Determining the video quality of the video data to be distributed from the desired video quality for each of the inputted conference participants,
The video quality desired for each conference participant accepted by the quality determination unit is a video quality for making video data of a predetermined participant noted by the receiver higher than other video data. Video conference server. 前記映像会議サーバは、さらに、前記受信した映像データから分析された映像品質に所望の映像品質が存在しないときに、前記受信した映像データの映像品質を、前記品質決定部が決定した映像品質になるようにアップコンバートまたはダウンコンバートにより変換する映像変換部を有することを特徴とする
請求項１または請求項２に記載の映像会議サーバ。 The video conference server further sets the video quality of the received video data to the video quality determined by the quality determination unit when the desired video quality does not exist in the video quality analyzed from the received video data. video conference server according to claim 1 or claim 2 characterized in that it has an image converter for converting the up-conversion or down-conversion so. 前記品質決定部は、前記各会議参加者の端末の通信能力値の入力を受け付け、前記決定された配信対象の映像データの映像品質を配信するための通信能力値よりも、前記入力された端末の通信能力値が劣っている場合には、前記決定された配信対象の映像データの映像品質を前記端末の通信能力値の範囲内に修正することを特徴とする
請求項１ないし請求項３のいずれか１項に記載の映像会議サーバ。 The quality determination unit receives an input of a communication capability value of each conference participant's terminal, and the input terminal is more than the communication capability value for distributing the video quality of the determined video data to be distributed. 4. The video quality of the determined video data to be distributed is corrected within the range of the communication capability value of the terminal when the communication capability value of the terminal is inferior. The video conference server according to any one of claims. 各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析する映像分析部と、
前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信する映像出力部と、
前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示する品質決定部とを有する映像会議サーバ、および、
前記映像会議サーバから受信した前記複数の映像データを同じ画面内の別々の表示位置に表示する前記各会議参加者の端末を含めて構成され、
前記品質決定部は、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定し、
前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、自身を映す映像データを、他の参加者に閲覧させるときの映像品質であることを特徴とする
映像会議システム。 A video analysis unit that receives video data transmitted from each conference participant's terminal and analyzes the video quality of each received video data;
A plurality of video data received from each conference participant's terminal, a video output unit for delivering to a conference participant's terminal different from the received terminal;
The video quality of the video data transmitted from the terminal of the speaker among the video data is higher than the video quality of the video data transmitted from the terminal that is not the speaker of the video data. As described above, a video conference server having a quality determination unit that determines video quality of video data to be distributed from the analyzed video quality and instructs the video output unit to determine the determined video quality, and
Including the terminals of each conference participant displaying the video data received from the video conference server at different display positions within the same screen ;
The quality determining unit accepts input of desired video quality for each conference participant from the terminals of each conference participant, and sets the video quality of the above-described speaker to a higher quality than the video quality of a non-speaker Determining the video quality of the video data to be distributed from the desired video quality for each of the inputted conference participants,
The video conferencing system characterized in that the video quality desired for each conference participant accepted by the quality determination unit is a video quality when video data showing itself is viewed by other participants . 各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析する映像分析部と、
前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信する映像出力部と、
前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示する品質決定部とを有する映像会議サーバ、および、
前記映像会議サーバから受信した前記複数の映像データを同じ画面内の別々の表示位置に表示する前記各会議参加者の端末を含めて構成され、
前記品質決定部は、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定し、
前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、受信者が注目する所定の参加者の映像データを他の映像データよりも高品質にする旨の映像品質であることを特徴とする
映像会議システム。 A video analysis unit that receives video data transmitted from each conference participant's terminal and analyzes the video quality of each received video data;
A plurality of video data received from each conference participant's terminal, a video output unit for delivering to a conference participant's terminal different from the received terminal;
The video quality of the video data transmitted from the terminal of the speaker among the video data is higher than the video quality of the video data transmitted from the terminal that is not the speaker of the video data. As described above, a video conference server having a quality determination unit that determines video quality of video data to be distributed from the analyzed video quality and instructs the video output unit to determine the determined video quality, and
Including the terminals of each conference participant displaying the video data received from the video conference server at different display positions within the same screen ;
The quality determining unit accepts input of desired video quality for each conference participant from the terminals of each conference participant, and sets the video quality of the above-described speaker to a higher quality than the video quality of a non-speaker Determining the video quality of the video data to be distributed from the desired video quality for each of the inputted conference participants,
The video quality desired for each conference participant accepted by the quality determination unit is a video quality for making video data of a predetermined participant noted by the receiver higher than other video data. A video conferencing system. 映像分析部と、映像出力部と、品質決定部とを備える映像会議サーバによる映像会議方法であって、
前記映像分析部は、各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析し、
前記映像出力部は、前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信し、
前記品質決定部は、前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示し、
前記品質決定部は、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定し、
前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、自身を映す映像データを、他の参加者に閲覧させるときの映像品質であることを特徴とする
映像会議方法。 A video conferencing method by a video conference server comprising a video analysis unit, a video output unit, and a quality determination unit,
The video analysis unit receives video data transmitted from each conference participant's terminal, analyzes video quality for each received video data,
The video output unit distributes a plurality of video data received from each conference participant's terminal to a conference participant's terminal different from the received terminal,
The quality determination unit is configured such that the video quality of the video data transmitted from the terminal of the speaker among the video data is the video quality of the video data transmitted from the terminal that is not the speaker of the video data. To determine the video quality of the video data to be distributed from the analyzed video quality, and instruct the determined video quality to the video output unit ,
The quality determining unit accepts input of desired video quality for each conference participant from the terminals of each conference participant, and sets the video quality of the above-described speaker to a higher quality than the video quality of a non-speaker Determining the video quality of the video data to be distributed from the desired video quality for each of the inputted conference participants,
The video conferencing method characterized in that the video quality desired for each conference participant accepted by the quality determination unit is a video quality when video data showing the subject is viewed by other participants . 映像分析部と、映像出力部と、品質決定部とを備える映像会議サーバによる映像会議方法であって、
前記映像分析部は、各会議参加者の端末から送信される映像データを受信し、その受信した映像データごとの映像品質を分析し、
前記映像出力部は、前記各会議参加者の端末から受信した複数の映像データを、受信した端末とは別の会議参加者の端末に配信し、
前記品質決定部は、前記各映像データのうちの発言者の前記端末から送信される映像データの映像品質が、各映像データのうちの発言者ではない前記端末から送信される映像データの映像品質よりも高い品質になるように、前記分析された映像品質から配信対象の映像データの映像品質を決定し、その決定した映像品質を前記映像出力部に指示し、
前記品質決定部は、前記各会議参加者の端末から会議参加者ごとに希望する映像品質の入力を受け付け、前記した発言者の映像品質を発言者ではない映像品質よりも高い品質に設定する範囲内で、前記入力された会議参加者ごとに希望する映像品質から前記配信対象の映像データの映像品質を決定し、
前記品質決定部が受け付ける会議参加者ごとに希望する映像品質とは、受信者が注目する所定の参加者の映像データを他の映像データよりも高品質にする旨の映像品質であることを特徴とする
映像会議方法。 A video conferencing method by a video conference server comprising a video analysis unit, a video output unit, and a quality determination unit,
The video analysis unit receives video data transmitted from each conference participant's terminal, analyzes video quality for each received video data,
The video output unit distributes a plurality of video data received from each conference participant's terminal to a conference participant's terminal different from the received terminal,
The quality determination unit is configured such that the video quality of the video data transmitted from the terminal of the speaker among the video data is the video quality of the video data transmitted from the terminal that is not the speaker of the video data. To determine the video quality of the video data to be distributed from the analyzed video quality, and instruct the determined video quality to the video output unit ,
The quality determining unit accepts input of desired video quality for each conference participant from the terminals of each conference participant, and sets the video quality of the above-described speaker to a higher quality than the video quality of a non-speaker Determining the video quality of the video data to be distributed from the desired video quality for each of the inputted conference participants,
The video quality desired for each conference participant accepted by the quality determination unit is a video quality for making video data of a predetermined participant noted by the receiver higher than other video data. Video conference method.
JP2014027354A 2014-02-17 2014-02-17 Video conference server, video conference system, and video conference method Active JP6174501B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014027354A JP6174501B2 (en) 2014-02-17 2014-02-17 Video conference server, video conference system, and video conference method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014027354A JP6174501B2 (en) 2014-02-17 2014-02-17 Video conference server, video conference system, and video conference method

Publications (2)

Publication Number Publication Date
JP2015154315A JP2015154315A (en) 2015-08-24
JP6174501B2 true JP6174501B2 (en) 2017-08-02

Family

ID=53896150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014027354A Active JP6174501B2 (en) 2014-02-17 2014-02-17 Video conference server, video conference system, and video conference method

Country Status (1)

Country Link
JP (1) JP6174501B2 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
US9641563B1 (en) 2015-11-10 2017-05-02 Ricoh Company, Ltd. Electronic meeting intelligence
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
US10572858B2 (en) 2016-10-11 2020-02-25 Ricoh Company, Ltd. Managing electronic meetings using artificial intelligence and meeting rules templates
US10510051B2 (en) 2016-10-11 2019-12-17 Ricoh Company, Ltd. Real-time (intra-meeting) processing using artificial intelligence
US10860985B2 (en) 2016-10-11 2020-12-08 Ricoh Company, Ltd. Post-meeting processing using artificial intelligence
JP7121378B2 (en) * 2017-09-26 2022-08-18 Jcc株式会社 Video management method, video management device, and video management system
US10956875B2 (en) 2017-10-09 2021-03-23 Ricoh Company, Ltd. Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances
US10553208B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances using multiple services
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US10552546B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances in multi-language electronic meetings
US11062271B2 (en) 2017-10-09 2021-07-13 Ricoh Company, Ltd. Interactive whiteboard appliances with learning capabilities
US10757148B2 (en) 2018-03-02 2020-08-25 Ricoh Company, Ltd. Conducting electronic meetings over computer networks using interactive whiteboard appliances and mobile devices
US11080466B2 (en) 2019-03-15 2021-08-03 Ricoh Company, Ltd. Updating existing content suggestion to include suggestions from recorded media using artificial intelligence
US11263384B2 (en) 2019-03-15 2022-03-01 Ricoh Company, Ltd. Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed
US11720741B2 (en) 2019-03-15 2023-08-08 Ricoh Company, Ltd. Artificial intelligence assisted review of electronic documents

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294102A (en) * 1995-04-19 1996-11-05 Canon Inc Moving image communication conference system and its communication method
JP2001128132A (en) * 1999-10-28 2001-05-11 Nippon Telegr & Teleph Corp <Ntt> Method and system for video conference and recording medium having this method recorded thereon
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
JP2006080784A (en) * 2004-09-08 2006-03-23 Nippon Telegr & Teleph Corp <Ntt> Media information distribution apparatus and method
JP4977385B2 (en) * 2006-03-15 2012-07-18 日本電気株式会社 Video conference system and video conference method
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call

Also Published As

Publication number Publication date
JP2015154315A (en) 2015-08-24

Similar Documents

Publication Publication Date Title
JP6174501B2 (en) Video conference server, video conference system, and video conference method
US6453336B1 (en) Video conferencing with adaptive client-controlled resource utilization
US10187433B2 (en) Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogenous devices
CN102342066B (en) Real-time multi-media streaming processing bandwidth management
US9762857B2 (en) Video and audio processing devices and video conference system
US11546596B2 (en) Dynamic codec adaptation
WO2013132828A1 (en) Communication system and relay apparatus
US9019372B2 (en) Remote controlled studio camera system
US9118808B2 (en) Dynamic allocation of encoders
JP2010141824A (en) Data processing apparatus, program and method, and, network system
JP6179179B2 (en) Information processing apparatus, information processing method, and program
TW201110698A (en) Video conference apparatus and method thereof
JP2016001446A (en) Conversion image providing device, conversion image providing method, and program
JP2019050451A (en) Image processing apparatus and method for controlling the same, and program, and image processing system
US9832422B2 (en) Selective recording of high quality media in a videoconference
JP2004187170A (en) Video conference system
JP2010136220A (en) Communication terminal device, communication volume control method, and integrated circuit
JP2012151555A (en) Television conference system, television conference relay device, television conference relay method and relay program
JP6193569B2 (en) RECEPTION DEVICE, RECEPTION METHOD, AND PROGRAM, IMAGING DEVICE, IMAGING METHOD, AND PROGRAM, TRANSMISSION DEVICE, TRANSMISSION METHOD, AND PROGRAM
JP2018537885A (en) Method and system for flow rate adjustment in a content-controlled streaming network
JP2007020095A (en) Information combination apparatus, information combination system, information synchronizing method and program
JP6400163B2 (en) Reception device, reception method, transmission device, transmission method, and program
JP2014027613A (en) Video transmission apparatus and video transmission method
JP6651197B2 (en) Mixer device and live relay system
JP2013046319A (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170706

R150 Certificate of patent or registration of utility model

Ref document number: 6174501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150