JP2006060289A - Video image distributing system - Google Patents

Video image distributing system Download PDF

Info

Publication number
JP2006060289A
JP2006060289A JP2004237185A JP2004237185A JP2006060289A JP 2006060289 A JP2006060289 A JP 2006060289A JP 2004237185 A JP2004237185 A JP 2004237185A JP 2004237185 A JP2004237185 A JP 2004237185A JP 2006060289 A JP2006060289 A JP 2006060289A
Authority
JP
Japan
Prior art keywords
video
photographed
face
subject
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004237185A
Other languages
Japanese (ja)
Other versions
JP4479414B2 (en
Inventor
Kenichi Hirayama
健一 平山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2004237185A priority Critical patent/JP4479414B2/en
Publication of JP2006060289A publication Critical patent/JP2006060289A/en
Application granted granted Critical
Publication of JP4479414B2 publication Critical patent/JP4479414B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video image distributing system for properly arranging positional relationship between a video image window for displaying a photographed person and a document material window for displaying document materials and displaying them on the screen of a video image receiver. <P>SOLUTION: An eye image extracting unit connected to a video camera is provided on a video image transmitting apparatus for transmitting video images, the direction of the face of a photographed person is extracted by this eye image extracting unit and a control unit, and the extracted direction information is transmitted to the apparatus of a receiver side. A client PC on the receiver side displays the video image window 221 for displaying the photographed person and the document material window 222 for displaying the document materials on the screen 220 in response to the direction of the photographed person. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、学校や企業の教育や研修に使用され、或る地点からネットワークで結ばれた遠隔の他の地点へ映像を配信するシステムに関する。   The present invention relates to a system that is used for education and training of schools and companies and distributes video from a certain point to other remote points connected by a network.

従来の映像配信システムにおいては、例えば企業の研修において、研修場所で講師がプレゼンテーション資料を見ながら説明する様子をカメラで撮影し、撮影した映像を資料の画像とともに遠隔にある支店等に配信し、支店等で講師の講義を資料を見ながら聴くことができるようになっている。このような従来の映像配信システムを図２に示す。   In a conventional video distribution system, for example, in a company training, the instructor at the training location explains the presentation material while viewing the presentation material, and the captured image is distributed to the remote branch etc. together with the material image, You can listen to the lecturer's lecture while looking at the materials at the branch office. Such a conventional video distribution system is shown in FIG.

図２において、従来の映像配信システムは、映像送信装置１がＬＡＮ（ローカルエリアネットワーク）またはインターネット１０９を介して映像受信装置としての複数のクライアントＰＣ１０８またはセットトップボックス（ＳＴＢ）１１０に接続されて構成されている。映像送信装置１は、制御部１０１、メディアサーバー１０２、通信部１０３、ビデオカメラ１０４、ビデオオーディオエンコーダ部１０５、表示部１０６および表示切り替え入力部１０７から構成される。   In FIG. 2, the conventional video distribution system is configured by connecting a video transmission device 1 to a plurality of client PCs 108 or set-top boxes (STB) 110 as video reception devices via a LAN (local area network) or the Internet 109. Has been. The video transmission apparatus 1 includes a control unit 101, a media server 102, a communication unit 103, a video camera 104, a video audio encoder unit 105, a display unit 106, and a display switching input unit 107.

制御部１０１はデータ線１１１によりメディアサーバー１０２、通信部１０３、ビデオエンコーダ部１０５、表示部１０６および表示切り替え入力部１０７と接続され、通信部１０３は通信線１１２によりＬＡＮまたはインターネット１０９と接続されている。またビデオカメラ１０４およびマイク１１４はビデオオーディオエンコーダ部１０５と映像線１１３により接続されている。   The control unit 101 is connected to the media server 102, the communication unit 103, the video encoder unit 105, the display unit 106, and the display switching input unit 107 through the data line 111, and the communication unit 103 is connected to the LAN or the Internet 109 through the communication line 112. Yes. The video camera 104 and the microphone 114 are connected to the video audio encoder unit 105 by a video line 113.

企業の研修において講師の講義の様子を配信する場合の動作を説明する。講師２は、プレゼンテーション資料３を見ながら説明するものとする。まず、制御部１０１からの指示でビデオカメラ１０４で撮影した映像信号およびマイク１１４で収音した音声信号をビデオオーディオエンコーダ部１０５へ送り、ここで映像データを圧縮する。圧縮された映像データは通信部１０３へ送られ、ＬＡＮまたはインターネット１０９を介してクライアントＰＣ１０８またはセットトップボックス１１０に順次送信される。   Describes the operation of delivering lectures by lecturers in company training. Instructor 2 will explain while viewing presentation material 3. First, in response to an instruction from the control unit 101, a video signal photographed by the video camera 104 and an audio signal picked up by the microphone 114 are sent to the video audio encoder unit 105, where the video data is compressed. The compressed video data is sent to the communication unit 103 and sequentially sent to the client PC 108 or the set top box 110 via the LAN or the Internet 109.

プレゼンテーション資料３のデータは、メディアサーバー１０２に予め蓄積されており、講師２が表示切り替え入力部１０７の専用ボタンを押下することにより、その入力のタイミングに同期してメディアサーバー１０２に蓄積された静止画や文章ファイル（例えばパワーポイントプレゼンテーションファイルやワード文書ファイル）を通信部１０３からＬＡＮまたはインターネット１０９を介してクライアントＰＣ１０８またはセットトップボックス１１０に送信する。   The data of the presentation material 3 is stored in the media server 102 in advance, and when the lecturer 2 presses a dedicated button of the display switching input unit 107, the data stored in the media server 102 is synchronized with the input timing. An image or a text file (for example, a PowerPoint presentation file or a word document file) is transmitted from the communication unit 103 to the client PC 108 or the set top box 110 via the LAN or the Internet 109.

カメラの映像データを受信したクライアントＰＣ１０８またはセットトップボックス１１０は、順次送信されてくる圧縮された映像信号を復号化処理して画面上の映像ウィンドウに表示する。また逐次送信されてくる静止画や文章ファイルを資料ウィンドウに表示し、これにより講師２による研修を遠隔地で視聴することができる。   The client PC 108 or the set top box 110 that has received the video data of the camera decodes the compressed video signal that is sequentially transmitted and displays it on the video window on the screen. In addition, the still images and text files that are sequentially transmitted are displayed in the data window, so that the training by the lecturer 2 can be viewed at a remote location.

また学校教育においても、遠隔地にある教室をオンライン接続し、リアルタイムに双方向でインタラクティブに授業を行なうシステムが開発されている。このようなシステムを開示するものとして例えば、特開平１０−２０７５７号公報が挙げられる。   Also in school education, a system has been developed that connects remote classrooms online and provides interactive interactive lessons in real time. For example, Japanese Patent Laid-Open No. 10-20757 discloses such a system.

上記公報には、２つの教室をオンラインで結んだ遠隔協同授業システムにおいて、会話状態ボタンを押すことにより、表示画面の切り替えを行なう技術が開示されている。表示画面は大画面とウィンドウ画面を有し、どちらの画面に何を表示するかを会話状態ボタンの押下により行なうものである（上記公報段落[００３４]乃至段落[００３６]参照）。
特開平１０−２０７５７号公報 The above publication discloses a technique for switching display screens by pressing a conversation state button in a remote collaborative lesson system connecting two classrooms online. The display screen has a large screen and a window screen, and what is displayed on which screen is pressed by pressing a conversation state button (see paragraphs [0034] to [0036] above).
Japanese Patent Laid-Open No. 10-20757

しかしながら従来のシステムにおいては、映像受信装置としてのクライアントＰＣ１０８またはセットトップボックス１１０において、資料ウィンドウに説明資料を表示し、映像ウィンドウに講師が表示される。この場合、映像ウィンドウにおける講師の顔の向きの反対側に資料ウィンドウが表示されることがある。即ち、講師の顔が画面上で右を向いていて、資料ウィンドウが映像ウィンドウの左側になる場合があり、このような場合は視聴者に違和感を与え、聴講に集中できないことになる。   However, in the conventional system, in the client PC 108 or the set top box 110 as the video receiving device, the explanatory material is displayed in the data window, and the lecturer is displayed in the video window. In this case, the document window may be displayed on the opposite side of the direction of the teacher's face in the video window. In other words, the face of the instructor may turn right on the screen, and the document window may be on the left side of the video window. In such a case, the viewer feels uncomfortable and cannot concentrate on the audition.

また上記従来のシステムでは、資料ウィンドウと映像ウィンドウの大小表示切り替え、即ち、講師が受講者に問い掛けている時は映像ウィンドウを大表示に切り替え、資料について説明しているときは資料ウィンドウを大表示に切り替えることが可能であるが、この表示切り替えは講師あるいはアシスタントが手動で行なうようになっており、表示にタイムラグが発生するという問題があった。上記公報に記載のシステムにおいても、表示の切り替えはボタンの押下により行なわれており、同様の問題があった。   Also, in the above conventional system, the display of the document window and the video window is switched between large and small, that is, the video window is switched to the large display when the instructor asks the student, and the document window is displayed large when explaining the material. However, this display switching is manually performed by the instructor or assistant, and there is a problem that a time lag occurs in the display. In the system described in the above publication, display switching is performed by pressing a button, and there is a similar problem.

上記課題を解決するために、本発明は、映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、映像送信装置側において被撮影者の顔の向きを検出する検出手段を設け、検出手段の検出結果に基づいて映像受信装置における被撮影者の表示位置を決定することを特徴とする。   In order to solve the above-described problems, the present invention includes a video transmission device and a video reception device remote from the video transmission device, and transmits the video of the person to be photographed from the video transmission device to the video reception device. In a video distribution system for displaying a video of a photographed person received by the apparatus, a detection means for detecting the direction of the face of the photographed person is provided on the video transmission apparatus side, and the image receiving apparatus in the video receiving apparatus is based on the detection result of the detection means. The display position of the photographer is determined.

検出手段を被撮影者の顔の横向きを検出可能とし、映像受信装置は被撮影者を表示する画面の他に映像送信装置から受信した資料画像を表示する表示画面を有するものとし、検出手段が被撮影者の顔の横向きを検出すると、映像受信装置における被撮影者の表示画面の位置を、該画面における被撮影者の顔の向きが資料の表示画面の側になるように設定する。検出手段は被撮影者の目の位置を検出することにより顔の横向きを検出するようにする。   The detection means is capable of detecting the orientation of the face of the photographed person, and the video receiving apparatus has a display screen for displaying the document image received from the video transmitting apparatus in addition to the screen for displaying the photographed person. When the horizontal orientation of the face of the photographed person is detected, the position of the display screen of the photographed person in the video receiving device is set so that the orientation of the face of the photographed person on the screen is on the display screen side of the material. The detecting means detects the horizontal orientation of the face by detecting the position of the eye of the subject.

また上記映像配信システムにおいて、映像送信装置側において被撮影者の顔の向きを検出する検出手段を設け、該検出手段の検出結果に基づいて映像受信装置における被撮影者の表示の大きさを決定することを特徴とするものである。被撮影者が正面を向いていると検出された場合は大きい画面で表示する。   Further, in the video distribution system, a detection means for detecting a face direction of the photographed person is provided on the video transmitting apparatus side, and a display size of the photographed person in the video receiving apparatus is determined based on a detection result of the detection means. It is characterized by doing. When it is detected that the person to be photographed is facing the front, a large screen is displayed.

上記構成の本発明によれば、被撮影者の顔の向きを検出する検出手段を設け、検出手段の検出結果に基づいて被撮影者の表示位置を決定するので被撮影者を違和感のない位置に表示することができる。また被撮影者の表示位置の決定を自動的に行なうので、表示にタイムラグは発生しない。   According to the present invention having the above-described configuration, the detection unit for detecting the orientation of the face of the photographed person is provided, and the display position of the photographed person is determined based on the detection result of the detection means. Can be displayed. In addition, since the display position of the subject is automatically determined, no time lag occurs in the display.

以下、本発明を実施するための形態を図面に従って説明する。図１は本発明の第１実施の形態の映像配信システムを示すブロック図である。図１において、第１の実施の形態の映像配信システム２０は、映像送信装置２１がＬＡＮ（ローカルエリアネットワーク）またはインターネット２０９を介して映像受信装置としての複数のクライアントＰＣ２０８またはセットトップボックス（ＳＴＢ）２１１に接続されて構成されている。映像送信装置２１は、制御部２０１、メディアサーバー２０２、通信部２０３、ビデオカメラ２０４、マイク２１２、ビデオオーディオエンコーダ部２０５、表示部２０６、表示切り替え入力部２０７および目画像抽出部２１０から構成される。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a video distribution system according to the first embodiment of the present invention. 1, the video distribution system 20 according to the first embodiment includes a plurality of client PCs 208 or set-top boxes (STBs) in which a video transmission device 21 is a video reception device via a LAN (local area network) or the Internet 209. 211 is configured. The video transmission device 21 includes a control unit 201, a media server 202, a communication unit 203, a video camera 204, a microphone 212, a video audio encoder unit 205, a display unit 206, a display switching input unit 207, and an eye image extraction unit 210. .

制御部２０１はデータ線１１１によりメディアサーバー２０２、通信部２０３、ビデオエンコーダ部２０５、表示部２０６、表示切り替え入力部２０７および目画像抽出部２１０と接続され、通信部２０３は通信線１１２によりＬＡＮまたはインターネット２０９と接続されている。またビデオカメラ２０４およびマイク２１２はビデオエンコーダ部２０５および目画像抽出部２１０と映像線１１３により接続されている。メディアサーバー２０２には予めプレゼンテーション資料のデータが蓄積されている。   The control unit 201 is connected to the media server 202, the communication unit 203, the video encoder unit 205, the display unit 206, the display switching input unit 207, and the eye image extraction unit 210 via the data line 111, and the communication unit 203 is connected to the LAN or It is connected to the Internet 209. The video camera 204 and the microphone 212 are connected to the video encoder unit 205 and the eye image extraction unit 210 by the video line 113. The media server 202 stores presentation material data in advance.

次に第１の実施の形態の動作を説明するが、ここでは企業の研修において講師の講義の様子を配信する場合の動作を説明する。講師（被撮影者）２は、プレゼンテーション資料３を見ながら説明するものとする。映像送信装置２１において、制御部２０１からの指示でビデオカメラ２０４で撮影した映像信号およびマイク２１２で収音した音声信号をビデオオーディオエンコーダ部２０５へ送り、ここで映像データを圧縮する。ここでは例えば、ＭＰＥＧ４規格フォーマットに変換される。圧縮された映像データは通信部２０３へ送られ、ＬＡＮまたはインターネット２０９を介してクライアントＰＣ２０８またはセットトップボックス２１１に順次送信される。   Next, the operation of the first embodiment will be described. Here, the operation in the case of distributing the lecturer's lecture state in the company training will be described. The lecturer (photographer) 2 shall explain while viewing the presentation material 3. In the video transmission device 21, a video signal photographed by the video camera 204 and an audio signal picked up by the microphone 212 are sent to the video audio encoder unit 205 according to an instruction from the control unit 201, and the video data is compressed here. Here, for example, it is converted into the MPEG4 standard format. The compressed video data is sent to the communication unit 203 and is sequentially sent to the client PC 208 or the set top box 211 via the LAN or the Internet 209.

このとき、制御部２０１は目画像抽出部２１０に対して目の抽出開始を指示する。目画像抽出部２１０では、ビデオカメラ２０４から入力される映像信号から目画像の抽出を行い、抽出した目の位置情報を制御部２０１に返信する。ここで目画像を抽出して講師の顔の向きを判定する動作を説明する。図３は顔向き判定動作を示すフローチャートである。   At this time, the control unit 201 instructs the eye image extraction unit 210 to start eye extraction. The eye image extraction unit 210 extracts an eye image from the video signal input from the video camera 204 and returns the extracted eye position information to the control unit 201. Here, the operation of extracting the eye image and determining the orientation of the teacher's face will be described. FIG. 3 is a flowchart showing the face orientation determination operation.

まずビデオカメラ２０４から入力される映像信号から目画像の抽出を行う（ステップ１）。図４はビデオカメラ２０４で撮影された撮影画像を示す説明図である。講師２を撮影した撮影画像は、目画像抽出部２１０へ送られる。目画像抽出部２１０は、送られてきた画像の中から目の領域の候補を抽出する。図４に示す例では、両目（（１）、（２））とマイクロフォン２１２（３）が候補として抽出される。このとき各候補の位置座標が位置情報として算出される。位置座標は、図４に示す画面において、左上隅を原点とし、右方向へＸ軸をとり、下方向へＹ軸を取ったときの座標値で表される。   First, an eye image is extracted from a video signal input from the video camera 204 (step 1). FIG. 4 is an explanatory view showing a photographed image photographed by the video camera 204. A photographed image obtained by photographing the lecturer 2 is sent to the eye image extraction unit 210. The eye image extraction unit 210 extracts eye region candidates from the transmitted image. In the example shown in FIG. 4, both eyes ((1), (2)) and the microphone 212 (3) are extracted as candidates. At this time, the position coordinates of each candidate are calculated as position information. In the screen shown in FIG. 4, the position coordinates are represented by coordinate values when the upper left corner is the origin, the X axis is taken in the right direction, and the Y axis is taken in the lower direction.

ここで候補が３つあるので、何れか１つが目ではないことになり、目の位置を特定するために各候補のＹ座標値を比較する。この比較により、候補（３）が他の候補（１）、（２）とＹ座標値が大きく異なり、候補（１）と候補（２）はＹ座標値が近似していることから、候補（１）と候補（２）が目であると判定される。目であると判定された位置の位置情報は制御部２０１へ送られる。   Here, since there are three candidates, one of them is not an eye, and the Y coordinate values of the candidates are compared to specify the position of the eye. As a result of this comparison, the candidate (3) is significantly different from the other candidates (1) and (2) in Y coordinate value, and the candidate (1) and candidate (2) are approximate in Y coordinate value. It is determined that 1) and candidate (2) are eyes. The position information of the position determined to be an eye is sent to the control unit 201.

次にまばたき除去処理を行う（ステップ２）。ビデオカメラ２０４からは撮影画像が順次目画像抽出部２１０へ送信されてくる。目画像抽出部２１０では、送られてくる画像のうち、講師２がまばたきしている画像を除去する。図５はまばたき除去動作を示す説明図である。図５（ａ）から（ｂ）を経て（ｃ）へと時間的に変化していくものとする。   Next, blink removal processing is performed (step 2). Captured images are sequentially transmitted from the video camera 204 to the eye image extraction unit 210. The eye image extraction unit 210 removes images that the instructor 2 is blinking from among the images that are sent. FIG. 5 is an explanatory diagram showing the blink removal operation. It is assumed that time changes from FIG. 5 (a) to (c) through (b).

図５（ａ）は目を開いている状態である。ステップ１で目の位置を特定しているので、その位置において目の輪郭の中に瞳孔及び虹彩に対応する黒画像と、白目に対応する白画像があるか否かにより、目が閉じられているか否かを判断する。図５（ｂ）では両方の目が閉じられていると判断され、その後図５（ｃ）に示すように両方の目が開いていると判断されたとき、まばたきしていると判定される。まばたきと判定された場合、図５（ｂ）に示す画像は除去され（ステップ３）、その後の顔の向きの判定には使用されない。   FIG. 5A shows a state where the eyes are open. Since the position of the eye is specified in step 1, the eyes are closed depending on whether there is a black image corresponding to the pupil and iris and a white image corresponding to the white eye in the outline of the eye at that position. Determine whether or not. In FIG. 5B, it is determined that both eyes are closed, and then it is determined that both eyes are blinking when it is determined that both eyes are open as shown in FIG. 5C. If it is determined to blink, the image shown in FIG. 5B is removed (step 3) and is not used for the subsequent determination of the face orientation.

次に講師の顔の向きを判定する（ステップ４）。図６は目の移動を検出して顔の向きを判定するための説明図である。図６（ａ）から（ｂ）を経て（ｃ）へと時間的に変化していくものとする。目画像抽出部２１０は、目の位置情報を連続して算出し、制御部２０１へ送る。制御部２０１では前後する位置情報を比較して目がどちら側へ移動しているかを判定する。図６において、Ｘ1は右目のＸ座標を示し、Ｘ2は左目のＸ座標を示す。図６（ａ）と図６（ｂ）とを比較すると、両目ともＸ座標が増加しており、図６（ａ）から図６（ｂ）への変化は、講師２が顔を画面上の右側へ移動させたと判定される。そして図６（ｃ）においては講師２の片方の目が消失し、消失しない目のＸ座標は図６（ｂ）における右目Ｘ1のＸ座標よりも増加している。 Next, the orientation of the teacher's face is determined (step 4). FIG. 6 is an explanatory diagram for determining the face orientation by detecting the movement of the eyes. It is assumed that time changes from FIG. 6A through FIG. 6B to FIG. 6C. The eye image extraction unit 210 calculates eye position information continuously and sends it to the control unit 201. The control unit 201 compares the positional information before and after to determine which side the eye is moving. In FIG. 6, X 1 represents an X coordinate of the right eye, X 2 represents the X-coordinate of the left eye. Comparing FIG. 6 (a) and FIG. 6 (b), the X coordinate increases for both eyes, and the change from FIG. 6 (a) to FIG. It is determined that it has been moved to the right. And Figure 6 disappeared one eye of instructor 2 in (c), X-coordinate of not lost eye has increased than the X coordinate of the right eye X 1 in FIG. 6 (b).

制御部２０１は、片方の目の消失を確認すると（ステップ５）、図６（ｃ）において残っている目のＸ座標が、仮に右目Ｘ1としてみると、図６（ａ）から図６（ｂ）を経てさらに図６（ｃ）と、増加傾向にあり、また仮に左目Ｘ2としてみると、図６（ｂ）から図６（ｃ）にかけて減少していることから、図６（ｃ）において残っている目は、右目であると推定する（ステップ６）。したがって消失した目は左目と推定されるから、これにより講師２は左を向いた（画面上は右を向いた）と判定する（ステップ７）。ステップ６において残っている目が左目であると推定した場合は、講師２は右を向いた（画面上は左を向いた）と判定する（ステップ８）。 The control unit 201 confirms the disappearance of one eye (Step 5), remaining eye X-coordinate in FIG. 6 (c) is, if if viewed as a right eye X 1, FIGS. 6 (a) 6 ( b) further FIG 6 (c) via, on the increase, also Supposing viewed as left X 2, since it is reduced toward FIG 6 (c) from FIG. 6 (b), FIG. 6 (c) The remaining eye is estimated to be the right eye (step 6). Therefore, since the lost eye is estimated to be the left eye, it is determined by this that the lecturer 2 turned to the left (turned to the right on the screen) (step 7). If it is estimated in step 6 that the remaining eye is the left eye, it is determined that the lecturer 2 turns to the right (turns to the left on the screen) (step 8).

制御部２０１は、講師２の向きを判定すると、この被撮影者（講師）向き情報を通信部２０３からＬＡＮまたはインターネット２０９を介してクライアントＰＣ２０８またはセットトップボックス２１０に順次送信する。   When determining the orientation of the instructor 2, the control unit 201 sequentially transmits the subject (instructor) orientation information from the communication unit 203 to the client PC 208 or the set top box 210 via the LAN or the Internet 209.

またプレゼンテーション資料３のデータは、講師２が表示切り替え入力部２０７の専用ボタンを押下することにより、その入力のタイミングに同期してメディアサーバー２０２に蓄積された静止画や文章ファイル（例えばパワーポイントプレゼンテーションファイルやワード文書ファイル）を通信部２０３からＬＡＮまたはインターネット２０９を介してクライアントＰＣ２０８またはセットトップボックス２１０に送信する。   The data of the presentation material 3 is stored in the media server 202 in synchronism with the input timing when the instructor 2 presses a dedicated button of the display switching input unit 207, for example, a power point presentation file. Or a word document file) is transmitted from the communication unit 203 to the client PC 208 or the set top box 210 via the LAN or the Internet 209.

被撮影者向き情報およびプレゼンテーション資料データを受信した受信側のクライアントＰＣ２０８またはセットトップボックス２１０は、順次送信されてくる圧縮された画像信号を復号化処理し、被撮影者向き情報から、画面上の映像ウィンドウを資料ウィンドウの左右どちら側に表示するかを決定する。   The client PC 208 or the set top box 210 on the receiving side that has received the subject orientation information and the presentation material data decodes the compressed image signal that is sequentially transmitted, and uses the subject orientation information on the screen. Decide whether to display the video window on the left or right side of the document window.

図７はクライアントＰＣ２０８またはセットトップボックス２１０の表示画面を示す説明図である。図７において、表示画面２２０にはビデオカメラ２０４で撮影した映像を表示する映像ウィンドウ２２１と資料データを表示する資料ウィンドウ２２２が表示される。制御部２０１から送信されてくる被撮影者向き情報が、講師２が左向き（画面上は右向き）である場合、図７に示すように、映像ウィンドウ２２１は資料ウィンドウ２２２の左側に表示される。このように映像ウィンドウ２２１を表示することにより、受講者から見ると、講師２が資料の方を向いているように見える。講師２が右向き（画面上は左向き）である場合は、映像ウィンドウ２２１は資料ウィンドウ２２２の右側に表示される。   FIG. 7 is an explanatory diagram showing a display screen of the client PC 208 or the set top box 210. In FIG. 7, the display screen 220 displays a video window 221 for displaying video captured by the video camera 204 and a material window 222 for displaying material data. When the instructor direction information transmitted from the control unit 201 indicates that the lecturer 2 is facing left (rightward on the screen), the video window 221 is displayed on the left side of the material window 222 as shown in FIG. Displaying the video window 221 in this manner makes it seem that the lecturer 2 is facing the document when viewed from the student. When the lecturer 2 faces right (leftward on the screen), the video window 221 is displayed on the right side of the material window 222.

以上のように第１の実施の形態によれば、映像送信装置において被撮影者（講師）の向きを検出し、受信側装置において、被撮影者向き情報により映像ウィンドウを資料ウィンドウに対して適切な位置に表示するようにしたので、被撮影者が資料ウィンドウの反対側を向いているという不自然さが解消される。これにより視聴者が発表の内容に集中でき、理解向上に寄与できる。また被撮影者もどちらを向いたらよいかを気にする必要が無くなる。   As described above, according to the first embodiment, the video transmission device detects the orientation of the subject (lecturer), and the reception-side device appropriately selects the video window with respect to the document window based on the subject orientation information. Since the image is displayed at the correct position, the unnaturalness that the subject is facing the opposite side of the document window is eliminated. This allows viewers to concentrate on the content of the presentation and contributes to improved understanding. Also, it is not necessary for the subject to worry about which direction he should face.

なお上記実施の形態の変形例として、装置の左右にそれぞれ音声出力部を持っている受信側装置において、被撮影者向き情報を受信した場合、被撮影者を表示する映像ウィンドウを表示した側の音声出力部の音量を反対側の音声出力部の音量より大きくなるように制御してもよい。図７の例でいえば、映像ウィンドウ２２１が表示されている左側の音声出力部の音量を大きくするようにする。このように映像ウィンドウの表示位置に応じて音声出力部の音量を変えることにより、視聴者に対して現実感または臨場感を与えることができ、発表内容に対して視聴者がより集中可能になる。   As a modification of the above-described embodiment, in the receiving side device having the audio output units on the left and right sides of the device, when receiving the subject orientation information, the side on which the video window displaying the subject is displayed. The volume of the audio output unit may be controlled to be larger than the volume of the audio output unit on the opposite side. In the example of FIG. 7, the volume of the left audio output unit on which the video window 221 is displayed is increased. In this way, by changing the volume of the audio output unit according to the display position of the video window, it is possible to give the viewer a sense of reality or a sense of reality, and the viewer can concentrate more on the presentation content. .

なお上記実施の形態では、被撮影者の顔の向きを映像送信装置側で検出するようにしているが、これに限らず、目画像抽出部等を映像受信側装置にもたせて、受信側の装置で被撮影者の顔の向きを検出するようにしてもよい。この場合、映像送信装置は被撮影者の撮影画像を送信するだけとなる。   In the above embodiment, the direction of the face of the person to be photographed is detected on the video transmission device side. However, the present invention is not limited to this. You may make it detect the direction of a to-be-photographed person's face with an apparatus. In this case, the video transmission device only transmits a photographed image of the subject.

次に第２の実施の形態を説明する。図８は第２実施の形態の映像配信システムを示すブロック図である。図８において、第２の実施の形態の映像配信システム３０は、映像送信装置３１がＬＡＮまたはインターネット３０９を介して映像受信装置としての複数のクライアントＰＣ３０８またはセットトップボックス（ＳＴＢ）３１１に接続されて構成されている。映像送信装置３１は、制御部３０１、メディアサーバー３０２、通信部３０３、ビデオカメラ３０４、マイク３１３、ビデオエンコーダ部３０５、表示部３０６、表示切り替え入力部３０７、目画像抽出部３１０および顔向き検出部３１２から構成される。   Next, a second embodiment will be described. FIG. 8 is a block diagram showing a video distribution system according to the second embodiment. In FIG. 8, in the video distribution system 30 according to the second embodiment, a video transmission device 31 is connected to a plurality of client PCs 308 or set top boxes (STBs) 311 as video reception devices via a LAN or the Internet 309. It is configured. The video transmission device 31 includes a control unit 301, a media server 302, a communication unit 303, a video camera 304, a microphone 313, a video encoder unit 305, a display unit 306, a display switching input unit 307, an eye image extraction unit 310, and a face orientation detection unit. 312.

制御部３０１はデータ線１１１によりメディアサーバー３０２、通信部３０３、ビデオエンコーダ部３０５、表示部３０６、表示切り替え入力部３０７、目画像抽出部３１０および顔向き検出部３１２と接続され、通信部３０３は通信線１１２によりＬＡＮまたはインターネット３０９と接続されている。またビデオカメラ３０４はビデオエンコーダ部３０５、目画像抽出部２１０および顔向き検出部３１２と映像線１１３により接続されている。メディアサーバー３０２には予めプレゼンテーション資料のデータが蓄積されている。   The control unit 301 is connected to the media server 302, the communication unit 303, the video encoder unit 305, the display unit 306, the display switching input unit 307, the eye image extraction unit 310, and the face orientation detection unit 312 via the data line 111. The communication line 112 is connected to the LAN or the Internet 309. The video camera 304 is connected to the video encoder unit 305, the eye image extraction unit 210, and the face direction detection unit 312 by the video line 113. The media server 302 stores presentation material data in advance.

次に第２の実施の形態の動作を説明する。この場合も企業の研修において講師の講義の様子を配信する場合の動作を説明する。講師２は、プレゼンテーション資料３を見ながら説明するものとする。映像送信装置３１において、制御部３０１からの指示でビデオカメラ３０４で撮影した映像信号をビデオエンコーダ部３０５へ送り、ここで映像データを圧縮する。圧縮された映像データは通信部３０３へ送られ、ＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に順次送信される。   Next, the operation of the second embodiment will be described. In this case as well, the operation when the lecturer's lecture state is distributed in the company training will be described. Instructor 2 will explain while viewing presentation material 3. In the video transmission device 31, a video signal photographed by the video camera 304 in accordance with an instruction from the control unit 301 is sent to the video encoder unit 305, where the video data is compressed. The compressed video data is sent to the communication unit 303 and sequentially sent to the client PC 308 or the set top box 311 via the LAN or the Internet 309.

ここからは図９に示すフローチャートにしたがって説明する。図９は第２の実施の形態の動作を示すフローチャートである。制御部３０１は顔向き検出部３１２に対して講師２の顔向きの検出開始を指示する（ステップ１１）。   From here, it demonstrates according to the flowchart shown in FIG. FIG. 9 is a flowchart showing the operation of the second embodiment. The control unit 301 instructs the face direction detection unit 312 to start detecting the face direction of the lecturer 2 (step 11).

制御部３０１からの指示を受けると、顔向き検出部３１２では、ビデオカメラ３０４から入力される映像信号から顔の輪郭を切り出し、被撮影者（講師２）が前を向いているか否かを検出し、制御部３０１に通知する（ステップ１２）。制御部３０１では、顔向き検出部３１２から、被撮影者が正面を向いているという検出結果を受けると（ステップ１３のＹ）、映像ウィンドウ拡大指示を通信部３０３からＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に送信する（ステップ１４）。   Upon receiving an instruction from the control unit 301, the face direction detection unit 312 cuts out the face outline from the video signal input from the video camera 304, and detects whether or not the subject (lecturer 2) is facing forward. Then, the control unit 301 is notified (step 12). When the control unit 301 receives a detection result indicating that the subject is facing the front from the face direction detection unit 312 (Y in step 13), the control unit 301 issues a video window enlargement instruction from the communication unit 303 via the LAN or the Internet 309. The data is transmitted to the client PC 308 or the set top box 311 (step 14).

また制御部３０１は、顔向き検出部３１２から、被撮影者が横を向いているという検出結果を受けると（ステップ１３のＮ）、目画像抽出部３１０に対して目の抽出開始を指示する（ステップ１５）。目画像抽出部３１０では、ビデオカメラ３０４から入力される映像信号から目画像の抽出を行い、抽出した目の位置情報を制御部２０１に返信する。   When the control unit 301 receives a detection result indicating that the subject is facing sideways from the face direction detection unit 312 (N in step 13), the control unit 301 instructs the eye image extraction unit 310 to start extracting eyes. (Step 15). The eye image extraction unit 310 extracts an eye image from the video signal input from the video camera 304 and returns the extracted eye position information to the control unit 201.

制御部３０１は目画像抽出部３１０から目の位置情報を受信すると（ステップ１６）、第１の実施の形態で説明したように、目画像抽出部３１０からの目の位置情報を連続して取得することにより、左右どちらの目が見えなくなったかにより講師２の顔がどちらを向いているかを判定する（ステップ１７）。そして判定結果を被撮影者向き情報として、通信部３０３からＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に送信する（ステップ１８）。   Upon receiving the eye position information from the eye image extraction unit 310 (step 16), the control unit 301 continuously acquires the eye position information from the eye image extraction unit 310 as described in the first embodiment. By doing so, it is determined which face of the instructor 2 is facing depending on which of the left and right eyes is not visible (step 17). Then, the determination result is transmitted to the client PC 308 or the set top box 311 from the communication unit 303 via the LAN or the Internet 309 as information on the subject (step 18).

またプレゼンテーション資料３のデータは、講師２が表示切り替え入力部３０７の専用ボタンを押下することにより、その入力のタイミングに同期してメディアサーバー３０２に蓄積された静止画や文章ファイル（例えばパワーポイントプレゼンテーションファイルやワード文書ファイル）を通信部３０３からＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に送信する。   In addition, when the lecturer 2 presses a dedicated button of the display switching input unit 307, the data of the presentation material 3 is stored in a still image or a text file (for example, a PowerPoint presentation file) stored in the media server 302 in synchronization with the input timing. Or a word document file) is transmitted from the communication unit 303 to the client PC 308 or the set top box 311 via the LAN or the Internet 309.

映像ウィンドウ拡大指示または被撮影者向き情報およびプレゼンテーション資料データを受信した受信側のクライアントＰＣ２０８またはセットトップボックス２１０は、順次送信されてくる圧縮された画像信号を復号化処理し、映像ウィンドウ拡大指示により、表示画面における映像ウィンドウを拡大する。図１０は映像ウィンドウを拡大する場合の表示画面を示す説明図である。   The receiving client PC 208 or set-top box 210 that has received the video window enlargement instruction or the subject orientation information and the presentation material data decodes the compressed image signal that is sequentially transmitted, and receives the video window enlargement instruction. Enlarge the video window on the display screen. FIG. 10 is an explanatory diagram showing a display screen when the video window is enlarged.

図１０（ａ）は表示画面３２０に映像ウィンドウ３２１と資料ウィンドウ３２２が表示されている表示画面３２０を示し、図１０（ｂ）は映像ウィンドウの拡大表示を示す。クライアントＰＣ２０８またはセットトップボックス２１０は、映像ウィンドウ拡大指示を受けると、図１０（ｂ）に示すように、小サイズの表示３２１ａから最大サイズの表示３２１ｂに変更する。なおこのとき、資料ウィンドウは表示されない。   FIG. 10A shows a display screen 320 in which a video window 321 and a material window 322 are displayed on the display screen 320, and FIG. 10B shows an enlarged display of the video window. Upon receiving the video window enlargement instruction, the client PC 208 or the set top box 210 changes from the small size display 321a to the maximum size display 321b as shown in FIG. At this time, the document window is not displayed.

またクライアントＰＣ２０８またはセットトップボックス２１０は、被撮影者向き情報を受けると、この情報から、第１の実施の形態と同様に、画面上の映像ウィンドウを資料ウィンドウの左右どちら側に表示するかを決定する。即ち、制御部３０１から送信されてくる被撮影者向き情報が、講師２が左向き（画面上は右向き）である場合、図１１（ａ）に示すように、映像ウィンドウ３２１は資料ウィンドウ３２２の左側に表示される。講師２が右向き（画面上は左向き）である場合は、図１１（ｂ）に示すように、映像ウィンドウ３２１は資料ウィンドウ３２２の右側に表示される。図１１は映像ウィンドウの位置の変更を示す説明図である。   Also, when the client PC 208 or the set top box 210 receives the subject orientation information, the client PC 208 or the set top box 210 determines whether to display the video window on the screen on the left or right side of the document window from this information, as in the first embodiment. decide. That is, when the instructor direction information transmitted from the control unit 301 indicates that the lecturer 2 is facing left (facing right on the screen), the video window 321 is on the left side of the document window 322 as shown in FIG. Is displayed. When the lecturer 2 faces right (leftward on the screen), the video window 321 is displayed on the right side of the material window 322 as shown in FIG. FIG. 11 is an explanatory diagram showing the change of the position of the video window.

以上のように第２の実施の形態では、映像装置装置３１に顔向き検出部３１２を設けて被撮影者が正面を向いているかを検出し、正面を向いている場合には受信側装置で拡大表示するようにしたので、受信側装置における表示画面の表示を被撮影者の姿勢に応じて適正に行なうことが可能になる。これにより映像配信システムの利便性の向上が図れる。   As described above, in the second embodiment, the video device 31 is provided with the face direction detection unit 312 to detect whether the subject is facing the front, and when it is facing the front, Since the enlarged display is performed, it is possible to appropriately display the display screen on the receiving side apparatus according to the posture of the subject. Thereby, the convenience of the video distribution system can be improved.

第１実施の形態の映像配信システムを示すブロック図である。It is a block diagram which shows the video delivery system of 1st Embodiment. 従来の映像配信システムを示すブロック図である。It is a block diagram which shows the conventional video delivery system. 顔向き判定動作を示すフローチャートである。It is a flowchart which shows face direction determination operation | movement. ビデオカメラで撮影された撮影画像を示す説明図である。It is explanatory drawing which shows the picked-up image image | photographed with the video camera. まばたき除去動作を示す説明図である。It is explanatory drawing which shows the blink removal operation | movement. 目の移動を検出して顔の向きを判定するための説明図である。It is explanatory drawing for detecting the movement of eyes and determining the direction of a face. 表示画面を示す説明図である。It is explanatory drawing which shows a display screen. 第２実施の形態の映像配信システムを示すブロック図である。It is a block diagram which shows the video delivery system of 2nd Embodiment. 第２の実施の形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of 2nd Embodiment. 映像ウィンドウを拡大する場合の表示画面を示す説明図である。It is explanatory drawing which shows the display screen in the case of enlarging a video window. 映像ウィンドウの位置の変更を示す説明図である。It is explanatory drawing which shows the change of the position of a video window.

符号の説明Explanation of symbols

２０ 映像配信システム
２１ 映像送信装置
２０１ 制御部
２０８ クライアントＰＣ
２１０ 目画像抽出部
２２０ 表示画面
２２１ 映像ウィンドウ
２２２ 資料ウィンドウ 20 Video distribution system 21 Video transmission device 201 Control unit 208 Client PC
210 Eye Image Extractor 220 Display Screen 221 Video Window 222 Document Window

Claims (6)

映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、
映像送信装置側において被撮影者の顔の向きを検出する検出手段を設け、
前記検出手段の検出結果に基づいて映像受信装置における被撮影者の表示位置を決定することを特徴とする映像配信システム。 A video transmission device and a video reception device remote from the video transmission device are provided, the video of the subject is transmitted from the video transmission device to the video reception device, and the video of the subject received by the video reception device is displayed. In the video distribution system,
A detection means for detecting the orientation of the face of the person to be photographed is provided on the video transmission device side,
A video distribution system, wherein a display position of a subject in a video receiving device is determined based on a detection result of the detection means. 前記検出手段は被撮影者の顔の横向きを検出可能であり、
映像受信装置は被撮影者を表示する画面の他に映像送信装置から受信した資料画像を表示する表示画面を有し、
前記検出手段が被撮影者の顔の横向きを検出すると、映像受信装置における被撮影者の表示画面の位置を、該画面における被撮影者の顔の向きが前記資料の表示画面の側になるように設定する請求項１記載の映像配信システム。 The detection means is capable of detecting the lateral orientation of the subject's face,
The video receiver has a display screen for displaying the document image received from the video transmitter in addition to the screen for displaying the photographed person.
When the detection unit detects the horizontal orientation of the face of the photographed person, the position of the display screen of the photographed person in the video reception device is set so that the orientation of the face of the photographed person on the screen is on the display screen side of the document. The video distribution system according to claim 1, wherein 前記検出手段は被撮影者の目の位置を検出することにより顔の横向きを検出する請求項２記載の映像配信システム。   The video distribution system according to claim 2, wherein the detection unit detects the horizontal direction of the face by detecting the position of the eye of the subject. 映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、
映像送信装置側において被撮影者の顔の向きを検出する検出手段を設け、
前記検出手段の検出結果に基づいて映像受信装置における被撮影者の表示の大きさを決定することを特徴とする映像配信システム。 A video transmission device and a video reception device remote from the video transmission device are provided, the video of the subject is transmitted from the video transmission device to the video reception device, and the video of the subject received by the video reception device is displayed. In the video distribution system,
A detection means for detecting the orientation of the face of the person to be photographed is provided on the video transmission device side,
A video distribution system characterized in that a display size of a subject in the video receiving device is determined based on a detection result of the detection means. 前記検出手段が被撮影者が正面を向いていることを検出した場合、映像受信装置における被撮影者の表示を拡大して表示する請求項４記載の映像配信システム。   The video distribution system according to claim 4, wherein when the detection unit detects that the photographed person is facing the front, the display of the photographed person in the video receiving apparatus is enlarged and displayed. 映像受信装置は被撮影者を表示する画面の他に映像送信装置から受信した資料画像を表示する表示画面を有し、
前記検出手段が、被撮影者の顔が横向きであると検出した場合、さらに被撮影者の顔が左右どちらの向きかを検出し、その検出結果により、映像受信装置における被撮影者の表示画面の位置を、該画面における被撮影者の顔の向きが前記資料の表示画面の側になるように設定する請求項４記載の映像配信システム。 The video receiver has a display screen for displaying the document image received from the video transmitter in addition to the screen for displaying the photographed person.
When the detection means detects that the face of the person to be photographed is sideways, it further detects whether the face of the person to be photographed is left or right, and based on the detection result, the display screen of the person to be photographed in the video reception device 5. The video distribution system according to claim 4, wherein the position of the subject is set so that the orientation of the face of the subject on the screen is on the display screen of the material.
JP2004237185A 2004-08-17 2004-08-17 Video distribution system and video receiver Expired - Fee Related JP4479414B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004237185A JP4479414B2 (en) 2004-08-17 2004-08-17 Video distribution system and video receiver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004237185A JP4479414B2 (en) 2004-08-17 2004-08-17 Video distribution system and video receiver

Publications (2)

Publication Number Publication Date
JP2006060289A true JP2006060289A (en) 2006-03-02
JP4479414B2 JP4479414B2 (en) 2010-06-09

Family

ID=36107439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004237185A Expired - Fee Related JP4479414B2 (en) 2004-08-17 2004-08-17 Video distribution system and video receiver

Country Status (1)

Country Link
JP (1) JP4479414B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339401A (en) * 2021-12-30 2022-04-12 北京翼鸥教育科技有限公司 Video background processing method and device
JP2022109025A (en) * 2021-01-14 2022-07-27 Ｎｅｃパーソナルコンピュータ株式会社 On-line lesson system, on-line lesson method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022109025A (en) * 2021-01-14 2022-07-27 Ｎｅｃパーソナルコンピュータ株式会社 On-line lesson system, on-line lesson method, and program
JP7266622B2 (en) 2021-01-14 2023-04-28 Ｎｅｃパーソナルコンピュータ株式会社 Online class system, online class method and program
CN114339401A (en) * 2021-12-30 2022-04-12 北京翼鸥教育科技有限公司 Video background processing method and device

Also Published As

Publication number Publication date
JP4479414B2 (en) 2010-06-09

Similar Documents

Publication Publication Date Title
US7092002B2 (en) Systems and method for enhancing teleconferencing collaboration
US7855726B2 (en) Apparatus and method for presenting audio in a video teleconference
US8208002B2 (en) Distance learning via instructor immersion into remote classroom
KR20200024441A (en) Smart Realtime Lecture, Lecture Capture and Tele-Presentation-Webinar, VR Class room, VR Conference method using Virtual/Augmented Reality Class Room and Artificial Intelligent Virtual Camera Switching technologies
US20070070177A1 (en) Visual and aural perspective management for enhanced interactive video telepresence
CN110349456B (en) Intelligent control system, remote control terminal and classroom terminal of interactive classroom
US10545626B2 (en) Presenter/viewer role swapping during ZUI performance with video background
JP2007158680A (en) Tracking imaging apparatus and tracking imaging system utilizing it
KR20170143264A (en) Virtual reality access monitoring system and method
KR101702013B1 (en) Smart education service system with video having function of sharing content of a variety of formats and Smart education method with video using thereof
US20180366089A1 (en) Head mounted display cooperative display system, system including dispay apparatus and head mounted display, and display apparatus thereof
CN111163280B (en) Asymmetric video conference system and method thereof
US11348264B1 (en) Capturing content on writing surfaces using depth and image sensing
KR20160082291A (en) Image processing apparatus and image processing method thereof
WO2003093985A2 (en) System and method for providing a low-bit rate distributed slide show presentation
CN116847116A (en) Video processing system, method, device and storage medium
JP4479414B2 (en) Video distribution system and video receiver
CN114631323A (en) Zone adaptive video generation
KR101776839B1 (en) Portable lecture storage and broadcasting system
WO2020238973A1 (en) Automatic detection and real-time pushing method for multi-channel audio/video
CN110794966A (en) AR display system and method
Chagas et al. Exploring Practices and Systems for Remote Teaching
KR102619761B1 (en) Server for TelePresentation video Conference System
KR102571677B1 (en) AI Studio for Online Lectures
Abler et al. High Definition video support for natural interaction through distance learning

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060923

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4479414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees