JP2008177717A - Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server - Google Patents

Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server Download PDF

Info

Publication number
JP2008177717A
JP2008177717A JP2007007636A JP2007007636A JP2008177717A JP 2008177717 A JP2008177717 A JP 2008177717A JP 2007007636 A JP2007007636 A JP 2007007636A JP 2007007636 A JP2007007636 A JP 2007007636A JP 2008177717 A JP2008177717 A JP 2008177717A
Authority
JP
Japan
Prior art keywords
video
information
server
program
video program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007007636A
Other languages
Japanese (ja)
Inventor
Masayuki Inoue
雅之 井上
Yoshimitsu Otani
佳光 大谷
Satoshi Ishibashi
聡 石橋
Katsuhiko Ogawa
克彦 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007007636A priority Critical patent/JP2008177717A/en
Publication of JP2008177717A publication Critical patent/JP2008177717A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a novel video program distribution technology which makes it possible for the user to appear in a video program to be distributed to a client. <P>SOLUTION: The name of a video program becoming a destination for incorporating the viewer video information, viewer video information to be incorporated in the video program, and distribution destination information on that video program are collected, and the video program indicated by the collected name of video program is acquired and synthesized with the collected viewer video information to generate video program synthesis information incorporating the collected viewer video information which is then distributed to a client indicated by the collected distribution destination information. With such an arrangement, the user can participates in a wanted video program and such a feeling as if the user exists in the video program can be imparted to a specific viewer. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、収集サーバと合成サーバと配信サーバとを備える映像番組配信システムで実行される映像番組配信方法と、その映像番組配信システムで用いられる合成サーバと、その合成サーバの実現に用いられる合成サーバ用プログラムとに関し、特に、システムの配信する映像番組にユーザが映像出演できるようにする映像番組配信方法と、その映像番組配信システムで用いられる合成サーバと、その合成サーバの実現に用いられる合成サーバ用プログラムとに関する。   The present invention relates to a video program distribution method executed in a video program distribution system including a collection server, a synthesis server, and a distribution server, a synthesis server used in the video program distribution system, and a composition used to realize the composition server. With regard to server programs, in particular, a video program distribution method that allows a user to appear in a video program distributed by the system, a synthesis server used in the video program distribution system, and a composition used to implement the synthesis server It relates to the server program.

従来技術として、ホームページ上に常に新しい情報によって更新された会議映像の番組表を提供して、ライブあるいはビデオオンデマンドにより会議映像を配信するという会議映像配信システムが提供されている(例えば、特許文献1参照)。   As a conventional technique, there has been provided a conference video distribution system that provides a conference video program table constantly updated with new information on a homepage and distributes the conference video live or by video on demand (for example, Patent Documents). 1).

この特許文献1に記載された会議映像配信システムでは、ユーザは、ライブの会議映像を視聴する場合には、インターネットを介してWWWサーバにアクセスして、ホームページ上の番組表から会議映像を選択することで、ライブの会議映像の配信を受けることになる。一方、ビデオオンデマンドにより会議映像を視聴する場合には、インターネットを介してWWWサーバにアクセスして、ホームページの会議検索ページでデータベースサーバの会議情報を検索して所望の会議情報を選択することで、会議映像の配信を受けることになる。
特開2002−199377号公報
In the conference video distribution system described in Patent Document 1, when viewing a live conference video, the user accesses the WWW server via the Internet and selects the conference video from the program guide on the homepage. As a result, you will receive live meeting video. On the other hand, when viewing a conference video by video-on-demand, the user accesses the WWW server via the Internet, searches the conference information on the database server on the conference search page of the homepage, and selects the desired conference information. You will receive the meeting video.
JP 2002-199377 A

従来の映像配信システムでは、システムの用意する映像をそのままクライアントに配信するようにしており、システムの配信する映像番組にユーザが映像出演できるようになる仕組みは実現されていない。   In a conventional video distribution system, a video prepared by the system is distributed to a client as it is, and a mechanism that allows a user to appear in a video program distributed by the system is not realized.

これから、従来技術に従っていると、例えば、ドラマの中で使用される部屋の写真楯に、ユーザ自身の写真を合成することで、自分の好みの女優や男優の昔の恋人役などとしてドラマに映像出演して、そのドラマを自分の見てもらいたい相手に配信するというようなことを実現することができない。   From now on, according to the prior art, for example, by synthesizing the user's own photo with the photo shoot of the room used in the drama, the image of the drama as an old lover of your favorite actress or actor You can't do things like appearing and delivering the drama to someone you want to see.

このような形で映像番組にユーザが映像出演できるようになれば、ユーザは映像番組を視聴するときに、色々な楽しみ方ができるようになるとともに、友達同士のコミュニケーションも図れるようになる。   If the user can appear on the video program in this way, the user can enjoy various ways to view the video program and communicate with friends.

しかるに、従来技術では、システムの配信する映像番組にユーザが映像出演できるようになる仕組みを実現しておらず、これから、システムの配信する映像番組にユーザが映像出演できるようにすることにより期待できる様々な効果を実現することができない。   However, the conventional technology does not realize a mechanism that allows a user to appear in a video program distributed by the system, and it can be expected by allowing a user to appear in a video program distributed from the system. Various effects cannot be realized.

本発明はかかる事情に鑑みてなされたものであって、クライアントに配信する映像番組にユーザが映像出演できるようにする新たな映像番組配信技術の提供を目的とする。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a new video program distribution technique that enables a user to appear in a video program distributed to a client.

この目的を達成するために、本発明を具備する映像番組配信システムは、クライアントから情報を収集する収集サーバと、映像を合成する合成サーバと、クライアントに映像情報を配信する配信サーバとを備える。   In order to achieve this object, a video program distribution system including the present invention includes a collection server that collects information from a client, a synthesis server that synthesizes video, and a distribution server that distributes video information to the client.

〔1〕収集サーバの構成
本発明を実現すべく備えられる収集サーバは、(イ)配信要求元のクライアントから、視聴者映像情報の組み込み先となる映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とを収集する収集手段と、(ロ)収集手段の収集した配信先情報を配信サーバに送信する第1の送信手段と、(ハ)配信サーバに対して、収集手段の収集した映像番組名の指す映像番組がライブ番組であるのか蓄積番組であるのかを問い合わせる問い合わせ手段と、(ニ)問い合わせ手段による問い合わせに従って、ライブ番組であることの問い合わせ結果を得る場合に、収集手段の収集した視聴者映像情報を合成サーバに送信する第2の送信手段と、(ホ)問い合わせ手段による問い合わせに従って、蓄積番組であることの問い合わせ結果を得る場合に、収集手段の収集した視聴者映像情報を合成サーバ及び配信サーバとは別に設けられる蓄積サーバに送信するとともに、配信サーバに対して、収集手段の収集した視聴者映像情報をその蓄積サーバに格納したことを示す情報を送信する第3の送信手段とを備えるように構成する。
[1] Configuration of Collection Server A collection server provided to realize the present invention is (i) the name of a video program to be incorporated into viewer video information and the video program incorporated in the video program from the distribution request source client. (B) a first transmission unit for transmitting the distribution destination information collected by the collection unit to the distribution server; and (c) a distribution server. Inquiry means for inquiring whether the video program indicated by the name of the video program collected by the collecting means is a live program or a stored program, and (d) the inquiry result of being a live program according to the inquiry by the inquiry means The second transmission means for transmitting the viewer video information collected by the collection means to the composition server, and (e) in accordance with the inquiry by the inquiry means When obtaining an inquiry result that the program is a stored program, the viewer video information collected by the collecting means is transmitted to a storage server provided separately from the synthesis server and the distribution server, and A third transmission unit configured to transmit information indicating that the collected viewer video information is stored in the storage server;

以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。   Each of the above processing means can also be realized by a computer program. This computer program is provided by being recorded on an appropriate computer-readable recording medium or provided via a network, and is used when implementing the present invention. The present invention is realized by being installed and operating on a control means such as a CPU.

〔2〕合成サーバの構成
本発明を実現すべく備えられる合成サーバは、(イ)配信サーバから、収集サーバの収集した映像番組名の指す映像番組を取得する第1の取得手段と、(ロ)収集サーバ、あるいは、収集サーバ及び配信サーバとは別に設けられる蓄積サーバから、収集サーバの収集した視聴者映像情報を取得する第2の取得手段と、(ハ)第1の取得手段の取得した映像番組と、第2の取得手段の取得した視聴者映像情報とを合成することで、その取得した視聴者映像情報の組み込まれた映像番組合成情報を生成する生成手段と、(ニ)生成手段の生成した映像番組合成情報を配信サーバに送信する送信手段とを備えるように構成する。
[2] Composition of composition server The composition server provided in order to realize the present invention comprises: (a) first acquisition means for acquiring a video program indicated by a video program name collected by the collection server from the distribution server; (2) second acquisition means for acquiring viewer video information collected by the collection server from the collection server or a storage server provided separately from the collection server and distribution server; and (c) acquired by the first acquisition means. Generating means for generating video program synthesis information in which the acquired viewer video information is incorporated by synthesizing the video program and the viewer video information acquired by the second acquisition means; And transmitting means for transmitting the generated video program synthesis information to the distribution server.

以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。   Each of the above processing means can also be realized by a computer program. This computer program is provided by being recorded on an appropriate computer-readable recording medium or provided via a network, and is used when implementing the present invention. The present invention is realized by being installed and operating on a control means such as a CPU.

〔3〕配信サーバの構成
本発明を実現すべく備えられる配信サーバは、(イ)収集サーバから、収集サーバの収集した映像番組の配信先情報を取得する取得手段と、(ロ)収集サーバから、収集サーバの収集した映像番組名の指す映像番組がライブ番組であるのか蓄積番組であるのかの問い合わせがある場合に、その映像番組がライブ番組であるのか蓄積番組であるのかを判断して、その判断結果を返信する返信手段と、(ハ)合成サーバから、収集サーバの収集した映像番組名の指すライブ番組の送信要求がある場合に、そのライブ番組を合成サーバに送信する第1の送信手段と、(ニ)取得手段の取得した配信先情報の指すクライアントから、収集サーバの収集した映像番組名の指す蓄積番組の配信要求がある場合に、合成サーバに対して、その蓄積番組と収集サーバから送信されてきた視聴者映像情報の格納場所を示す情報とを送信する第2の送信手段と、(ホ)合成サーバから、視聴者映像情報の組み込まれた映像番組合成情報を取得して、取得手段の取得した配信先情報の指すクライアントに対して、その取得した映像番組合成情報を配信する配信手段とを備えるように構成する。
[3] Configuration of Distribution Server A distribution server provided to realize the present invention includes (a) an acquisition unit that acquires distribution destination information of a video program collected by the collection server from the collection server, and (b) from the collection server. When the video program indicated by the video program name collected by the collection server has an inquiry as to whether it is a live program or a stored program, it is determined whether the video program is a live program or a stored program, Reply means for returning the determination result, and (c) first transmission for transmitting the live program to the composition server when there is a transmission request for the live program indicated by the video program name collected by the collection server from the composition server. And (d) if there is a distribution request for the stored program indicated by the video program name collected by the collection server from the client indicated by the distribution destination information acquired by the acquisition means, Second transmission means for transmitting the stored program and information indicating the storage location of the viewer video information transmitted from the collection server; and (e) a video in which the viewer video information is incorporated from the synthesis server. Distribution means for acquiring the program composition information and distributing the acquired video program composition information to the client indicated by the distribution destination information acquired by the acquisition means is provided.

以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。   Each of the above processing means can also be realized by a computer program. This computer program is provided by being recorded on an appropriate computer-readable recording medium or provided via a network, and is used when implementing the present invention. The present invention is realized by being installed and operating on a control means such as a CPU.

〔4〕本発明を具備する映像番組配信システムの処理
次に、このように構成される本発明を具備する映像番組配信システムが実行する映像番組配信処理について説明する。
[4] Processing of Video Program Distribution System Having the Present Invention Next, video program distribution processing executed by the video program distribution system having the present invention configured as described above will be described.

このように構成される本発明を具備する映像番組配信システムでは、収集サーバは、配信要求元のクライアントから、視聴者映像情報の組み込み先となる映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とを収集して、その収集した配信先情報を配信サーバに送信する。   In the video program distribution system including the present invention configured as described above, the collection server receives the name of the video program into which the viewer video information is to be incorporated and the viewing to be incorporated in the video program from the distribution request source client. The person video information and the distribution destination information of the video program are collected, and the collected distribution destination information is transmitted to the distribution server.

これにより、配信サーバは、収集サーバの収集した映像番組の配信先情報を取得することになる。   Thereby, the distribution server acquires the distribution destination information of the video program collected by the collection server.

続いて、収集サーバは、配信サーバに対して、収集した映像番組名の指す映像番組がライブ番組であるのか蓄積番組であるのかの問い合わせを行う。   Subsequently, the collection server inquires of the distribution server whether the video program indicated by the collected video program name is a live program or a stored program.

これにより、配信サーバは、収集サーバの収集した映像番組名の情報を取得することになるが、収集サーバが配信先情報の中に映像番組名を含めて配信サーバに送信する場合には、配信サーバは、その配信先情報に従って、収集サーバの収集した映像番組名の情報を取得することが可能である。   As a result, the distribution server acquires the information of the video program name collected by the collection server. However, when the collection server transmits the video program name in the distribution destination information to the distribution server, distribution is performed. The server can acquire the video program name information collected by the collection server according to the distribution destination information.

この問い合わせを受けて、配信サーバは、収集サーバの収集した映像番組名の指す映像番組がライブ番組であるのか蓄積番組であるのかを判断して、その判断結果を収集サーバに返信する。   Upon receiving this inquiry, the distribution server determines whether the video program indicated by the video program name collected by the collection server is a live program or a stored program, and returns the determination result to the collection server.

この問い合わせに対する判断結果を受けて、収集サーバは、配信サーバからライブ番組であることの問い合わせ結果を得る場合には、合成サーバに対して、収集した視聴者映像情報と収集した映像番組名(ライブ番組名)とを送信する。   When the collection server obtains a query result indicating that it is a live program from the distribution server in response to the result of the inquiry, the collection server collects the viewer video information and the collected video program name (live Program name).

この視聴者映像情報・ライブ番組名の送信を受けて、合成サーバは、配信サーバに対して、そのライブ番組名の指すライブ番組の送信を要求することで、そのライブ番組を取得して、その取得したライブ番組とその送信されてきた視聴者映像情報とを合成することで映像番組合成情報(合成ライブ番組)を生成して、それを配信サーバに送信する。   In response to the transmission of the viewer video information / live program name, the composition server requests the distribution server to transmit the live program indicated by the live program name, thereby acquiring the live program, By synthesizing the acquired live program and the transmitted viewer video information, video program synthesis information (synthesized live program) is generated and transmitted to the distribution server.

この映像番組合成情報の送信を受けて、配信サーバは、合成サーバから映像番組合成情報を取得すると、収集サーバから取得した配信先情報の指すクライアントに対して、その取得した映像番組合成情報を配信する。   Upon receiving the transmission of the video program synthesis information, the distribution server acquires the video program synthesis information from the synthesis server, and distributes the acquired video program synthesis information to the client indicated by the distribution destination information acquired from the collection server. To do.

ここで、この映像番組合成情報の配信にあたって、配信サーバは、配信先情報の指すクライアントに対して、映像番組合成情報の配信許可を求めて、配信許可の得られたクライアントのみに映像番組合成情報を配信し、配信許可の得られないクライアントには視聴映像情報の組み込まれない映像番組を配信することがある。   Here, when distributing the video program synthesis information, the distribution server asks the client indicated by the distribution destination information to permit the distribution of the video program synthesis information, and the video program synthesis information is transmitted only to the client who has obtained the distribution permission. In some cases, a video program in which viewing video information is not incorporated may be distributed to a client who is unable to obtain distribution permission.

一方、収集サーバは、上記の問い合わせに対する判断結果を受けて、配信サーバから蓄積番組であることの問い合わせ結果を得る場合には、収集した視聴者映像情報を蓄積サーバに送信するとともに、配信サーバに対して、収集した視聴者映像情報をその蓄積サーバに格納したことを示す格納場所情報を送信する。   On the other hand, when the collection server receives the determination result for the above inquiry and obtains an inquiry result indicating that the program is a stored program from the distribution server, the collection server transmits the collected viewer video information to the storage server and On the other hand, the storage location information indicating that the collected viewer video information is stored in the storage server is transmitted.

このあと、配信サーバは、収集サーバから取得した配信先情報の指すクライアントから、収集サーバから問い合わせのあった蓄積番組の配信要求があると、合成サーバに対して、その蓄積番組と収集サーバから送信されてきた視聴者映像情報の格納場所を示す格納場所情報とを送信する。   Thereafter, when there is a distribution request for the stored program inquired from the collection server from the client indicated by the distribution destination information acquired from the collection server, the distribution server transmits the stored program and the collection server to the synthesis server. The storage location information indicating the storage location of the viewer video information thus transmitted is transmitted.

この蓄積番組・格納場所情報の送信を受けて、合成サーバは、その格納場所情報に基づいて、蓄積サーバから収集サーバの収集した視聴者映像情報を取得して、その送信されてきた蓄積番組とその取得した視聴者映像情報とを合成することで映像番組合成情報(合成蓄積番組)を生成して、それを配信サーバに送信する。   In response to the transmission of the stored program / storage location information, the synthesizing server acquires the viewer video information collected by the collection server from the storage server based on the storage location information, and the transmitted stored program and By synthesizing the acquired viewer video information, video program synthesis information (synthesized accumulation program) is generated and transmitted to the distribution server.

この映像番組合成情報の送信を受けて、配信サーバは、合成サーバから映像番組合成情報を取得すると、収集サーバから取得した配信先情報の指すクライアントに対して、その取得した映像番組合成情報を配信する。   Upon receiving the transmission of the video program synthesis information, the distribution server acquires the video program synthesis information from the synthesis server, and distributes the acquired video program synthesis information to the client indicated by the distribution destination information acquired from the collection server. To do.

ここで、この映像番組合成情報の配信にあたって、配信サーバは、配信先情報の指すクライアントに対して、映像番組合成情報の配信許可を求めて、配信許可の得られたクライアントのみに映像番組合成情報を配信し、配信許可の得られないクライアントには視聴映像情報の組み込まれない映像番組を配信することがある。   Here, when distributing the video program synthesis information, the distribution server asks the client indicated by the distribution destination information to permit the distribution of the video program synthesis information, and the video program synthesis information is transmitted only to the client who has obtained the distribution permission. In some cases, a video program in which viewing video information is not incorporated may be distributed to a client who is unable to obtain distribution permission.

以上に説明した本発明を具備する映像番組配信システムの処理では、収集サーバが、配信サーバに対して、収集した映像番組名の指す映像番組がライブ番組であるのか蓄積番組であるのかの問い合わせを行うことで説明したが、配信要求元のクライアントから、視聴者映像情報の組み込み先となる映像番組がライブ番組であることの情報を収集することができる場合には、この問い合わせを省略することができる。   In the processing of the video program distribution system including the present invention described above, the collection server inquires of the distribution server whether the video program indicated by the collected video program name is a live program or a stored program. As described above, if the information that the video program to which the viewer video information is incorporated is a live program can be collected from the distribution request source client, this inquiry may be omitted. it can.

この場合には、収集サーバは、直ちに、合成サーバに対して、収集した視聴者映像情報と収集した映像番組名(ライブ番組名)とを送信し、これを受けて、合成サーバは、配信サーバに対して、そのライブ番組名の指すライブ番組の送信を要求することで、そのライブ番組を取得して、その取得したライブ番組とその送信されてきた視聴者映像情報とを合成することで映像番組合成情報(合成ライブ番組)を生成して、それを配信サーバに送信することになる。   In this case, the collection server immediately transmits the collected viewer video information and the collected video program name (live program name) to the synthesis server. Requesting the transmission of the live program indicated by the name of the live program, acquiring the live program, and combining the acquired live program with the transmitted viewer video information Program synthesis information (synthetic live program) is generated and transmitted to the distribution server.

また、以上に説明した本発明を具備する映像番組配信システムの処理では、収集サーバがどのような形で視聴者映像情報を収集するのかについて説明しなかったが、視聴者映像情報として、視聴者映像情報の格納先を示す情報を収集するようにしてもよく、この場合には、合成サーバは、その格納先を示す情報に基づいて、視聴者映像情報を取得することになる。   Further, in the processing of the video program distribution system provided with the present invention described above, the collection server did not explain how the viewer video information is collected. Information indicating the storage location of the video information may be collected. In this case, the synthesis server acquires the viewer video information based on the information indicating the storage location.

このようにして、本発明は、システムの配信する映像番組にユーザが映像出演できるようになる仕組みを実現する。   In this way, the present invention realizes a mechanism that allows a user to appear in a video program distributed by the system.

この仕組みに従って、本発明によれば、視聴者映像情報の合成映像を介して、ユーザが参加したいライブ番組または蓄積番組に参加することを可能とし、さらに、その映像番組を見てもらいたい相手を指定することを可能とすることで、あたかもユーザが映像番組の中に存在するかのような感覚を特定の視聴者に与えるという効果が得られる。   In accordance with this mechanism, according to the present invention, it is possible to participate in a live program or a stored program that the user wants to participate through the composite video of the viewer video information, and to further select a partner who wants to see the video program. By making the designation possible, an effect of giving a specific viewer a feeling as if the user exists in the video program can be obtained.

実施の形態に従って本発明を詳細に説明する。   The present invention will be described in detail according to embodiments.

図1に、本発明を具備する映像番組配信システムのシステム構成を図示する。   FIG. 1 illustrates a system configuration of a video program distribution system including the present invention.

この図に示すように、本発明を具備する映像番組配信システムは、映像出演を希望するユーザの操作する送信クライアント1-i(i=1〜n)と、映像番組を視聴するユーザの操作する受信クライアント2-j(j=1〜m)と、送信クライアント1-iから映像出演を可能にする視聴者映像情報などの視聴者情報を収集する視聴者映像情報収集サーバ10と、視聴者映像情報収集サーバ10の収集した視聴者映像情報を蓄積する視聴者映像情報蓄積サーバ20と、視聴者映像情報収集サーバ10の収集した視聴者映像情報と映像番組とを合成することで、その視聴者映像情報の組み込まれた映像番組である映像番組合成情報を生成する視聴者映像情報合成サーバ30と、視聴者映像情報合成サーバ30の生成した映像番組合成情報や視聴者映像情報の組み込まれない映像番組を受信クライアント2-jに配信する映像番組配信サーバ40とが、インターネット3を介して接続されることで構成される。   As shown in this figure, the video program distribution system comprising the present invention is operated by a transmission client 1-i (i = 1 to n) operated by a user who wants to appear in video and a user who views the video program. A receiving client 2-j (j = 1 to m), a viewer video information collecting server 10 for collecting viewer information such as viewer video information enabling video appearance from the transmitting client 1-i, and a viewer video By synthesizing the viewer video information storage server 20 that stores the viewer video information collected by the information collection server 10 and the viewer video information collected by the viewer video information collection server 10 and the video program, the viewer A viewer video information synthesis server 30 that generates video program synthesis information that is a video program in which video information is incorporated, and video program synthesis information and viewer video information generated by the viewer video information synthesis server 30. And video program delivery server 40 that delivers the integrated non video program to the receiving client 2-j is configured by being connected through the Internet 3.

ここで、視聴者映像情報合成サーバ30は、合成対象となる視聴者映像情報を一時的に保持する視聴者映像情報保持部31と、合成対象となる映像番組を一時的に保持する映像番組保持部32とを備える。   Here, the viewer video information synthesis server 30 includes a viewer video information holding unit 31 that temporarily holds the viewer video information to be synthesized and a video program holding that temporarily holds the video program to be synthesized. Part 32.

また、映像番組配信サーバ40は、配信中でない映像番組(蓄積番組)を記憶する蓄積番組記憶装置41と、視聴者映像情報収集サーバ10から送信されてくる配信リストを記憶する配信リスト記憶部42とを備える。   The video program distribution server 40 also stores an accumulated program storage device 41 that stores video programs (accumulated programs) that are not being distributed, and a distribution list storage unit 42 that stores a distribution list transmitted from the viewer video information collection server 10. With.

図2及び図3に、このように構成される本発明を具備する映像番組配信システムの実行するフローチャートを図示する。   2 and 3 show flowcharts executed by the video program distribution system including the present invention configured as described above.

ここで、図2に示すフローチャートは、送信クライアント1-iが映像番組合成情報の配信要求を発行するときを契機にして実行するフローチャートであり、図3に示すフローチャートは、受信クライアント2-jが映像番組の配信要求を発行するときを契機にして実行するフローチャートである。   Here, the flowchart shown in FIG. 2 is a flowchart executed when the transmission client 1-i issues a video program synthesis information distribution request, and the flowchart shown in FIG. It is a flowchart executed when a video program distribution request is issued.

最初に、図2のフローチャートに従って、送信クライアント1-iが映像番組合成情報の配信要求を発行するときを契機にして実行する処理について説明する。   First, a process executed when the transmission client 1-i issues a video program synthesis information distribution request will be described with reference to the flowchart of FIG.

送信クライアント1-iが映像番組合成情報の配信要求を発行すると、視聴者映像情報収集サーバ10は、図2中の(1)で示すように、ユーザが視聴者映像情報を合成したいと希望する映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とで構成される視聴者情報を収集する。   When the transmission client 1-i issues a distribution request for video program synthesis information, the viewer video information collection server 10 desires that the user synthesizes viewer video information as indicated by (1) in FIG. Viewer information including the name of the video program, viewer video information incorporated in the video program, and distribution destination information of the video program is collected.

すなわち、送信クライアント1-iを操作するユーザは、映像番組合成情報の配信要求を発行するときには、視聴者映像情報を合成したいと希望する映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とを指定して映像番組合成情報の配信要求を発行するので、視聴者映像情報収集サーバ10は、それらの情報を収集するのである。   That is, when a user operating the transmission client 1-i issues a distribution request for video program synthesis information, the name of the video program that the viewer video information is desired to synthesize and the viewer video incorporated in the video program. Since the information and the distribution destination information of the video program are designated and a video program composition information distribution request is issued, the viewer video information collection server 10 collects the information.

ここで、配信先情報としては、配信先となる受信クライアント2-jを特定可能とする受信クライアント2-jの名前やIPアドレスや配信相手ユーザの名前などを収集することになる。   Here, as the distribution destination information, the name, IP address, distribution partner user name, and the like of the reception client 2-j that can identify the reception client 2-j as the distribution destination are collected.

また、配信先情報には、自分自身の送信クライアント1-iを含めることが可能である。例えば、送信クライアントAのユーザが自分の端末を含め、送信クライアントA1のユーザと送信クライアントA2のユーザとに自分の視聴者映像情報を合成した映像番組を見せたいと希望する場合には、配信先情報として、「送信クライアントA」、「送信クライアントA1」、「送信クライアントA2」を指定することになる。ここで、送信クライアント名に代えて、送信クライアント1-iを特定可能とするIPアドレスやユーザ名を指定することも可能である。   Further, the delivery destination information can include its own transmission client 1-i. For example, when the user of the transmission client A wants to show a video program composed of his / her viewer video information to the user of the transmission client A1 and the user of the transmission client A2, including his / her terminal, As the information, “transmission client A”, “transmission client A1”, and “transmission client A2” are designated. Here, instead of the transmission client name, it is also possible to specify an IP address or a user name that can identify the transmission client 1-i.

また、視聴者映像情報については、映像情報そのものを指定してくる場合には、その映像情報を収集することになるが、映像情報の格納先の情報として、送信クライアント1-i上または送信クライアント1-i以外にあるファイルまたはデバイスまたはURLなどを指定してくる場合には、その情報を収集することになる。   As for the viewer video information, when the video information itself is designated, the video information is collected, but the information on the storage destination of the video information is transmitted on the transmission client 1-i or the transmission client. When a file or device other than 1-i or a URL is designated, the information is collected.

視聴者映像情報収集サーバ10は、続いて、図2中の(2)で示すように、映像番組配信サーバ40に対して、収集した配信先情報と、収集した映像番組名と、収集した視聴者映像情報の格納場所(後述するように視聴者映像情報合成サーバ30が当初の格納場所となる)の情報とからなる配信リストを送信する。   Subsequently, as shown by (2) in FIG. 2, the viewer video information collection server 10 sends the collected distribution destination information, the collected video program name, and the collected viewing to the video program distribution server 40. A distribution list including information on the storage location of the viewer video information (the viewer video information synthesis server 30 is the initial storage location as will be described later) is transmitted.

このようにして映像番組配信サーバ40に送信された配信リストについては、映像番組配信サーバ40の配信リスト記憶部42に保存されることになる。   The distribution list transmitted to the video program distribution server 40 in this way is stored in the distribution list storage unit 42 of the video program distribution server 40.

視聴者映像情報収集サーバ10は、続いて、図2中の(3)で示すように、映像番組配信サーバ40に対して、収集した映像番組名を指定して、その映像番組名の指す映像番組が配信中であるのかを問い合わせる。   Subsequently, as shown by (3) in FIG. 2, the viewer video information collection server 10 designates the collected video program name to the video program distribution server 40, and the video indicated by the video program name Queries whether the program is being distributed.

この問い合わせを受けて、映像番組配信サーバ40は、指定された映像番組名の指す映像番組が配信中であるのかを判断して、図2中の(4)で示すように、視聴者映像情報収集サーバ10に対して、その判断結果を回答してくる。   In response to this inquiry, the video program distribution server 40 determines whether or not the video program indicated by the designated video program name is being distributed, and as shown by (4) in FIG. The determination result is returned to the collection server 10.

これから、視聴者映像情報収集サーバ10は、続いて、図2中の(5)で示すように、映像番組配信サーバ40からの回答結果に基づいて、収集した映像番組名の指す映像番組が配信中であるのかを判断する。   From now on, the viewer video information collecting server 10 distributes the video program indicated by the collected video program name based on the answer result from the video program distribution server 40, as indicated by (5) in FIG. Judge whether it is inside.

視聴者映像情報収集サーバ10は、この判断処理に従って、収集した映像番組名の指す映像番組が配信中であることを判断するときには、続いて、図2中の(6)で示すように、視聴者映像情報合成サーバ30に対して、収集した視聴者映像情報を送信するとともに、映像番組配信サーバ40に問い合わせた映像番組(ライブ番組)の名前を通知する。   When the viewer video information collection server 10 determines that the video program indicated by the collected video program name is being distributed in accordance with this determination process, the viewer video information collection server 10 continues to view as shown by (6) in FIG. The collected viewer video information is transmitted to the person video information synthesis server 30 and the name of the video program (live program) inquired of the video program distribution server 40 is notified.

このようにして視聴者映像情報合成サーバ30に送信された視聴者映像情報については、視聴者映像情報合成サーバ30の視聴者映像情報保持部31に保存されることになる。   Thus, the viewer video information transmitted to the viewer video information synthesis server 30 is stored in the viewer video information holding unit 31 of the viewer video information synthesis server 30.

このライブ番組名の通知を受けて、視聴者映像情報合成サーバ30は、図2中の(7)で示すように、映像番組配信サーバ40に対して、通知されたライブ番組名の指すライブ番組の送信を要求する。   Upon receiving the notification of the live program name, the viewer video information composition server 30 sends the live program indicated by the notified live program name to the video program distribution server 40, as indicated by (7) in FIG. Request to send

このライブ番組の送信要求を受けて、映像番組配信サーバ40は、図2中の(8)で示すように、視聴者映像情報合成サーバ30に対して、配信中のライブ番組を送信してくる。   Upon receiving this live program transmission request, the video program distribution server 40 transmits the live program being distributed to the viewer video information synthesis server 30 as indicated by (8) in FIG. .

このようにして映像番組配信サーバ40から送信されてくるライブ番組については、視聴者映像情報合成サーバ30の映像番組保持部32に一時的に保存されることになる。   Thus, the live program transmitted from the video program distribution server 40 is temporarily stored in the video program holding unit 32 of the viewer video information synthesis server 30.

これから、視聴者映像情報合成サーバ30は、続いて、図2中の(9)で示すように、映像番組配信サーバ40から送信されてくるライブ番組と、視聴者映像情報収集サーバ10から送信されてきた視聴者映像情報保持部31に保存される視聴者映像情報とを合成することで映像番組合成情報(合成ライブ番組)を生成する。ここで、視聴者映像情報としてURLなどが送信されてくる場合には、そのURLなどに基づいて、映像情報である視聴者映像情報を取得することになる。   From now on, the viewer video information composition server 30 subsequently transmits the live program transmitted from the video program distribution server 40 and the viewer video information collection server 10 as indicated by (9) in FIG. The video program synthesis information (synthetic live program) is generated by synthesizing with the viewer video information stored in the viewer video information holding unit 31. Here, when a URL or the like is transmitted as the viewer video information, the viewer video information as the video information is acquired based on the URL or the like.

視聴者映像情報合成サーバ30は、続いて、図2中の(10)で示すように、映像番組配信サーバ40に対して、生成した映像番組合成情報(合成ライブ番組)を送信して、処理を終了する。   Subsequently, as shown by (10) in FIG. 2, the viewer video information synthesis server 30 transmits the generated video program synthesis information (synthetic live program) to the video program distribution server 40 for processing. Exit.

この映像番組合成情報(合成ライブ番組)の送信を受けて、映像番組配信サーバ40は、配信リスト記憶部42に保存される配信先情報を読み出して、その読み出した配信先情報の指す受信クライアント2-jに対して、視聴者映像情報合成サーバ30から送信されてくる映像番組合成情報(合成ライブ番組)を配信することになる。   Upon receiving the transmission of the video program synthesis information (synthetic live program), the video program distribution server 40 reads the distribution destination information stored in the distribution list storage unit 42, and receives the client 2 indicated by the read distribution destination information. The video program synthesis information (synthetic live program) transmitted from the viewer video information synthesis server 30 is distributed to -j.

一方、視聴者映像情報収集サーバ10は、図2中の(5)で、映像番組配信サーバ40からの回答結果に基づいて、収集した映像番組名の指す映像番組が配信中でないことを判断するときには、図2中の(11)で示すように、視聴者映像情報蓄積サーバ20に対して、視聴者映像情報収集サーバ10の収集した視聴者映像情報を送信する。   On the other hand, the viewer video information collection server 10 determines that the video program indicated by the collected video program name is not being distributed based on the answer result from the video program distribution server 40 in (5) in FIG. In some cases, as shown by (11) in FIG. 2, the viewer video information collected by the viewer video information collection server 10 is transmitted to the viewer video information storage server 20.

視聴者映像情報収集サーバ10は、続いて、図2中の(12)で示すように、映像番組配信サーバ40に対して、視聴者映像情報収集サーバ10の収集した視聴者映像情報の格納場所が視聴者映像情報合成サーバ30ではなくて視聴者映像情報蓄積サーバ20に変更されたことを通知して、処理を終了する。   Subsequently, the viewer video information collection server 10 stores the viewer video information collected by the viewer video information collection server 10 with respect to the video program distribution server 40, as indicated by (12) in FIG. Is notified to the viewer video information storage server 20 instead of the viewer video information synthesis server 30, and the process is terminated.

そして、この通知を受けて、映像番組配信サーバ40は、配信リスト記憶部42に記憶される視聴者映像情報の格納場所の情報を、視聴者映像情報合成サーバ30から視聴者映像情報蓄積サーバ20に変更することになる。   Upon receiving this notification, the video program distribution server 40 obtains information on the storage location of the viewer video information stored in the distribution list storage unit 42 from the viewer video information combining server 30 and the viewer video information storage server 20. Will be changed.

以上に説明した図2の処理の構成に従って、本発明を具備する映像番組配信システムによれば、送信クライアント1-iのユーザがカメラデバイスを指定し、観客席の中にユーザの顔の動画映像を合成することで、たとえば野球中継番組をあたかもユーザが観客席の中で野球観戦をしているかのような野球中継番組とすることが可能となる。   In accordance with the processing configuration of FIG. 2 described above, according to the video program distribution system provided with the present invention, the user of the transmission client 1-i designates the camera device, and the video image of the user's face in the audience seat For example, it becomes possible to make a baseball broadcast program as if a user is watching a baseball game in a spectator seat.

次に、図3のフローチャートに従って、受信クライアント2-jが映像番組の配信要求を発行するときを契機にして実行する処理について説明する。   Next, a process executed when the reception client 2-j issues a video program distribution request will be described with reference to the flowchart of FIG.

受信クライアント2-jを操作するユーザは、映像番組の配信要求を発行するときには、その映像番組の名前を指定して映像番組の配信を要求する。   When a user operating the reception client 2-j issues a video program distribution request, the user designates the name of the video program and requests distribution of the video program.

これから、受信クライアント2-jは、ユーザが映像番組の配信を要求すると、図3中の(1)で示すように、映像番組配信サーバ40に対して、ユーザの指定する映像番組名を指定して、その映像番組の配信を要求する。   From now on, when the user requests distribution of the video program, the receiving client 2-j designates the video program name designated by the user to the video program distribution server 40, as indicated by (1) in FIG. And request distribution of the video program.

この映像番組の配信要求を受けて、映像番組配信サーバ40は、図3中の(2)で示すように、配信リスト記憶部42に記憶される配信先情報を参照することで、その配信要求を発行した受信クライアント2-jが配信要求のある映像番組に基づいて生成された映像番組合成情報の配信先として設定されているのかを判断する。   Upon receiving this video program distribution request, the video program distribution server 40 refers to the distribution destination information stored in the distribution list storage unit 42 as shown by (2) in FIG. It is determined whether the receiving client 2-j that has issued is set as a distribution destination of the video program synthesis information generated based on the video program for which distribution is requested.

映像番組配信サーバ40は、この判断処理に従って、配信要求を発行した受信クライアント2-jが映像番組合成情報の配信先として設定されていないことを判断するときには、続いて、図3中の(3)で示すように、配信要求を発行した受信クライアント2-jに対して、配信要求のある映像番組(ライブ番組または蓄積番組)を合成しないもとのままの形で配信する。   When the video program distribution server 40 determines that the receiving client 2-j that issued the distribution request is not set as the distribution destination of the video program synthesis information according to this determination processing, the video program distribution server 40 continues to (3 in FIG. As shown by (), the video program (live program or stored program) for which the distribution request is made is distributed as it is without being synthesized to the receiving client 2-j that has issued the distribution request.

これを受けて、配信要求を発行した受信クライアント2-jは、視聴者映像情報の合成されていない配信要求の映像番組を受信することになる。   In response to this, the receiving client 2-j that issued the distribution request receives the distribution-requested video program in which the viewer video information is not synthesized.

一方、映像番組配信サーバ40は、図3中の(2)で、配信要求を発行した受信クライアント2-jが映像番組合成情報の配信先として設定されていることを判断するときには、続いて、図3中の(4)で示すように、配信要求を発行した受信クライアント2-jに対して、視聴者映像情報の合成された形で配信要求の映像番組を配信してよいのかを問い合わせる。   On the other hand, when the video program distribution server 40 determines in (2) in FIG. 3 that the receiving client 2-j that issued the distribution request is set as the distribution destination of the video program synthesis information, As indicated by (4) in FIG. 3, an inquiry is made to the receiving client 2-j that has issued the distribution request as to whether or not the distribution requested video program can be distributed in a combined form of the viewer video information.

この問い合わせを受けて、配信要求を発行した受信クライアント2-jは、ユーザに問い合わせることで、視聴者映像情報と配信要求の映像番組とが合成されたものの配信でよいのかを決定して、図3中の(5)で示すように、映像番組配信サーバ40に対して、その決定結果を回答してくる。   In response to this inquiry, the receiving client 2-j that has issued the distribution request determines whether the distribution of the viewer video information combined with the video program of the distribution request is acceptable by inquiring the user. As shown by (5) in FIG. 3, the determination result is returned to the video program distribution server 40.

これから、映像番組配信サーバ40は、図3中の(6)で示すように、配信要求を発行した受信クライアント2-jからの回答結果に基づいて、視聴者映像情報と配信要求の映像番組とを合成するのかを決定する。   From now on, as shown by (6) in FIG. 3, the video program distribution server 40, based on the response result from the receiving client 2-j that issued the distribution request, the viewer video information and the video program of the distribution request. Decide whether to synthesize.

映像番組配信サーバ40は、この決定処理に従って、視聴者映像情報と配信要求の映像番組とを合成しないことを決定するときには、続いて、図3中の(7)で示すように、配信要求を発行した受信クライアント2-jに対して、配信要求のある映像番組(ライブ番組または蓄積番組)を合成しないもとのままの形で配信する。   When the video program distribution server 40 determines not to synthesize the viewer video information and the video program requested for distribution in accordance with this determination process, the video program distribution server 40 subsequently issues a distribution request, as indicated by (7) in FIG. For the issued receiving client 2-j, the video program (live program or stored program) requested to be distributed is distributed as it is without being synthesized.

これを受けて、配信要求を発行した受信クライアント2-jは、視聴者映像情報の合成されていない配信要求の映像番組を受信することになる。   In response to this, the receiving client 2-j that issued the distribution request receives the distribution-requested video program in which the viewer video information is not synthesized.

一方、映像番組配信サーバ40は、図3中の(6)で、視聴者映像情報と配信要求の映像番組とを合成することを決定するときには、続いて、図3中の(8)で示すように、配信要求の映像番組が蓄積番組であるのかライブ番組であるのかを判断する。   On the other hand, when the video program distribution server 40 decides to synthesize the viewer video information and the video program requested to be distributed in (6) in FIG. 3, the video program distribution server 40 subsequently shows (8) in FIG. In this manner, it is determined whether the video program requested for distribution is an accumulated program or a live program.

映像番組配信サーバ40は、この判断処理に従って、配信要求の映像番組が蓄積番組でないことを判断するとき、すなわち、ライブ番組であることを判断するときには、図2のフローチャートの処理に従って、視聴者映像情報合成サーバ30から映像番組合成情報(合成ライブ番組)が送信されてくるので、続いて、図3中の(9)で示すように、配信要求を発行した受信クライアント2-jに対して、その送信されてくる映像番組合成情報(合成ライブ番組)を配信する。   When the video program distribution server 40 determines that the distribution-requested video program is not an accumulated program according to this determination process, that is, when it determines that the distribution program is a live program, the video program distribution server 40 follows the process of the flowchart of FIG. Since the video program synthesis information (synthetic live program) is transmitted from the information synthesis server 30, subsequently, as shown by (9) in FIG. 3, the receiving client 2-j that issued the distribution request The transmitted video program synthesis information (synthetic live program) is distributed.

これを受けて、配信要求を発行した受信クライアント2-jは、視聴者映像情報の合成された配信要求の映像番組(合成ライブ番組)を受信することになる。   In response to this, the receiving client 2-j that has issued the distribution request receives the distribution-requested video program (synthetic live program) in which the viewer video information is synthesized.

一方、映像番組配信サーバ40は、図3中の(8)で、配信要求の映像番組が蓄積番組であることを判断するときには、続いて、図3中の(10)で示すように、視聴者映像情報合成サーバ30に対して、配信要求の蓄積番組(蓄積番組記憶装置41から読み出す)を送信するとともに、配信リスト記憶部42に保存される視聴者映像情報の格納場所の情報を通知する。   On the other hand, when the video program distribution server 40 determines in (8) in FIG. 3 that the video program requested for distribution is an accumulated program, the video program distribution server 40 continues to view as shown in (10) in FIG. The distribution request accumulation program (read from the accumulation program storage device 41) is transmitted to the viewer video information synthesis server 30, and information on the storage location of the viewer video information stored in the distribution list storage unit 42 is notified. .

このようにして映像番組配信サーバ40から送信されてくる蓄積番組については、視聴者映像情報合成サーバ30の映像番組保持部32に一時的に保存されることになる。   Thus, the stored program transmitted from the video program distribution server 40 is temporarily stored in the video program holding unit 32 of the viewer video information synthesis server 30.

この格納場所情報の通知を受けて、視聴者映像情報合成サーバ30は、図3中の(11)で示すように、映像番組配信サーバ40から通知された格納場所情報に基づいて、視聴者映像情報蓄積サーバ20に対して、視聴者映像情報の送信を要求する。   Upon receiving this storage location information notification, the viewer video information composition server 30 receives the viewer video based on the storage location information notified from the video program distribution server 40, as indicated by (11) in FIG. The information storage server 20 is requested to transmit viewer video information.

この視聴者映像情報の送信要求を受けて、視聴者映像情報蓄積サーバ20は、図3中の(12)で示すように、視聴者映像情報合成サーバ30に対して、視聴者映像情報収集サーバ10から取得した視聴者映像情報を送信する。   Upon receiving this viewer video information transmission request, the viewer video information storage server 20 sends a viewer video information collection server to the viewer video information synthesis server 30, as indicated by (12) in FIG. The viewer video information acquired from 10 is transmitted.

このようにして視聴者映像情報蓄積サーバ20から送信されてくる視聴者映像情報については、視聴者映像情報合成サーバ30の視聴者映像情報保持部31に一時的に保存されることになる。   Thus, the viewer video information transmitted from the viewer video information storage server 20 is temporarily stored in the viewer video information holding unit 31 of the viewer video information synthesis server 30.

これから、視聴者映像情報合成サーバ30は、続いて、図3中の(13)で示すように、映像番組配信サーバ40から送信されてきた映像番組保持部32に保存される蓄積番組と、視聴者映像情報蓄積サーバ20から送信されてきた視聴者映像情報保持部31に保存される視聴者映像情報とを合成することで映像番組合成情報(合成蓄積番組)を生成する。ここで、視聴者映像情報としてURLなどが送信されてくる場合には、そのURLなどに基づいて、映像情報である視聴者映像情報を取得することになる。   From now on, the viewer video information synthesis server 30 continues to store the stored program stored in the video program holding unit 32 transmitted from the video program distribution server 40 and the viewing, as indicated by (13) in FIG. Video program synthesis information (synthesized accumulation program) is generated by synthesizing the viewer video information stored in the viewer video information holding unit 31 transmitted from the viewer video information accumulation server 20. Here, when a URL or the like is transmitted as the viewer video information, the viewer video information that is video information is acquired based on the URL or the like.

視聴者映像情報合成サーバ30は、続いて、図3中の(14)で示すように、映像番組配信サーバ40に対して、生成した映像番組合成情報(合成蓄積番組)を送信する。   Subsequently, as shown by (14) in FIG. 3, the viewer video information synthesis server 30 transmits the generated video program synthesis information (synthesized and accumulated program) to the video program distribution server 40.

この映像番組合成情報の送信を受けて、映像番組配信サーバ40は、図3中の(15)で示すように、配信要求を発行した受信クライアント2-jに対して、その送信されてくる映像番組合成情報(合成蓄積番組)を配信する。   Upon receiving the transmission of the video program synthesis information, the video program distribution server 40 transmits the transmitted video to the receiving client 2-j that has issued the distribution request, as indicated by (15) in FIG. Deliver program synthesis information (synthetic stored program).

これを受けて、配信要求を発行した受信クライアント2-jは、視聴者映像情報の合成された配信要求の映像番組(合成蓄積番組)を受信することになる。   In response to this, the receiving client 2-j that issued the distribution request receives the distribution-requested video program (synthesized and accumulated program) in which the viewer video information is synthesized.

以上に説明した図3の処理の構成に従って、本発明を具備する映像番組配信システムによれば、ユーザの顔写真のファイルを指定し、ドラマの中で使用される部屋の写真盾にユーザの写真を合成することで、たとえばユーザの好みの女優または男優の昔の恋人役などとしてドラマに参加することが可能となる。さらに、そのドラマを見てもらいたい相手を指定することが可能となる。   According to the video program distribution system comprising the present invention according to the processing configuration of FIG. 3 described above, the user's face photo file is designated, and the user's photo is used as a photo shield in the room used in the drama. It is possible to participate in the drama as, for example, a user's favorite actress or actor's old lover. Furthermore, it becomes possible to designate a partner who wants to see the drama.

図2に示すフローチャートでは、図2中の(1)で示すように、視聴者映像情報収集サーバ10は、ユーザが視聴者映像情報を合成したいと希望する映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とを収集するようにしたが、ユーザがその映像番組がライブ番組であるということを知ることができる場合には、視聴者映像情報収集サーバ10は、これらの情報に加えて、その映像番組が配信中であるということを示すキーワードを収集できるようになる。   In the flowchart shown in FIG. 2, as indicated by (1) in FIG. 2, the viewer video information collection server 10 includes the name of the video program that the user desires to synthesize the viewer video information and the video program content. Viewer video information to be incorporated into the video and the distribution destination information of the video program are collected. If the user can know that the video program is a live program, the viewer video information is collected. In addition to these pieces of information, the server 10 can collect a keyword indicating that the video program is being distributed.

このときには、図2中の(3)〜(5)の処理が不要となるとともに、図2中の(11)、(12)の処理が不要となる。   At this time, the processes (3) to (5) in FIG. 2 become unnecessary, and the processes (11) and (12) in FIG. 2 become unnecessary.

すなわち、視聴者映像情報収集サーバ10が映像番組が配信中であるということを示すキーワードを収集できる場合には、映像番組配信サーバ40への問い合わせを行うことなく、図4に示すフローチャートの処理に従って、その配信中の映像番組(ライブ番組)と視聴者映像情報収集サーバ10の収集した視聴者映像情報とを合成することで映像番組合成情報(合成ライブ番組)を生成して、それを視聴者映像情報収集サーバ10の収集した配信先情報の指す受信クライアント2-jに対して配信するように処理することになる。   That is, when the viewer video information collection server 10 can collect a keyword indicating that the video program is being distributed, it does not make an inquiry to the video program distribution server 40 and follows the processing of the flowchart shown in FIG. The video program (live program) being distributed and the viewer video information collected by the viewer video information collection server 10 are synthesized to generate video program synthesis information (synthetic live program), which is then viewed by the viewer Processing is performed so as to be distributed to the receiving client 2-j indicated by the distribution destination information collected by the video information collection server 10.

図5に、本発明を具備する映像番組配信システムの他のシステム構成を図示する。   FIG. 5 shows another system configuration of the video program distribution system comprising the present invention.

図5に示す本発明を具備する映像番組配信システムと、図1に示す本発明を具備する映像番組配信システムとの違いは、図5に示す本発明を具備する映像番組配信システムでは、受信クライアント2-jに代えてテレビ受信機4-k(k=1〜p)が映像番組を受信するように処理する点と、映像番組配信サーバ40に接続される放送局50が、これらのテレビ受信機4-kに対して、視聴者映像情報合成サーバ30の生成した映像番組合成情報を放送するように処理する点にある。   The difference between the video program distribution system having the present invention shown in FIG. 5 and the video program distribution system having the present invention shown in FIG. 1 is that the receiving client in the video program distribution system having the present invention shown in FIG. The television receiver 4-k (k = 1 to p) performs processing so as to receive the video program instead of 2-j, and the broadcasting station 50 connected to the video program distribution server 40 receives these television programs. The machine 4-k is processed so that the video program synthesis information generated by the viewer video information synthesis server 30 is broadcast.

図6に、このように構成される本発明を具備する映像番組配信システムの実行するフローチャートを図示する。   FIG. 6 shows a flowchart executed by the video program distribution system having the present invention configured as described above.

テレビ受信機4-k(k=1〜p)が映像番組を受信する場合、配信先は全てのテレビ受信機4-kということになる。したがって、視聴者映像情報収集サーバ10は配信先情報を収集する必要はないが、これは、全てのテレビ受信機4-kが配信先になるという情報を収集したことと等価である。また、配信対象となる映像番組はライブ番組となる。したがって、視聴者映像情報収集サーバ10は、映像番組配信サーバ40に対して、映像番組が配信中であるのかを問い合わせる必要がない。   When the television receiver 4-k (k = 1 to p) receives a video program, the distribution destination is all the television receivers 4-k. Therefore, the viewer video information collection server 10 does not need to collect distribution destination information, but this is equivalent to collecting information that all television receivers 4-k are distribution destinations. In addition, the video program to be distributed is a live program. Therefore, the viewer video information collection server 10 does not need to inquire of the video program distribution server 40 whether the video program is being distributed.

これから、視聴者映像情報収集サーバ10は、図6中の(1)で示すように、ユーザが視聴者映像情報を合成したいと希望するライブ番組の名前と、そのライブ番組内に組み込む視聴者映像情報と、その映像番組が放送中であるということを示すキーワードとを収集するように処理することになる。   From now on, as shown by (1) in FIG. 6, the viewer video information collecting server 10 names the live program that the user desires to synthesize viewer video information and the viewer video incorporated in the live program. Processing is performed so as to collect information and a keyword indicating that the video program is being broadcast.

そして、視聴者映像情報収集サーバ10は、放送中であるということを示すキーワードに基づいて、直ちに、視聴者映像情報合成サーバ30に対して、収集した視聴者映像情報を送信するとともに、収集したライブ番組名を通知し、これを受けて、視聴者映像情報合成サーバ30は、映像番組配信サーバ40からそのライブ番組名の指すライブ番組を取得して、送信されてきた視聴者映像情報と合成することで合成ライブ番組を生成して、映像番組配信サーバ40に送信し、これを受けて、放送局50は、映像番組配信サーバ40から合成ライブ番組を受け取って、それを全てのテレビ受信機4-kに対して放送するように処理することになる。   Then, the viewer video information collection server 10 immediately transmits the collected viewer video information to the viewer video information synthesis server 30 and collects it based on the keyword indicating that it is being broadcast. In response to the notification of the live program name, the viewer video information synthesis server 30 acquires the live program indicated by the live program name from the video program distribution server 40 and synthesizes it with the transmitted viewer video information. Thus, a synthesized live program is generated and transmitted to the video program distribution server 40. In response to this, the broadcast station 50 receives the synthesized live program from the video program distribution server 40, and transmits it to all television receivers. Processing is to be performed for 4-k.

このように、本発明を具備する映像番組配信システムは、放送という配信形態をとる場合にも、そのまま適用できるものである。   As described above, the video program distribution system including the present invention can be applied as it is even when the distribution form of broadcasting is adopted.

本発明は、特定のユーザに対して映像番組を配信可能な映像配信システムや不特定多数のユーザに対して映像番組を配信可能な映像放送システムに適用できるものであり、システムの用意する映像番組にユーザが映像出演できるようになる仕組みを実現する。   The present invention can be applied to a video distribution system capable of distributing a video program to a specific user and a video broadcasting system capable of distributing a video program to an unspecified number of users. The system that enables users to appear in the video.

本発明を具備する映像番組配信システムのシステム構成図である。1 is a system configuration diagram of a video program distribution system including the present invention. 本発明を具備する映像番組配信システムの実行するフローチャートである。It is a flowchart which the video program delivery system which comprises this invention performs. 本発明を具備する映像番組配信システムの実行するフローチャートである。It is a flowchart which the video program delivery system which comprises this invention performs. 本発明を具備する映像番組配信システムの実行するフローチャートである。It is a flowchart which the video program delivery system which comprises this invention performs. 本発明を具備する映像番組配信システムの他のシステム構成図である。It is another system block diagram of the video program delivery system which comprises this invention. 本発明を具備する映像番組配信システムの実行するフローチャートである。It is a flowchart which the video program delivery system which comprises this invention performs.

符号の説明Explanation of symbols

1 送信クライアント
2 受信クライアント
3 インターネット
10 視聴者映像情報収集サーバ
20 視聴者映像情報蓄積サーバ
30 視聴者映像情報合成サーバ
31 視聴者映像情報保持部
32 映像番組保持部
40 映像番組配信サーバ
41 蓄積番組記憶装置
42 配信リスト記憶部
DESCRIPTION OF SYMBOLS 1 Transmission client 2 Reception client 3 Internet 10 Viewer video information collection server 20 Viewer video information storage server 30 Viewer video information synthesis server 31 Viewer video information holding unit 32 Video program holding unit 40 Video program distribution server 41 Stored program storage Device 42 Distribution list storage unit

Claims (10)

クライアントに対して映像番組を配信する映像番組配信システムで実行される映像番組配信方法であって、
視聴者映像情報の組み込み先となる映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とを収集し、その収集した映像番組名の指す映像番組を取得して、その取得した映像番組とその収集した視聴者映像情報とを合成することで、その収集した視聴者映像情報の組み込まれた映像番組合成情報を生成して、その収集した配信先情報の指すクライアントに対して、その生成した映像番組合成情報を配信することを、
特徴とする映像番組配信方法。
A video program distribution method executed by a video program distribution system for distributing a video program to a client,
Collect the name of the video program into which the viewer video information is to be incorporated, the viewer video information to be incorporated in the video program, and the distribution destination information of the video program, and the video program pointed to by the collected video program name. Acquire and synthesize the acquired video program and the collected viewer video information to generate video program synthesis information in which the collected viewer video information is embedded, and the collected distribution destination information To distribute the generated video program composition information to the client pointed to by
A featured video program distribution method.
収集サーバと合成サーバと配信サーバとを備える映像番組配信システムで実行される映像番組配信方法であって、
前記収集サーバが、配信要求元のクライアントから、視聴者映像情報の組み込み先となる映像番組の名前と、その映像番組内に組み込む視聴者映像情報と、その映像番組の配信先情報とを収集し、
前記合成サーバが、前記収集サーバの収集した映像番組名の指す映像番組を取得するとともに、前記収集サーバの収集した視聴者映像情報を取得して、その取得した映像番組とその取得した視聴者映像情報とを合成することで、その取得した視聴者映像情報の組み込まれた映像番組合成情報を生成し、
前記配信サーバが、前記合成サーバの生成した前記映像番組合成情報を取得して、前記収集サーバの収集した配信先情報の指すクライアントに対して、その取得した前記映像番組合成情報を配信することを、
特徴とする映像番組配信方法。
A video program distribution method executed in a video program distribution system comprising a collection server, a synthesis server, and a distribution server,
The collection server collects the name of the video program into which the viewer video information is to be incorporated, the viewer video information to be incorporated into the video program, and the distribution destination information of the video program from the distribution request source client. ,
The synthesis server acquires the video program indicated by the video program name collected by the collection server, acquires the viewer video information collected by the collection server, and acquires the acquired video program and the acquired viewer video. By synthesizing the information, the video program synthesis information in which the acquired viewer video information is incorporated is generated,
The distribution server acquires the video program synthesis information generated by the synthesis server, and distributes the acquired video program synthesis information to the client indicated by the distribution destination information collected by the collection server. ,
A featured video program distribution method.
請求項2に記載の映像番組配信方法において、
前記配信サーバが、前記収集サーバの収集した配信先情報の指すクライアントに対して、前記映像番組合成情報の配信許可を求めて、配信許可の得られたクライアントのみに前記映像番組合成情報を配信し、配信許可の得られないクライアントには前記視聴映像情報の組み込まれない映像番組を配信することを、
特徴とする映像番組配信方法。
The video program distribution method according to claim 2,
The distribution server asks the client indicated by the distribution destination information collected by the collection server for distribution permission of the video program synthesis information, and distributes the video program synthesis information only to clients who have been permitted to distribute. , Delivering a video program in which the viewing video information is not incorporated to a client for which distribution permission is not obtained,
A featured video program distribution method.
請求項2又は3に記載の映像番組配信方法において、
前記収集サーバが、配信要求元のクライアントから収集する視聴者映像情報として、その視聴者映像情報の格納先を示す情報を収集し、
前記合成サーバが、前記格納先を示す情報に基づいて、前記映像番組合成情報の生成に必要となる視聴者映像情報を取得することを、
特徴とする映像番組配信方法。
In the video program delivery method according to claim 2 or 3,
The collection server collects information indicating the storage location of the viewer video information as the viewer video information collected from the distribution request source client,
The synthesis server acquires viewer video information necessary for generating the video program synthesis information based on the information indicating the storage destination.
A featured video program distribution method.
請求項2ないし4のいずれか1項に記載の映像番組配信方法において、
前記収集サーバが、配信要求元のクライアントから、視聴者映像情報の組み込み先となる映像番組がライブ番組であるのか否かの情報についても収集して、ライブ番組である場合には、収集した視聴者映像情報を前記合成サーバに送信することを、
特徴とする映像番組配信方法。
The video program delivery method according to any one of claims 2 to 4,
The collection server also collects information about whether or not the video program into which the viewer video information is to be incorporated is a live program from the distribution request source client. Sending the person video information to the composition server,
A featured video program distribution method.
請求項2ないし5のいずれか1項に記載の映像番組配信方法において、
前記収集サーバが、前記配信サーバに対して、収集した映像番組名の指す映像番組がライブ番組であるのか蓄積番組であるのかを問い合わせて、ライブ番組であることの問い合わせ結果を得る場合には、収集した視聴者映像情報を前記合成サーバに送信し、一方、蓄積番組であることの問い合わせ結果を得る場合には、収集した視聴者映像情報を前記合成サーバ及び前記配信サーバとは別に設けられる蓄積サーバに送信するとともに、前記配信サーバに対して、収集した視聴者映像情報をその蓄積サーバに格納したことを示す格納場所情報を送信することを、
特徴とする映像番組配信方法。
In the video program delivery method according to any one of claims 2 to 5,
When the collection server inquires to the distribution server whether the video program indicated by the collected video program name is a live program or a stored program, and obtains an inquiry result that it is a live program, When the collected viewer video information is transmitted to the synthesis server and an inquiry result indicating that it is a stored program is obtained, the collected viewer video information is stored separately from the synthesis server and the distribution server. Transmitting to the server and storing location information indicating that the collected viewer video information is stored in the storage server to the distribution server,
A featured video program distribution method.
請求項5又は6に記載の映像番組配信方法において、
前記合成サーバが、前記収集サーバから視聴者映像情報が送信されてくる場合に、前記配信サーバから前記ライブ番組を取得して、その取得したライブ番組とその送信されてきた視聴者映像情報とを合成することで前記映像番組合成情報を生成することを、
特徴とする映像番組配信方法。
In the video program delivery method according to claim 5 or 6,
When the synthesizing server receives viewer video information from the collection server, the synthesizing server acquires the live program from the distribution server, and obtains the acquired live program and the transmitted viewer video information. Generating the video program synthesis information by synthesizing,
A featured video program distribution method.
請求項6に記載の映像番組配信方法において、
前記合成サーバが、前記配信サーバから前記蓄積番組と前記格納場所情報とが送信されてくる場合に、その格納場所情報に基づいて、前記蓄積サーバから前記収集サーバの収集した視聴者映像情報を取得して、その送信されてきた蓄積番組とその取得した視聴者映像情報とを合成することで前記映像番組合成情報を生成することを、
特徴とする映像番組配信方法。
The video program delivery method according to claim 6, wherein
When the synthesis server receives the stored program and the storage location information from the distribution server, the synthesis server acquires the viewer video information collected by the collection server from the storage server based on the storage location information. Then, generating the video program synthesis information by synthesizing the transmitted stored program and the acquired viewer video information,
A featured video program distribution method.
クライアントから情報を収集する収集サーバと、映像を合成する合成サーバと、クライアントに映像情報を配信する配信サーバとを備える映像番組配信システムで用いられる合成サーバであって、
前記収集サーバの収集した映像番組名の指す映像番組を取得する手段と、
前記収集サーバの収集した視聴者映像情報を取得する手段と、
前記取得した映像番組と、前記取得した視聴者映像情報とを合成することで、その取得した視聴者映像情報の組み込まれた映像番組合成情報を生成する手段と、
前記生成した映像番組合成情報を前記配信サーバに送信する手段とを備えることを、
特徴とする映像番組配信システムで用いられる合成サーバ。
A synthesis server used in a video program distribution system comprising a collection server that collects information from a client, a synthesis server that synthesizes video, and a distribution server that distributes video information to the client,
Means for acquiring a video program indicated by a video program name collected by the collection server;
Means for acquiring viewer video information collected by the collection server;
Means for synthesizing the acquired video program and the acquired viewer video information to generate video program synthesis information in which the acquired viewer video information is incorporated;
Means for transmitting the generated video program synthesis information to the distribution server,
A composition server used in the featured video program distribution system.
クライアントから情報を収集する収集サーバと、映像を合成する合成サーバと、クライアントに映像情報を配信する配信サーバとを備える映像番組配信システムで用いられる合成サーバの実現に用いられる合成サーバ用プログラムであって、
コンピュータを、
前記収集サーバの収集した映像番組名の指す映像番組を取得する手段と、
前記収集サーバの収集した視聴者映像情報を取得する手段と、
前記取得した映像番組と、前記取得した視聴者映像情報とを合成することで、その取得した視聴者映像情報の組み込まれた映像番組合成情報を生成する手段と、
前記生成した映像番組合成情報を前記配信サーバに送信する手段として機能させるための合成サーバ用プログラム。
A synthesis server program used to realize a synthesis server used in a video program distribution system including a collection server that collects information from a client, a synthesis server that synthesizes video, and a distribution server that distributes video information to the client. And
Computer
Means for acquiring a video program indicated by a video program name collected by the collection server;
Means for acquiring viewer video information collected by the collection server;
Means for synthesizing the acquired video program and the acquired viewer video information to generate video program synthesis information in which the acquired viewer video information is incorporated;
A synthesizing server program for causing the generated video program synthesizing information to function as means for transmitting to the distribution server.
JP2007007636A 2007-01-17 2007-01-17 Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server Pending JP2008177717A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007007636A JP2008177717A (en) 2007-01-17 2007-01-17 Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007007636A JP2008177717A (en) 2007-01-17 2007-01-17 Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server

Publications (1)

Publication Number Publication Date
JP2008177717A true JP2008177717A (en) 2008-07-31

Family

ID=39704421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007007636A Pending JP2008177717A (en) 2007-01-17 2007-01-17 Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server

Country Status (1)

Country Link
JP (1) JP2008177717A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061787A (en) * 2009-09-04 2011-03-24 Korea Electronics Telecommun Wired and wireless coupled server, broadcasting participant terminal device, and method of providing participational broadcasting service
JP2020043384A (en) * 2018-09-06 2020-03-19 株式会社オルツ Information processing apparatus, method, and program for generating composite image for user
JP2022534353A (en) * 2019-04-16 2022-07-29 チームグリット METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET
WO2024057400A1 (en) * 2022-09-13 2024-03-21 日本電信電話株式会社 Media playback control device, media playback device, media playback method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006867A (en) * 2000-06-19 2002-01-11 Media File Sha:Kk Karaoke sing-along machine information delivery system
JP2003339011A (en) * 2002-05-20 2003-11-28 Nec Soft Ltd Composite video transmission system, composite video transmission method, and program
JP2004128804A (en) * 2002-10-01 2004-04-22 Megafusion Corp Image distribution system
JP2005084987A (en) * 2003-09-09 2005-03-31 Fuji Photo Film Co Ltd Service server and composite moving picture preparation service method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006867A (en) * 2000-06-19 2002-01-11 Media File Sha:Kk Karaoke sing-along machine information delivery system
JP2003339011A (en) * 2002-05-20 2003-11-28 Nec Soft Ltd Composite video transmission system, composite video transmission method, and program
JP2004128804A (en) * 2002-10-01 2004-04-22 Megafusion Corp Image distribution system
JP2005084987A (en) * 2003-09-09 2005-03-31 Fuji Photo Film Co Ltd Service server and composite moving picture preparation service method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061787A (en) * 2009-09-04 2011-03-24 Korea Electronics Telecommun Wired and wireless coupled server, broadcasting participant terminal device, and method of providing participational broadcasting service
JP2013225905A (en) * 2009-09-04 2013-10-31 Korea Electronics Telecommun Wired and wireless coupled server, broadcasting participation terminal device, and method of providing broadcasting participation service
KR101356225B1 (en) * 2009-09-04 2014-01-29 한국전자통신연구원 Participation broadcasting apparatus, wired and wireless coupled server for supporting participation broadcasting, and method for providing service of participation broadcasting
JP2020043384A (en) * 2018-09-06 2020-03-19 株式会社オルツ Information processing apparatus, method, and program for generating composite image for user
JP2022534353A (en) * 2019-04-16 2022-07-29 チームグリット METHOD AND APPARATUS FOR PROVIDING REAL-TIME PARTICIPATIVE STREAMING SERVICE VIA INTERNET
WO2024057400A1 (en) * 2022-09-13 2024-03-21 日本電信電話株式会社 Media playback control device, media playback device, media playback method, and program

Similar Documents

Publication Publication Date Title
KR101591535B1 (en) Techniques to consume content and metadata
US8955030B2 (en) System and method for personal content access
US8028319B2 (en) Passive video caching for edge aggregation devices
JP4271211B2 (en) Apparatus and program for providing metadata of broadcast program
EP1928147B1 (en) Broadcast transmitting apparatus, method of transmitting broadcast data, broadcast receiver and method of receiving broadcast data
US20080235587A1 (en) System and method for content distribution
US20160080810A1 (en) System and method for content recommendation in home network
JP2013115592A (en) Information processing device, information processing method, and information processing program
JP2013225895A (en) Multimedia content search and recording scheduling system
US20150237387A1 (en) Method and system for providing content
KR100912823B1 (en) The System and Method of IP-based Customized Broadcasting Service of Integrated Type
TW200939762A (en) System and method for a personal video inbox channel
TW200926813A (en) Method for retrieving content accessible to television receiver and system for retrieving content accessible to television receiver
EP1694070A1 (en) Method and system for selecting a television channel
CN106302362B (en) Multimedia content sending method, sharing method, receiving method and corresponding devices
JP2008177717A (en) Video program distribution method, synthetic server employed in video program distribution system and program for synthetic server
US20090222868A1 (en) Service for providing shared multimedia content
JP5208560B2 (en) Information video distribution apparatus, information video distribution method and program
KR100817374B1 (en) System and method for the continuous display of grouped and independent multiple contents
KR101168698B1 (en) Method and apparatus for providing private channel service on iptv
JP7058497B2 (en) Delivery status provision device and program
JP2007043474A (en) Content acquisition system, broadcast receiver, content providing system, and content acquisition method
KR20110071450A (en) Auto channel changing method and apparatus for selective watching contents in iptv
KR20130038015A (en) Method of providing augmented contents and apparatus for performing the same, method of registering augmented contents and apparatus for performing the same, system for providing targeting augmented contents
KR101131613B1 (en) Method for providing broadcasting service personally

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090218

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120313