WO2021049048A1 - 映像提供システムおよびプログラム - Google Patents

映像提供システムおよびプログラム Download PDF

Info

Publication number
WO2021049048A1
WO2021049048A1 PCT/JP2019/050933 JP2019050933W WO2021049048A1 WO 2021049048 A1 WO2021049048 A1 WO 2021049048A1 JP 2019050933 W JP2019050933 W JP 2019050933W WO 2021049048 A1 WO2021049048 A1 WO 2021049048A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
viewer
video
trigger
providing system
Prior art date
Application number
PCT/JP2019/050933
Other languages
English (en)
French (fr)
Inventor
拓也 木全
Original Assignee
拓也 木全
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 拓也 木全 filed Critical 拓也 木全
Priority to JP2021545101A priority Critical patent/JP7153143B2/ja
Priority to US17/753,571 priority patent/US20220295135A1/en
Publication of WO2021049048A1 publication Critical patent/WO2021049048A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Definitions

  • the present invention relates to a technique for allowing a viewer to participate in digital content, and more particularly to an on-demand video providing system and program for providing different digital contents according to the behavior of the viewer.
  • movies shown in movie theaters and cinema multiplexes are also provided as digital contents, and the number of cases where they are shown through projectors is increasing.
  • personal computer content such as movies to personal computer users by streaming the content. ..
  • Patent Document 1 receives data indicating a user's preference from a user's terminal when providing digital content via a network. A system that provides a different content stream for each user is described.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2010-088111 describes a stream providing method for providing a different image for each viewer.
  • Patent Document 2 makes it possible to provide different images for each viewer, it provides different images to the viewers by a function such as a shutter, and it is possible to stream contents or provide different images. It does not change the context.
  • Patent Document 3 Patent Document 3
  • Patent Document 4 Patent Document 4
  • Patent Document 3 and Patent Document 4 change digital content in a viewer-participatory manner in content viewed by a large number of viewers in a theater or the like, and can modify the content in real time in a theater, projection mapping, or the like. And.
  • the techniques described in Patent Documents 3 and 4 do not describe a configuration that enables content editing involving a viewer in a content providing form such as DVD / Blu-Ray / video streaming.
  • the present invention provides a video providing system and a program capable of editing the progress of content in a form involving a viewer in digital content provided as a theater, a live performance, or a DVD / Blu-Ray / video streaming.
  • the purpose is to do.
  • a video providing system that provides digital content to viewers.
  • a component that receives a guidance trigger that prompts the viewer to participate in the video content on the device A component that accepts an optional content command or optional content different from the mainstream content corresponding to the viewer trigger sent from the device as a response to the guidance trigger through the network.
  • a video providing system can be provided that includes a component that reproduces or displays the optional content on a display device.
  • the guidance trigger is provided to the device via features of the device including voice, vibration, email, and SNS.
  • the playback of the optional content is performed via a media medium, and the display displays the optional content acquired via the network on a display device, a video screen, or an object.
  • the optional content is played back by video streaming.
  • the display of the optional content is performed by a video screen or projection mapping.
  • the collaboration server executes collaboration by voice communication by SNS.
  • the collaboration server determines the optional content by voting by a large number of the viewers.
  • FIG. 1 is a diagram showing an embodiment of the video providing system 100 of the present embodiment.
  • FIG. 2 is a diagram showing a functional block of the collaboration server 120 of the present embodiment.
  • FIG. 3 is a diagram showing a functional block of the content reproduction device 103 of the present embodiment.
  • FIG. 4 is a diagram showing a functional block of the streaming server 130 according to the present embodiment.
  • FIG. 5 is a diagram showing an embodiment of the video content 500 provided by the video providing system 100 of the present embodiment.
  • FIG. 5 is a diagram showing an embodiment of viewer information associated with a viewer, viewer identification information, and access information from the viewer in the present embodiment.
  • FIG. 7 is a diagram showing an embodiment of associating an optional content with a mainstream content when the digital content is reproduced from a media medium such as a DVD or a Blu-Ray in the present embodiment.
  • FIG. 8 illustrates the arrangement of the guidance trigger when the video content is streamed in the present embodiment.
  • FIG. 9 is a flowchart of processing executed by the video providing system 100 of the present embodiment.
  • FIG. 10 is a diagram showing a data structure of the scene 100 used in the present embodiment.
  • FIG. 11 is a diagram showing a stream of digital content edited by the present embodiment.
  • FIG. 12 is a diagram showing a stream of digital content edited by the present embodiment.
  • FIG. 13 is a diagram showing a stream of digital content edited by the present embodiment.
  • FIG. 10 is a diagram showing a data structure of the scene 100 used in the present embodiment.
  • FIG. 11 is a diagram showing a stream of digital content edited by the present embodiment.
  • FIG. 12 is a diagram showing a stream of digital content edited
  • FIG. 14 is a diagram illustrating an embodiment of an induction trigger that can be used in this embodiment.
  • FIG. 15 is a diagram showing a hardware configuration of the content playback device 103 of the present embodiment.
  • FIG. 16 is a diagram showing an embodiment of the video providing system 1600 of the first embodiment of the second embodiment.
  • FIG. 17 is a diagram showing a functional block of the collaboration server 1606 of the second embodiment.
  • FIG. 18 is a diagram showing a functional block of the content server 1605 of the second embodiment.
  • FIG. 19 is a diagram showing an embodiment of a user database created by the viewer management unit 1703 described with reference to FIG.
  • FIG. 20 is a diagram showing an embodiment of a trigger registration form and information used as a scene to be decoded in the mainstream content 2000 of the second embodiment.
  • FIG. 21 is a flowchart of processing executed by the video providing system 100 of the second embodiment.
  • FIG. 22 is a diagram showing a data structure of a scene used in the second embodiment.
  • FIG. 23 is a diagram showing an embodiment of the video content 2300 provided by the video providing system 1600 of the second embodiment.
  • Video provision system 101
  • Display device 102
  • Speaker 103
  • Content playback device 104
  • Smart speaker 105
  • Tablet terminal 106
  • Smartphone 110
  • Network 120
  • Collaboration server 130 Streaming server
  • FIG. 1 shows an embodiment of the video providing system 100 of the present embodiment.
  • the video providing system 100 shown in FIG. 1 can be installed, for example, in a display device or a home theater installed at home in order to provide a sense of presence in the content.
  • the video providing system 100 sends a video stream decoded by the content playback device 103 to the display device 101, the display device 101 displays the video, and simultaneously reproduces audio data associated with the speaker 102 content.
  • the content playback device 103 is not particularly limited as long as it can be connected to the network 110 and can send video signals and audio signals to the display device 101 and the speaker 102.
  • a DVD player, a Blu-Ray (registered trademark) player, a game device such as an XBOX (registered trademark), a play station (registered trademark), and an information processing device such as a personal computer can be used. it can.
  • the content playback device 103 is to implement a program (which may be an application or firmware) that can interpret the information sent from the network 110 and edit the content playback sequence. Is preferable.
  • the streaming server 130 and the collaboration server 120 are connected to each other via the network 110.
  • the streaming server 130 streams the digital content and sends it to the content playback device 103, and provides the video via the display device 101 and the speaker 102.
  • the collaboration server 120 receives the user action sent from the smart speaker 104, the tablet terminal 105, or the smart phone 106 that the user can access, determines the content of the user action, and reproduces the user action thereafter. Provides a function that enables editing of content.
  • the device used by the viewer also includes a controller such as Amazon Fire Stick (registered trademark).
  • the display device 101 also includes a projector.
  • the network 110 is assumed to include communication using a wired / wireless TCP / IP protocol including Gigabit Ethernet, 4G, and 5G, as well as voice communication or data communication using a public telephone network, or both.
  • the smart speaker 104, the tablet terminal 105, and the smart phone 106 are voices via the Internet such as Facateime (registered trademark), LINE (registered trademark), Facebook (registered trademark), Twitter (registered trademark), etc. via the Internet.
  • Facateime registered trademark
  • LINE registered trademark
  • Facebook registered trademark
  • Twitter registered trademark
  • FIG. 2 is a diagram showing a functional block of the collaboration server 120 of the present embodiment.
  • the collaboration server 120 includes an interface unit 121, a web server unit 122, and an action processing server unit 124.
  • the web server unit 122 is a dedicated application (hereinafter, simply as a smartphone application) that functions in user information sent by a viewer via a network 110 via the HTTP protocol, a smart speaker 104, a tablet terminal 105, a smart phone 106, or the like. It has a function of receiving the viewer participation information sent via (see) and registering the user information, the terminal form used, the participation mode, the action, and other information in the viewer management unit 123.
  • a smart phone or a dedicated portable control device can be used, and when the device is a smart phone, the video is displayed on the viewer's device in the present embodiment via the smartphone application.
  • a dedicated control device such as a PSP downloads or installs a program for that purpose to provide the same function.
  • the viewer participation information includes a viewer trigger that can be configured as a keyword or command for the viewer to modify the content, and in the case of a voice call, includes the voice call information of the viewer.
  • a viewer trigger can be configured as a keyword or command for the viewer to modify the content
  • voice call includes the voice call information of the viewer.
  • actions such as tapping and shaking on a touch screen can be used as a viewer trigger.
  • the action processing server unit 124 has a so-called IVR function, a voice analysis function, and an action analysis function, and when the viewer participation information is voice information, the voice information is sent to the participation information analysis unit 125 as participation information. Further, in a specific embodiment, the voice information of the received voice call is sent to the collaboration server 120 as it is, generated from the speaker 104, superimposed on the voice information of the decoded digital content, and the voice call is sent as if. It is also possible to feed the audio call to the viewer present in the space as if the participant was in the content from the beginning. Further, the action processing server unit 124 detects position information, acceleration information, tap operation, swipe operation, etc.
  • the voice processing function can be configured as a cloud server, and as a cloud service that performs such voice processing, for example, a service including AI such as Google Assistant (trademark) and IBMSpeech to Text (registered trademark) can be used. It can be used, but it is not limited to a specific cloud service.
  • AI such as Google Assistant (trademark) and IBMSpeech to Text (registered trademark)
  • the viewer management unit 123 collects information such as the user ID of the viewer, the password, the terminal form, and the participation mode sent in advance via the network 110, and registers the information in the user database (not shown). It has a function to do. Further, the web server unit 122 and the action processing server unit 124 have a function of causing the participation information analysis unit 125 to execute a process corresponding to the participation mode of the viewer when the participation information is received.
  • the collaboration server 120 includes a participation information analysis unit 125 and a trigger extraction unit 126 that analyze the viewer participation information sent from the viewer.
  • the participation information analysis unit 125 determines whether the participation information sent from the viewer is audio information or a command from an application or the like, and decodes the viewer participation information according to the participation form of the viewer. Then, the trigger extraction unit 126 determines whether or not the viewer participation information includes the preset viewer trigger.
  • the collaboration server 120 does not give a special command to modify the content. Further, when the collaboration server 120 determines that the viewer participation information includes a preset viewer trigger, the collaboration server 120 triggers the viewer to the content playback device 103 or the streaming server 130 via the network 110. Send content directives, including. The command is sent to the content playback device 103 or the streaming server 130, and by switching the decoding order and streaming order of the digital content decoded by the content playback device 103, viewer participation on video and audio can be performed. It is possible.
  • the collaboration server 120 manages the response log database 128.
  • the response log database 128 associates the history of viewer participation in the same video or event performed in the past with user information, user attributes, viewing time, viewing area, etc., as well as the screening of that time. Register the participation history. Examples of the state of viewer participation include scene selection, types of action information, types of commands from the smartphone application, and the like, and the collaboration server 120 stores these as a response log.
  • the collaboration server 120 analyzes the response log, learns the content contents such as scenes and videos that many participants sympathize with in the digital contents, and provides them for effective content creation. Can be done. Further, the response information accumulated in the response log database 128 can be used as big data for subsequent content creation.
  • FIG. 3 shows a functional block of the content playback device 103 of the present embodiment.
  • a content command is sent from the collaboration server 120 to the content playback device 103.
  • the content reproduction device 103 includes an interface unit 103a for processing these signals, a decoder 103b, a content sequencer 103c, a buffer 103d, and a media medium 103e.
  • the interface unit 103a receives the content command sent from the collaboration server 120 in response to the action added to the scene.
  • the interface unit 103a sends the received content command to the content sequencer 103c.
  • the content sequencer 103c analyzes the content command, selects the scene ID associated with the viewer trigger included in the content command, and transmits the scene ID designated for the content playback device 103 from the media medium 103e.
  • the scene means a time-series image that is composed of a plurality of scenes, a plurality of GOPs (Group of Pictures), and the like, and provides a certain meaning or attribute in the mainstream content.
  • the content playback device 103 sends the buffered scene ID data to the decoder 103b, outputs the video information of the scene ID associated with the viewer trigger to the output buffer 103f as the decoding is completed, and sequentially outputs the video information of the scene ID associated with the viewer trigger.
  • the display device 101 and the speaker 102 can reproduce the selected scene. By using the above processing, it is possible to reproduce the scene of the mainstream content in real time without interruption.
  • the link between the viewer trigger and the scene ID is, for example, specific keywords “go up”, “go down”, “go right”, “go left”, “go ahead”. , "Return” and the like, and the content content corresponding to the viewer trigger can be assigned to the scene ID.
  • the scene ID to be selected can be associated with the position information, acceleration information, tap, swipe, and other operations of the tablet terminal 105 and the smartphone 106, and the viewer trigger is associated with this.
  • the content content is not particularly limited as long as it can improve the viewer's sense of participation in the digital content.
  • FIG. 4 shows a functional block of the streaming server 130 in this embodiment.
  • the streaming server 130 includes a configuration similar to that of the streaming server used in, for example, YouTube (registered trademark), NICO Douga (registered trademark), iTunes (registered trademark) and others.
  • the streaming server 130 shown in FIG. 4 is different from the conventional streaming server in that it implements the function of the stream sequencer 133.
  • the functions of the streaming server 130 will be described.
  • the streaming server 130 will be described as presuming that the specific digital content is already being streamed in response to a request from the viewer.
  • the streaming server 130 receives the content designation from the collaboration server 120 together with the viewer trigger while streaming the digital content.
  • the interface unit 131 that has received the content command determines that the received information includes the content command
  • the interface unit 131 sends the content command to the stream sequencer 133.
  • the stream sequencer 133 analyzes the viewer trigger included in the content command, selects the scene ID associated with the viewer trigger, and buffers the digital content specified by the scene ID in the buffer 134. ..
  • the streaming server 130 sends the buffered digital content as a video stream to be delivered next to the transmission unit 132, and sends the buffered digital content to the content playback device 103 via the network 110.
  • the content playback device 103 directly provides a stream from the interface unit 103a to the decoder 103b for decoding, and then displays an image on the display device 101 via the output buffer 103f.
  • the content reproduction device 103 can be provided with a plurality of decoders according to the types and attributes of the contents to be reproduced.
  • MP2, MP3, MP4, H264, MOV and the like can be mentioned, and the encoding method is not particularly limited to a specific format.
  • FIG. 5 shows an embodiment of the video content 500 provided by the video providing system 100 of the present embodiment.
  • the video content 501 is mainstream content.
  • the video content 502 is an embodiment in which the sequence of the mainstream content 500 is edited by the participation of the viewer.
  • the content server 120 analyzes the viewer trigger and selects the digital content of the scene ID associated with the viewer trigger as optional content. And play it as the next scene. Therefore, the initially prepared mainstream content 501 will be edited according to the action of the viewer.
  • scene B when another viewer trigger is received, the video is provided by selecting the next optional content in response to the viewer trigger.
  • the optional content means digital content that is replaced with a mainstream scene in response to a viewer trigger.
  • scene C another viewer trigger is received and the sequence of the scene is corrected
  • scene D the sequence of the scene is corrected in response to the viewer trigger, and this is performed until the end of the video. continue.
  • the viewers who can send the viewer trigger between scenes A to D may be the same or different. If the viewer trigger is not received at all, the mainstream content 501 is provided after inserting optional content that provides a reaction such as the telephone not being connected.
  • FIG. 6 shows an embodiment of the viewer, the viewer identification information, and the viewer information associated with the access information from the viewer in the present embodiment.
  • the viewer is specified by a network address, a viewer ID, a telephone number, and the like, and a device to access each viewer is specified.
  • a specific viewer accesses from a plurality of devices.
  • the collaboration server 120 analyzes the viewer trigger included in the viewer participation information using the information shown in FIG. 6, and enables dynamic editing of the content.
  • FIG. 7 shows an embodiment of associating an optional content with a mainstream content when the digital content is reproduced from a media medium such as a DVD or Blu-Ray in the present embodiment.
  • a guidance trigger is arranged at the head of the specific scene 701.
  • the guidance trigger is information for the digital content to actively prompt the viewer to take an action by voice or the like to the viewer's device.
  • a telephone call from the actor can be used, and a plurality of optional contents 701a are associated with each guidance trigger. Is recorded in association with the scene ID. For example, if the guidance trigger sends a voice call to the viewer's smartphone 106 as "Which way do you want to go?" Or "What should I do with this?", The viewer answers the voice call. Then, if you reply "I think it's better to go to the left” or “It's better to let go without doing anything", the next optional content is when the actor goes to the left or after the actor is let go.
  • the story is developed according to the context of, for example, serious, comical, and action.
  • the optional content is also provided with a guidance trigger, which makes it possible to change the video stream from the optional content to the other optional content, and other options.
  • the guardian may be instructed to select a safe scene by voice call or the like, such as when a young person such as a child does not want to watch the content.
  • FIG. 8 is an example of the arrangement of the guidance trigger when the video content is streamed in the present embodiment.
  • the video content is distributed for each stream having a predetermined data length, and content that functions as a guidance trigger is added to the head portion of the stream to be distributed.
  • Optional content is assigned to each inductive trigger, and the optional content corresponding to the viewer trigger is selected and can be streamed.
  • the guidance trigger shown in FIGS. 7 and 8 is placed at the beginning of the content to be played or streamed. By placing it at the beginning, it is possible to secure a time buffer that avoids the delay in image reproduction due to the processing of the content server 120, and the option to be provided while processing the guidance trigger and the viewer trigger. ⁇ This is because the content can be prepared.
  • the position of the guidance trigger is not particularly limited as long as the optional content can be provided smoothly without interruption.
  • FIG. 9 is a flowchart of processing executed by the video providing system 100 of the present embodiment.
  • the process of FIG. 9 starts from step S900, and when the trigger point in the mainstream content is reached in step S901, a guidance trigger in an appropriate format is sent to the viewer.
  • step S902 it is determined whether or not the viewer trigger included in the participation information sent from the viewer exists in the trigger buffer.
  • step S905 If there is no viewer trigger (no), it is determined in step S905 whether or not there is a time-out, and if there is no time-out (no), the process is branched to step S902 and the presence or absence of the viewer trigger is further confirmed. On the other hand, when the timeout expires in step S905 (yes), it is determined that the induction trigger has ended unexploded because the viewer is sleeping, standing in the toilet, or not aware of it at all. The process is branched to step S906, and the provision of the video as the sequence of the mainstream content is continued until the timing of the next guidance trigger comes.
  • step S902 if the viewer trigger exists in step S902 (yes), the option content corresponding to the media attribute of the viewer trigger and the content of the viewer trigger is selected in step S903, and the collaboration server 120 sets the collaboration server 120 in step S904. , The content command is sent to the content reproduction device 103 or the streaming server 130.
  • step S906 the content playback device 103 or the streaming server 130 selects the optional content to be played next and starts preparing for decoding or transmission. Then, in step S907, the content reproduction device 103 reproduces the optional content. After that, the process returns to step S902 and waits for the subsequent reception of the viewer trigger.
  • the viewer is guided to the progress of the video, and the viewer is directed to the viewer existing in the space as if the viewer had previously appeared in a movie or the like with an actor. It is possible to share the feeling with the viewer.
  • FIG. 10 is a diagram showing a data structure of the scene 1000 used in the present embodiment.
  • the white lines indicate that the scenes are edited in a cascade manner in response to the guidance trigger, and the editing of these scenes is performed by the guidance trigger provided by the digital content and the viewer by the guidance trigger. It has been shown that the content server 120 edits a sequence of content based on sending a viewer trigger through the device.
  • a voice call is sent to the viewer's smartphone as a guidance trigger from an actor, a character, a character, an animation character, or the like in the video.
  • the viewer refers to a preset viewer trigger in a virtual conversation with the actor. If the viewer trigger is not obtained from the viewer, the video is played back according to a preset story.
  • FIG. 12 is an embodiment in the case where a viewer trigger is obtained from the viewer in FIG.
  • the option content modified corresponding to the taxiway value in FIG. 11 is displayed, and in this option content, the guidance trigger is sent to a plurality of viewers with different actions.
  • the optional content corresponding to the earliest received viewer trigger can be displayed.
  • the psychological effects on the viewer will be contradictory depending on whether the behavior is contrary to the behavior instructed by the viewer or if the viewer wants to behave, and the same content is provided.
  • FIG. 13 shows, for example, the optional content displayed after FIG. 12 when the viewer requested by the SNS in FIG. 12 sends a viewer trigger and the message is received by the collaboration server. ..
  • the timing of inserting the optional content is not necessarily limited to immediately after FIG.
  • a guidance trigger for example, a group call function is provided to different viewers, and the actor and the viewer A are provided by point-to-point voice communication or point-to-group voice communication.
  • B can provide a situation in which they are having a conversation with each other. Even in this case, as the viewer trigger, the first recognized information, or when explicitly requested by, for example, an actor, a character, a character, or an animation character, the viewers A and B discuss and transmit.
  • FIG. 14 illustrates an embodiment of an induction trigger that can be used in this embodiment.
  • the guidance trigger can be video transmission such as flushing of the smartphone screen, vibration, e-mail, SNS, or video from another perspective of the content currently being provided, panning, etc., in the case of video transmission.
  • FIG. 15 is a diagram showing a hardware configuration of the content playback device 103 of the present embodiment.
  • the content reproduction device 1500 of the present invention includes a central processing unit (CPU) 1501 and a memory 1002 formed of solid-state memory elements such as RAM and DRAM capable of processing the CPU 1501.
  • the CPU 1501 and the memory 1502 are connected to other devices or drivers of the content playback device 103, such as the graphics driver 1503 and the network device (NIC) 1505, via the system bus 1510.
  • the graphics driver 1503 is connected to the display device 102 via an appropriate bus to display the processing result by the CPU 1501 on the display screen.
  • the network device 1505 connects the content playback device 103 to a wireless network such as 4G or 5G / a network such as the Internet at the transport layer level and the physical layer level to establish a session with the user terminal. ing.
  • An I / O bus bridge 1506 is further connected to the system bus 1510.
  • a storage device 1507 such as a hard disk is connected to the downstream side of the I / O bus bridge 1506 by IDE, ATA, ATAPI, serial ATA, SCSI, USB, etc. via an I / O bus 1509 such as PCI.
  • an input device 1508 such as a pointing device such as a keyboard and a mouse is connected to the I / O bus 1509 via a bus such as USB, and inputs and commands are received by an operator such as a system administrator.
  • the CPU 1501 used by the content playback device 103 includes, for example, PENTIUM (registered trademark) to PENTIUM IV (registered trademark), PENTIUM (registered trademark) compatible CPU, CORE2DUO (registered trademark), and COREi3 to i7 (registered trademark). Registered trademark), POWER PC (registered trademark), XEON (registered trademark), etc.
  • the operating system (OS) used is MacOS (trademark), Windows (registered trademark), UNIX (registered trademark), LINUX (registered trademark), CHROME (registered trademark), ANDROID (registered trademark) or others.
  • OS operating system
  • the content playback device 103 is an application program written in a programming language such as C, C ++, Visual C ++, Visual Basic, Java (registered trademark), Java (registered trademark) ScriptPell, Ruby, etc., which operates on the above-mentioned OS. Store and execute.
  • the same hardware configuration can be adopted although the implementation form differs depending on the provided functions.
  • the program of this embodiment is referred to as a so-called "application”, and can be executed by downloading it to a viewer device such as a smart speaker 104, a tablet terminal 105, or a smart phone 106.
  • a viewer device such as a smart speaker 104, a tablet terminal 105, or a smart phone 106.
  • the content viewing device 104 can also be implemented by using a program or the like that uses an executable just-in-time compiler without downloading the program via the network and compiling or resetting it.
  • the basic element of the device used by the viewer of the present embodiment is not significantly different from the configuration of the content playback device 103 shown in FIG. 15 except that it has a function of connecting to a public telephone line.
  • a public telephone line For example, use Qualcomm (registered trademark), Helio (registered trademark), Tegra (registered trademark), Apple A series (registered trademark), Exynos (registered trademark), Kirin (registered trademark), etc.
  • a storage device 1507 such as a hard disk device, for example, a NAND gate type flash memory or SSD that can be rewritten at any time can be used.
  • examples of the OS executed by the device that the viewer needs for a reason include Android (registered trademark), iOS (registered trademark), Bada (registered trademark), BlackBerryOS (registered trademark), Fire Fox (registered trademark), and SymbianOS (registered trademark). Trademarks), BREW (registered trademark), WindowsMobile (registered trademark), WindowsPhone (registered trademark), but are not limited thereto.
  • the second embodiment is a video providing system that edits and provides content according to the behavior of a viewer or an audience in a theater, a live lecture, or the like.
  • FIG. 16 shows an embodiment of the video providing system 1600 of the first embodiment of the present embodiment.
  • the video providing system 1600 shown in FIG. 16 can be installed in a space that is viewed by a large number of viewers, such as a theater, a cinema complex, or an event venue.
  • the image providing system 1600 projects an image from the projectors 1602 and 1603 to the screen 1601 on the screen 1601 and projects the image on the screen 1601 to enable viewing by a large number of viewers.
  • a speaker 1604 is installed in the vicinity of the screen 1601 to send sound synchronized with the images projected from the projectors 1602 and 1603 into the space.
  • the speakers 1604 shown in FIG. 1 are not limited to two speakers, and correspond to the size of the space and the difference in sound sources to be provided, such as four, six, and eight speakers on the left and right as needed. Can be installed as appropriate.
  • two projectors are used to generate encoded sound in synchronization with the content projected from the projectors 1602 and 1603, and the other two are used by the IVR to enable viewer participation, which will be described later. It can be used to play back the received audio data in real time.
  • FIG. 16 will be described assuming that two projectors 1602 and 1603 are used for the purpose of explanation, but if the projectors have a configuration capable of dual projection of independent images, two projectors are used. You don't have to use it, and you can use more projectors.
  • the projectors 1602 and 1603 are used to change the image according to the information sent by the viewer by performing projection mapping on the image from the projector 1602, for example.
  • the video providing system 1600 is further configured to include a content server 1605 and a collaboration server 1606.
  • the content server 1605 has a function of controlling the content to be projected by the projectors 1602 and 1603 and the decoding sequence of the content.
  • the collaboration server 1606 also has the functions of a web server and a voice processing (IVR) server.
  • the collaboration server 1606 is user information sent by the viewer from a mobile terminal 1608 such as a mobile phone, a smartphone, or a tablet terminal from a viewer who shares images in the space via a network or a public telephone network 1607. Process viewer participation information, audio information, etc.
  • the following network 1607 uses gigabit Ethernet (registered trademark) for communication using the TCP / IP protocol, data communication using a wireless communication protocol such as 4G and 5G, and voice call or data communication using a public telephone network. It is described as including one or both of the above.
  • the application for communication is used by anyone who enables so-called SNS data communication such as Facetime (registered trademark), LINE (registered trademark), Facetime (registered trademark), and Twitter (registered trademark). be able to.
  • the collaboration server 1606 has a function of modifying the video decoding order of the content server 1605 and generating additional audio information from the speaker 1604 in response to a response from the viewer.
  • the content server 1605 and the collaboration server 1606 are shown in FIG. 16 as a separate configuration, but in the second embodiment, the server is described as a separate server for the purpose of clarifying the functional configuration. Therefore, as long as the capacity of the information processing device is sufficient, a plurality of functions can be mounted on a single server device without forming a separate configuration.
  • FIG. 17 is a diagram showing a functional block of the collaboration server 1606 of the second embodiment.
  • the collaboration server 1606 includes an interface unit 1701, a web server unit 1702, and a voice processing server unit 1704.
  • the web server unit 1702 is sent via the user information sent by the viewer via the network 1607 via the HTTP protocol, or via a dedicated application (hereinafter, simply referred to as a smartphone application) that functions on a smartphone or the like. It has a function of receiving the viewer participation information and registering the user information, the terminal form used, the participation mode, and other information in the viewer management unit 1703.
  • the viewer participation information includes a viewer trigger that can be configured as a keyword, a command, or the like for the viewer to modify the content, and in the case of a voice call, includes the viewer's voice call information.
  • the voice processing server unit 1704 has a so-called IVR function, and when the viewer participation information is voice information, the voice information is sent to the participation information analysis unit 1705 as participation information. Further, in a specific embodiment, the voice information of the received voice call is sent to the content server 1605 as it is, generated from the speaker 1604, superimposed on the voice information of the decoded digital content, and the voice call is sent as if. The voice call is fed back to the viewers present in the space as if the participants were in the content from the beginning.
  • the viewer management unit 1703 collects information such as the user ID of the viewer, the password, the terminal form, and the participation mode, which are sent in advance via the network 1607, and registers them in the user database (not shown). It has a function to do. Further, the web server unit 1702 and the voice processing server unit 1704 have a function of causing the participation information analysis unit 1705 to execute a process corresponding to the participation mode of the viewer when the participation information is received.
  • the collaboration server 1606 includes a participation information analysis unit 1705 and a trigger extraction unit 1706 that analyze the viewer participation information sent from the viewer.
  • the participation information analysis unit 1705 determines whether the participation information sent from the viewer is audio information or a command from the smartphone application, and decodes the viewer participation information according to the participation form of the viewer.
  • the trigger extraction unit 1706 according to the mode of viewer participation determines whether or not the viewer participation information includes a preset viewer trigger.
  • the voice processing function can be configured as a cloud server, and as a cloud service that performs such voice processing, for example, a service including AI such as Google Assistant (trademark) and IBMSpeech to Text (registered trademark) can be used. It can be used, but it is not limited to a specific cloud service.
  • the collaboration server 1606 manages the response log database 1707.
  • the response log database not only shows the screening at that time, but also associates the history of viewer participation in the same video or event performed in the past with user information, user attributes, screening time, screening area, etc. Register the status of. Examples of the state of viewer participation include scene selection, types of audio information, types of commands from the smartphone application, and the like, and the collaboration server 1606 stores these as a response log.
  • the collaboration server 1606 analyzes the response log, selects a scene or video that many participants sympathize with at the screening or event, learns the content content, and uses the content server 1605. It can be displayed. Further, the response information accumulated in the response log database 1707 can be used as big data for subsequent content creation.
  • FIG. 18 shows a functional block of the content server 1605 of the second embodiment.
  • the content server 1605 receives a viewer trigger and, if present, an audio signal received by the IVR from the collaboration server 1606.
  • the content server 1605 includes an interface unit 1801 for processing these signals, a decoder 1802, a content sequencer 1803, and a trigger buffer 1805.
  • the trigger buffer 1805 has a function of buffering the viewer trigger included in the participation information.
  • the scene means a time-series image that is composed of a plurality of scenes, a plurality of GOPs (Group of Pictures), and the like, and provides a certain meaning or attribute in the mainstream content.
  • the content server 1605 reads in advance from the option database 1809 the content for providing the video that enables the viewer participation to be decoded as the next scene in response to the viewer trigger in the viewer participation information. It has a function to make it.
  • the content server 1605 reads the mainstream content for providing the video from the content database 1808 and stores it in the content buffer 1804.
  • the mainstream content stored in the content buffer 1804 is sent to the decoder 1802 in response to a command from the content sequencer 1803, and can be projected from the projector 1602.
  • the content server 1605 determines the viewer trigger in the trigger buffer 1805 and provides an option to the viewer, so that the content for providing the subsequent video is read into the content buffer 1804.
  • the playback order table in which the scene order for reading by the content sequencer 1803 is registered is modified according to the viewer trigger.
  • the content buffer 1804 separates the video portion information and the audio information portion of the read scene, and performs a process of modifying the content of the scene so that only the video portion or the audio portion is reproduced. ..
  • the content server 1605 determines an identification value that specifies the content of the viewer trigger and the optional content specified by the content of the corresponding guidance trigger, for example using a lookup table. To do. After that, the determined identification value is used to load the optional content specified by the identification value into the content buffer.
  • the content sequencer 1803 refers to the playback order table, supplies scenes or contents to the decoder 1802 in ascending order of playback order, and starts decoding.
  • the decoder 1802 decodes the sent scene sequence using an appropriate decoding method that supports H264, MPEG4, and other HDTV, 4K, 8K, and 3D, and is an appropriate video driver for VGA, SVGA, XGA, etc. Video images are supplied to the projector 1602 via.
  • the content server 1605 corresponds to the viewer trigger, and when the viewer trigger commands projection mapping, for example, the content server 1605 of the corresponding scene in the playback order table of the scene for performing projection mapping.
  • the content for projection mapping is read in synchronization with the playback, and the content for projection mapping is sent to the decoder 1806 to enable synchronized projection mapping from the projector 1603.
  • FIG. 19 shows an embodiment of a user database created by the viewer management unit 1703 described with reference to FIG.
  • the user database contains user information that uniquely identifies the user, the user's network information, telephone number, access type, etc., and how to respond to the guidance trigger provided by the user as needed. It is possible to associate and register the reaction information for registering whether or not the reaction was shown.
  • the collaboration server 1606 first receives registration of user information and the like from the viewer, and registers it in the user database shown in FIG. After that, when the trigger timing embedded in the mainstream content arrives, the viewers to be joined are randomly determined or the viewers to be joined are determined by using the attribute information preset for the trigger. Then, the collaboration server 1606 sends the information set as a trigger to the determined viewer.
  • the viewer is guided by the trigger information and sends the participation information to the collaboration server 1606 from the GUI such as the button and scroll bar of the smartphone application.
  • the viewer receives an incoming call by the IVR function of the collaboration server 1606 and sends a voice call to the collaboration server 1606 to send the participation information from the viewer.
  • the collaboration server 1606 receives the participation information from the viewer and performs the above-mentioned processing, so that the viewer can participate in the form of both audio / video, audio / video, video, projection mapping, and the like.
  • FIG. 20 shows an embodiment of the trigger registration form and the information used as the scene to be decoded in the mainstream content 2000 of the second embodiment.
  • Mainstream content is composed of multiple scene columns, and each scene has header information or meta information, and the scene order, its trigger attributes, time, corresponding option content identification value, etc. are registered. Has been done. It is set to be a trigger point at a specific time position in the scene, and different optional contents can be called according to the position of the set trigger point.
  • a single trigger point can be set for the scene, or multiple trigger points can be set, and the optional content to be called changes depending on the time position of whether or not the viewer responds. Can be set.
  • the optional content to be called changes depending on the time position of whether or not the viewer responds. Can be set.
  • the second embodiment when decoding, it is possible to set whether to decode both the video and audio parts, decode only the video part, or decode only the audio part. In the case of this embodiment, it is possible to further diversify the mode of viewer participation, such as giving a completely different video or providing completely different audio information even for the same video according to the viewer's participation information. ..
  • FIG. 21 is a flowchart of processing executed by the video providing system 1600 of the second embodiment.
  • the process of FIG. 21 starts from step S2100, and when the trigger point in the mainstream content is reached in step S2101, the viewer is determined and the guidance trigger in an appropriate format is sent to the viewer. In step S2102, it is determined whether or not the viewer trigger included in the participation information sent from the viewer exists in the trigger buffer.
  • step S2105 If there is no viewer trigger (no), it is determined in step S2105 whether or not there is a time-out, and if there is no time-out (no), the process is branched to step S2102 and the presence or absence of the viewer trigger is further confirmed. On the other hand, when the timeout expires in step S2105 (yes), it is determined that this trigger has ended unexploded because the viewer is sleeping, standing in the toilet, or not aware of it at all, and the process is stepped. It branches to S2106 and continues to provide the video as the sequence of the mainstream content until the end of the mainstream content.
  • step S2102 the option content corresponding to the media attribute and content of the viewer trigger is searched from the option database 1809 and read into the content buffer 1804 in step S2103.
  • the content server 1605 sets the playback sequence by modifying the playback order of the playback order table.
  • step S2106 the content sequencer 1803 reads the scene to be reproduced next, sends it to the decoder 1802, decodes it in the specified order, and sends a video signal to the projector in step S2107 to reproduce the video.
  • the viewer participation information by superimposing it on the projected video as audio information or video information and providing it to the viewer, the participation of a single viewer can be given to all the viewers existing in the space. Can be shared.
  • step S2108 a viewer trigger such as another keyword or command is searched for in the viewer participation information, and in step S2109, it is determined whether or not there is information requesting a scene change as the viewer trigger. If there is such information (yes), the process is branched to step S2104 to change the sequence, and viewer participation is possible. On the other hand, if there is no such information in step S2109, the (no) process is branched to step S2106 to continue decoding the video without changing the scene.
  • FIG. 22 is a diagram showing a data structure of the scene used in the second embodiment.
  • the scene can be configured to include header information 2201 and scene contents 2202 defined as a plurality of frame strings.
  • the header information 2201 the timer time of the trigger point, the trigger type, the scene number, and the like can be set as meta information.
  • the time length of the scene defined in the scene content 2202 defines the viewer participation section.
  • FIG. 23 shows an embodiment of the video content 2300 provided by the video providing system 1600 of the second embodiment.
  • the video content 2301 is an embodiment that enables viewer participation by changing the audio as optional information or performing projection mapping without changing the scene sequence of the mainstream content 2300, for example.
  • the video content 2302 is an embodiment in which the sequence of the mainstream content 2300 is replaced by the participation of the viewer.
  • the content server 1605 modifies the next scene and modifies the mainstream content.
  • the next scene is changed and the image is provided.
  • scene C another viewer participation information is received and the sequence of the scene is corrected
  • scene D the sequence of the scene is corrected corresponding to the viewer participation information, and this is continued until the end of the video. To do.
  • the viewers who can send the viewer participation information between scenes A to D may be the same or different.
  • the optional information may be audio information or video information such as projection mapping.
  • projection mapping can be used to display digital content, mainstream content can be projected mapped to optional content, and vice versa. It is possible.
  • the above functions of the present embodiment can be performed in object-oriented programming languages such as C ++, Java (registered trademark), Java (registered trademark) Beans, Java (registered trademark) Applet, Java (registered trademark) Script, Perl, Rubi, and Python. It can be realized by the described device executable program, for example, a program referred to as an application, and can be downloaded through a network or recorded and distributed on a device-readable recording medium.
  • the elements common to the first embodiment and the second embodiment can be shared, or can include a plurality of types of collaboration servers in a specific application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

視聴者が能動的にデジタル・コンテンツの編集を可能とする映像提供システムおよびプログラムを提供すること。 視聴者に対しして映像コンテンツを提供する映像提供システム１００は、視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネント１０４、１０５、１０６と、誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けるコンポーネント１０３、１６０２、１６０３と、指令により特定される前記オプション・コンテンツを表示装置において再生または表示させるコンポーネント１０１、１０２、１６０５とを含んでいる。

Description

映像提供システムおよびプログラム
　本発明は、視聴者をデジタル・コンテンツに参加させる技術に関し、より詳細には、視聴者の行動に応じて異なるデジタル・コンテンツを提供するオンデマンド映像提供システムおよびプログラムに関する。
　情報処理技術およびコンピュータ・ハードウェア技術の進歩に伴い、映画館やシネコンなどで上映される映画についても、デジタル・コンテンツとして提供され、プロジェクタなどを通して上映される場合も増えてきている。また、映画館やシネコンなどの他にも、最近では、パーソナル・コンピュータに対し、コンテンツをストリーミングすることによってパーソナル・コンピュータの利用者に対して映画等のコンテンツを提供するサービスも可能となっている。
　このような映像処理環境にあって、従来の映画は、定められたストーリーに沿って監督が出演者を演技させ、その演技を撮影し、ストーリーの最後まで連続した1つのコンテンツとして提供されている。ところで、近年、映画などがデジタル・コンテンツとして提供されるようになると、アナログ式の映像提供に比してより動的な映像提供が可能となる。このような映像提供として、例えば特開２０１１－１２４９７２号（特許文献１）には、ネットワークを介してデジタル・コンテンツを提供する際に、ユーザの端末から、ユーザの嗜好を示すデータを受信し、ユーザ毎に異なるコンテンツ・ストリームを提供するシステムが記載されている。
　また、特開２０１０－０８８１１１号公報(特許文献２)には、視聴者毎に異なる映像を提供するストリーム提供方法が記載されている。特許文献２に記載された技術は、視聴者毎に異なる映像を提供することを可能とするものの、シャッタなどの機能により、視聴者に対して異なる映像を提供するものであり、コンテンツのストリーミングやコンテキストを変更するものではない。
　本発明者は、特許第５，５８１，４３７号明細書（特許文献３）および特許第６，３２４，８２９号明細書（特許文献４）として、多数の視聴者に対してコンテンツを共有させるための映像提供システムを提案した。
　特許文献３、特許文献４は、シアターなどで多数の視聴者が視聴するコンテンツにおいて、視聴者参加型でデジタル・コンテンツを変更するものであり、シアターやプロジェクション・マッピング等においてリアルタイムなコンテンツ修正を可能とする。しかしながら、特許文献３および特許文献４に記載された技術は、ＤＶＤ／Ｂｌｕｅ－Ｒａｙ／ビデオストリーミングなどのコンテンツ提供形態において視聴者を巻き込んだコンテンツ編集を可能とする構成を記載するものではない。
特開２０１１－１２４９７２号公報 特開２０１０－０８８１１１号公報 特許第５，５８１，４３７号明細書 特許第６，３２４，８２９号明細書
　本発明は、シアター、ライブ公演、ＤＶＤ／Ｂｌｕｅ－Ｒａｙ／ビデオストリーミングとして提供されるデジタル・コンテンツにおいて、視聴者を巻き込んだ形でコンテンツの進行を編集することが可能な映像提供システムおよびプログラムを提供することを目的とする。
　すなわち、本発明によれば、
　視聴者に対ししてデジタル・コンテンツを提供する映像提供システムであって、
　視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネントと、
　前記誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネントと、
　前記オプション・コンテンツを表示装置において再生または表示させるコンポーネントと
　を含む、映像提供システムが提供できる。
　前記誘導トリガは、音声、バイブレーション、電子メール、ＳＮＳを含む前記デバイスの機能を介して前記デバイスに提供される。
　前記オプション・コンテンツの再生は、メディア媒体を介して行われ、前記表示は、前記ネットワークを介して取得したオプション・コンテンツを、ディスプレイ装置、映像スクリーンまたは物体に表示する。
　前記オプション・コンテンツの再生は、映像ストリーミングにより行われる。
　前記オプション・コンテンツの表示は、映像スクリーンまたはプロジェクション・マッピングにより行われる。
　複数の前記視聴者の間でコミュニケーションを行うためのコラボレーション・サーバを含む。
　前記コラボレーション・サーバは、ＳＮＳによる音声通信により、コラボレーションを実行する。
　前記コラボレーション・サーバは、前記オプション・コンテンツを、多数の前記視聴者の投票により決定する。
　さらに本発明によれば、上記機機能を提供するためのプログラムを提供することができる。
図１は、本実施形態の映像提供システム１００の実施形態を示す図。 図２は、本実施形態のコラボレーション・サーバ１２０の機能ブロックを示した図。 図３は、本実施形態のコンテンツ再生装置１０３の機能ブロックを示す図。 図４は、本実施形態におけるストリーミング・サーバ１３０の機能ブロックを示す図。 図５は、本実施形態の映像提供システム１００が提供する映像コンテンツ５００の実施形態を示す図。 図５は、本実施形態において、視聴者と、視聴者識別情報、視聴者からのアクセス情報と対応付けた視聴者情報の実施形態を示す図。 図７は、本実施形態において、ＤＶＤ，Ｂｌｕｅ－Ｒａｙといったメディア媒体からデジタル・コンテンツを再生する場合のメインストリーム・コンテンツに対するオプション・コンテンツの紐づけの実施形態を示す図。 図８は、本実施形態において、映像コンテンツをストリーミング配信する場合の誘導トリガの配置を例示した形態。 図９は、本実施形態の映像提供システム１００が実行する処理のフローチャート。 図１０は、本実施形態で使用するシーン１００のデータ構成を示した図。 図１１は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す図。 図１２は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す図。 図１３は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す図。 図１４は、本実施形態で使用することができる誘導トリガの実施形態を例示した図。 図１５は、本実施形態のコンテンツ再生装置１０３のハードウェア構成を示す図。 図１６は、第２の実施形態の第１の実施形態の映像提供システム１６００の実施形態を示す図。 図１７は、第２の実施形態のコラボレーション・サーバ１６０６の機能ブロックを示した図。 図１８は、第２の実施形態のコンテンツ・サーバ１６０５の機能ブロックを示す図。 図１９は、図１７で説明した視聴者管理部１７０３が作成するユーザ・データベースの実施形態を示す図。 図２０は、第２の実施形態のメインストリーム・コンテンツ２０００におけるトリガ登録形態およびデコードするべきシーンとして使用する情報の実施形態を示す図。 図２１は、第２の実施形態の映像提供システム１００が実行する処理のフローチャート。 図２２は、第２の実施形態で使用するシーンのデータ構成を示した図。 図２３は、第２の実施形態の映像提供システム１６００が提供する映像コンテンツ２３００の実施形態を示す図。
　１００　映像提供システム
　１０１　ディスプレイ装置
　１０２　スピーカ
　１０３　コンテンツ再生装置
　１０４　スマート・スピーカ
　１０５　タブレット端末
　１０６　スマートホン
　１１０　ネットワーク
　１２０　コラボレーション・サーバ
　１３０ストリーミング・サーバ
＜第１実施形態＞
　以下、本発明を、実施形態を以て説明するが本発明は後述する実施形態に限定されるものではない。図１は、本実施形態の映像提供システム１００の実施形態を示す。図１に示した映像提供システム１００は、例えば家庭において設置されるディスプレイ装置やホームシアターなどにおいて、コンテンツに対する臨場感を提供するため、設置することができる。映像提供システム１００は、ディスプレイ装置１０１に対してコンテンツ再生装置１０３がデコードした映像ストリームを送付し、ディスプレイ装置１０１が映像を表示し、同時のスピーカ１０２コンテンツに付随するオーディオデータを再生する。
　コンテンツ再生装置１０３は、ネットワーク１１０に接続でき、ディスプレイ装置１０１、スピーカ１０２に対して映像信号、オーディオ信号を送付できる限り特に制限は無い。例えば、コンテンツ再生装置１０３としては、ＤＶＤプレイヤ、Ｂｌｕ－Ｒａｙ（登録商標）プレイヤ、ＸＢＯＸ（登録商標）、プレイステーション（登録商標）などのゲーム装置、およびパーソナル・コンピュータといった情報処理装置を使用することができる。なお、コンテンツ再生装置１０３は、ネットワーク１１０から送付された情報を解釈して、コンテンツの再生シーケンスを編集することができるプログラム（アプリであっても、ファームウェアであってもよい。）を実装することが好ましい。
　さらに映像提供システム１００は、ネットワーク１１０を介してストリーミング・サーバ１３０およびコラボレーション・サーバ１２０が接続されている。ストリーミング・サーバ１３０は、デジタル・コンテンツをストリーミングしてコンテンツ再生装置１０３に送付し、ディスプレイ装置１０１、スピーカ１０２を介して映像を提供する。また、コラボレーション・サーバ１２０は、ユーザがアクセスすることができるスマート・スピーカ１０４、タブレット端末１０５またはスマートホン１０６から送付されたユーザアクションを受領し、ユーザアクションの内容を判断して、以後に再生するコンテンツの編集を可能とする機能を提供する。なお、視聴者が利用するデバイスには、例えばＡｍａｚｏｎ　Ｆｉｒｅ　Ｓｔｉｃｋ（登録商標）といったコントローラも含まれる。また、ディスプレイ装置１０１には、プロジェクタも含まれる。
　なお、以下ネットワーク１１０は、ギガビットイーサネット、４Ｇ、５Ｇを含む有線・無線のＴＣＰ／ＩＰプロトコルを使用した通信の他、公衆電話網を使用した音声通話またはデータ通信のいずれかまたは両方を含むものとして説明する。さらに、スマート・スピーカ１０４、タブレット端末１０５、およびスマートホン１０６は、Ｆａｃｅｔｉｍｅ（登録商標）、ＬＩＮＥ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、Ｔｗｉｔｔｅｒ（登録商標）など、いわゆるＳＮＳなどによるインターネットを通じた音声通話の他、公衆電話回線を使用した音声通話が可能とされていても良い。
　図２は、本実施形態のコラボレーション・サーバ１２０の機能ブロックを示した図である。コラボレーション・サーバ１２０は、図２に示すようにインタフェース部１２１と、ウェブ・サーバ部１２２と、アクション処理サーバ部１２４とを含んで構成されている。ウェブ・サーバ部１２２は、ＨＴＴＰプロトコルを介してネットワーク１１０を介して視聴者が送付するユーザ情報や、スマート・スピーカ１０４、タブレット端末１０５、スマートホン１０６などで機能する専用アプリケーション（以下、単にスマホアプリとして参照する。）を介して送付される視聴者参加情報を受領して、ユーザ情報、使用端末形態、参加態様、アクションその他の情報を視聴者管理部１２３に登録する機能を有している。
　なお、本実施形態におけるデバイスとしては、スマートホンや専用の携帯可能な制御装置を使用することができ、デバイスがスマートホンの場合、スマホアプリを介して、本実施形態における、視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネント、誘導トリガに対する応答としてデバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネント、オプション・コンテンツを表示装置において再生または表示させるコンポーネントとして機能する。また、ＰＳＰなどの専用の制御装置が、そのためのプログラムをダウンロードまたはインストールして同様の機能を提供する場合も想定される。
　視聴者参加情報には、視聴者がコンテンツを修正するためのキーワードやコマンドなどとして構成することができる視聴者トリガを含み、音声コールの場合には、視聴者の音声通話情報を含む。また、タッチスクリーンなどへのタップ、シェイクなどの動作を視聴者トリガとして使用することもできる。
　アクション処理サーバ部１２４は、いわゆるＩＶＲ機能、音声解析機能、アクション解析機能を備えており、視聴者参加情報が音声情報の場合、音声情報を参加情報として参加情報解析部１２５に送付する。また特定の実施形態では、受信した音声コールの音声情報を、そのままコラボレーション・サーバ１２０に送付してスピーカ１０４から発生させ、デコードしたデジタル・コンテンツの音声情報と重畳して、あたかも音声コールを送付した参加者がコンテンツに初めから居たように、当該空間に臨場している視聴者にその音声コールをフィードバックさせることもできる。さらに、アクション処理サーバ部１２４は、タブレット端末１０５、スマートホン１０６から送信される、位置情報、加速度情報、タップ動作、スワイプ動作などを検出し、検出された視聴者トリガに基づいてコンテンツの編集を可能とする。なお、音声処理機能は、クラウドサーバとして構成することができ、このような音声処理を行うクラウドサービスとしては、例えば、Ｇｏｏｇｌｅアシスタント（商標）、ＩＢＭＳｐｅｅｃｈ　ｔｏ　Ｔｅｘｔ（登録商標）などのＡＩを含むサービスを使用することができるが、特定のクラウドサービスに限定されるものではない。
　視聴者管理部１２３は、予めネットワーク１１０を介して送付された視聴者のユーザＩＤ、必要に応じてパスワード、端末形態、参加態様などの情報を収集し、ユーザ・データベース（図示せず）に登録する機能を備えている。また、ウェブ・サーバ部１２２、アクション処理サーバ部１２４が、参加情報を受信した時に、視聴者の参加態様に対応した処理を参加情報解析部１２５に実行させる機能を備えている。
　さらに、コラボレーション・サーバ１２０は、視聴者から送付された視聴者参加情報を解析する、参加情報解析部１２５と、トリガ抽出部１２６とを含んでいる。参加情報解析部１２５は、視聴者から送付された参加情報が、音声情報であるか、またはアプリなどからのコマンドであるかを判断し、視聴者の参加形態に応じて視聴者参加情報をデコードし、トリガ抽出部１２６に視聴者参加情報に予め設定した視聴者トリガが含まれているか否かを判断する。
　視聴者トリガが含まれていなければ、コラボレーション・サーバ１２０は、コンテンツの修正に対して特段の指令を行うことをしない。また、コラボレーション・サーバ１２０は、視聴者参加情報に予め設定した視聴者トリガが含まれていると判断した場合、ネットワーク１１０を介して、コンテンツ再生装置１０３またはストリーミング・サーバ１３０に対して視聴者トリガを含む、コンテンツ指令を送付する。当該指令は、コンテンツ再生装置１０３またはストリーミング・サーバ１３０に送付され、コンテンツ再生装置１０３がデコードするデジタル・コンテンツのデコード順やストリーミング順を切替えたりすることで、映像上および音声上の視聴者参加を可能としている。
　さらにコラボレーション・サーバ１２０は、レスポンスログ・データベース１２８を管理している。レスポンスログ・データベース１２８は、その回の上映ばかりではなく、過去に行った同一の動画またはイベントにおける視聴者参加の履歴を、ユーザ情報、ユーザ属性、視聴時間、視聴地域などと対応づけて視聴者参加の履歴を登録する。視聴者参加の状態としては、例えばシーンの選択、アクション情報の種類、スマホアプリからの指令の種類などを挙げることができ、コラボレーション・サーバ１２０は、これらをレスポンスログとして蓄積する。
　本発明の態様においては、コラボレーション・サーバ１２０は、レスポンスログを解析し、デジタル・コンテンツにおいて参加者の多くが共感するシーンや映像などのコンテンツ内容を学習して効果的なコンテンツ作成に提供することができる。さらにレスポンスログ・データベース１２８に集積されたレスポンス情報は、以後のコンテンツ作成のためのビッグデータとして使用することができる。
　図３は、本実施形態のコンテンツ再生装置１０３の機能ブロックを示す。コンテンツ再生装置１０３には、コラボレーション・サーバ１２０から、コンテンツ指令が送付される。コンテンツ再生装置１０３は、これらの信号を処理するためのインタフェース部１０３ａと、デコーダ１０３ｂと、コンテンツ・シーケンサ１０３ｃと、バッファ１０３ｄと、メディア媒体１０３ｅとを備えている。
　以下、視聴者からの参加情報を受領した上流側の処理部からその機能を説明する。インタフェース部１０３ａは、シーンに追加されたアクションに対応してコラボレーション・サーバ１２０から送付されたコンテンツ指令を受領する。インタフェース部１０３ａは、受領したコンテンツ指令をコンテンツ・シーケンサ１０３ｃに送付する。コンテンツ・シーケンサ１０３ｃは、コンテンツ指令を解析して、コンテンツ指令に含まれる視聴者トリガに紐づけられたシーンＩＤを選択し、コンテンツ再生装置１０３に対して指定されたシーンＩＤを、メディア媒体１０３ｅからバッファ１０３ｄに読み込ませる。なお、シーンとは、複数のシーン、複数のＧＯＰ(Group of Picture)などから構成される、メインストリーム・コンテンツ内で一定の意味または属性を提供する時系列的な映像を意味する。
　コンテンツ再生装置１０３は、バッファリングされたシーンＩＤのデータをデコーダ１０３ｂに送付し、デコードが完了するに応じて出力バッファ１０３ｆに視聴者トリガに紐づけられたシーンＩＤの映像情報を出力し、順次、ディスプレイ装置１０１およびスピーカ１０２に選択されたシーンの再生を可能としている。以上の処理を使用することにより、リアルタイムでメインストリーム・コンテンツのシーンを途切れなく再生することが可能となる。
　なお、視聴者トリガと、シーンＩＤとの紐づけは、例えば特定のキーワード「上に行って」、「下に行って」、「右に行って」、「左に行って」、「進んで」、「戻って」などに対応して当該視聴者トリガに対応したコンテンツ内容にシーンＩＤに割り当てて行うことができる。その他、タブレット端末１０５、スマートホン１０６の位置情報、加速度情報、タップ、スワイプなどの操作に対応して選択するべきシーンＩＤを紐づけておくことができ、視聴者トリガと、これに紐づけられるコンテンツ内容は、デジタル・コンテンツへの視聴者の参加臨場感を改善することができる限り、特に制限はない。
　図４は、本実施形態におけるストリーミング・サーバ１３０の機能ブロックを示す。ストリーミング・サーバ１３０は、例えばＹｏｕｔｕｂｅ（登録商標）、ＮＩＣＯ動（登録商標）、ｉＴｕｎｅｓ（登録商標）その他で使用されているストリーミング・サーバと同様の構成を含む。しかしながら、図４に示したストリーミング・サーバ１３０は、ストリーム・シーケンサ１３３の機能を実装する点で、従来のストリーミング・サーバとは相違する。以下、ストリーミング・サーバ１３０の機能を説明する。
　ここで、ストリーミング・サーバ１３０は、すでに視聴者からの要求に応じて特定のデジタル・コンテンツをストリーミングしているものとして説明する。ストリーミング・サーバ１３０は、デジタル・コンテンツのストリーミング中に、コラボレーション・サーバ１２０からのコンテンツ指定を、視聴者トリガと共に受領する。コンテンツ指令を受領したインタフェース部１３１は、受領した情報がコンテンツ指令を含むと判断した場合、ストリーム・シーケンサ１３３にコンテンツ指令を送付する。ストリーム・シーケンサ１３３は、コンテンツ指令に含まれる視聴者トリガを解析し、当該視聴者トリガに紐づけられたシーンＩＤを選択し、当該シーンＩＤで指定されるデジタル・コンテンツをバッファ１３４にバッファリングする。
　ストリーミング・サーバ１３０は、バッファリングしたデジタル・コンテンツを次に配信する映像ストリームとして送信部１３２に送付し、ネットワーク１１０を介して、コンテンツ再生装置１０３に送付する。なお、コンテンツ再生装置１０３は、ストリーミング・サーバ１３０からのストリーミングを行う場合は、インタフェース部１０３ａから直接デコーダ１０３ｂにストリームを提供してデコードした後、出力バッファ１０３ｆを介してディスプレイ装置１０１に映像を表示する。なお、コンテンツ再生装置１０３は、再生するべきコンテンツの種類・属性に応じて複数のデコーダを備えることができる。なお、ストリーミングの目的で好ましいエンコード方式としては、ＭＰ２、ＭＰ３、ＭＰ４、Ｈ２６４、ＭＯＶなどを挙げることができ、特に特定のフォーマットに限定されるものではない。
　図５は、本実施形態の映像提供システム１００が提供する映像コンテンツ５００の実施形態を示す。映像コンテンツ５０１は、メインストリーム・コンテンツである。
　また映像コンテンツ５０２は、視聴者参加により、メインストリーム・コンテンツ５００のシーケンスが編集される実施形態である。映像提供システム１００は、シーンＡで視聴者参加情報を受領すると、コンテンツ・サーバ１２０が視聴者トリガを解析し、視聴者トリガに紐づけられたシーンＩＤのデジタル・コンテンツをオプション・コンテンツとして選択して次のシーンとして再生する。このため、当初用意されているメインストリーム・コンテンツ５０１とは、視聴者のアクションに応じて編集されることになる。
　そしてシーンＢで、さらに他の視聴者トリガを受領すると、当該視聴者トリガに応答してその次のオプション・コンテンツを選択して映像を提供する。ここで、オプション・コンテンツとは、視聴者トリガに対応してメインストリームのシーンに置き換えられるデジタル・コンテンツを意味する。ここで、さらにシーンＣで、さらに他の視聴者トリガを受領してシーンのシーケンスを修正し、さらにシーンＤでも視聴者トリガに対応してシーンのシーケンスを修正して、映像の最後までこれを継続する。
　なお、シーンＡ～Ｄまでの間に視聴者トリガを送付できる視聴者は同じでも良いし、異なっていても良い。なお、視聴者トリガが全く受信されない場合、例えば、電話がつながらないなどのリアクションを提供するオプション・コンテンツを挿入するなどした後、メインストリーム・コンテンツ５０１が提供される。
　図６は、本実施形態において、視聴者と、視聴者識別情報、視聴者からのアクセス情報と対応付けた視聴者情報の実施形態を示す。視聴者は、ネットワークアドレス、視聴者ＩＤ、電話番号などで、特定され、各視聴者にアクセスするデバイスが指定されている。なお、特定の視聴者が複数のデバイスからアクセス実施形態も想定することができる。
　コラボレーション・サーバ１２０は、図６に示した情報を使用して視聴者参加情報に含まれる視聴者トリガを解析し、コンテンツの動的編集を可能とする。
　図７は、本実施形態において、ＤＶＤ、Ｂｌｕ－Ｒａｙといったメディア媒体からデジタル・コンテンツを再生する場合のメインストリーム・コンテンツに対するオプション・コンテンツの紐づけの実施形態を示す。例えばメインストリーム・コンテンツ７００の特定のシーン７０１には、その先頭に、誘導トリガが配置されている。誘導トリガとは、視聴者に対してデジタル・コンテンツが能動的に視聴者のデバイスに対して、音声その他で、アクションを促すための情報を言う。
　例えば誘導トリガとしては、アクターからの電話コール、アクターからの画面上での問いかけ、メッセージ送信、ＳＮＳ送信、バイブレーションなどを使用することができ、それぞれの誘導トリガに対応付けて複数のオプション・コンテンツ７０１ａが、シーンＩＤと対応付けられて記録されている。例えば誘導トリガが、「どっちに進めばいいと思う？」とか、「こいつをどうしてやろう？」として、視聴者のスマートホン１０６に音声コールを送付する場合、視聴者は当該音声コールに応答して、「左側に進むのが良いと思う」とか、「何もせず逃がすのがいいんじゃない」と返答すると、次のオプション・コンテンツとして、アクターが左に進んだ場合や、アクターを逃がした後のストーリー展開、例えばシリアス、コミカル、アクションなどのコンテキストに応じてストーリー展開される。
　さらにオプション・コンテンツにもハッチング７０４で示すように、誘導トリガが配置されており、オプション・コンテンツからさらに他のオプション・コンテンツへと映像ストリームを変更することが可能となっている、また、他の実施形態では、子供など若年層に視聴させたくない場合など、保護者が、音声コールその他で、安全なシーンを選択するように指示することもできる。
　さらにその後のメインストリーム・コンテンツ７０２、７０３にも同様の誘導トリガが追加されていて、視聴者のアクションに対応して各オプション・コンテンツ７０２ａ、７０３ａが対応付けられ、視聴者が映像コンテンツを編集することが可能となる。
　図８は、本実施形態において、映像コンテンツをストリーミング配信する場合の誘導トリガの配置を例示した形態である。映像コンテンツは、所定のデータ長のストリームごとに配信され、配信するべきストリームの先頭部分に誘導トリガとして機能するコンテンツが付加される。誘導トリガには、それぞれオプション・コンテンツが割り当てられ、視聴者トリガに対応したオプション・コンテンツが選択されてストリーミング可能とされている。
　なお、図７、図８で示した誘導トリガは、再生またはストリーミングするべきコンテンツの先頭に配置することが好ましい。先頭に配置することで、コンテンツ・サーバ１２０の処理に伴う画像再生の遅れを回避する時間的バッファを確保することができ、誘導トリガおよび視聴者トリガを処理している間に、提供するべきオプション・コンテンツを準備することができるためである。なお、本実施形態では、当該実施形態に関わらず、オプション・コンテンツが切れ目なくスムーズに提供できる限り、特に誘導トリガの位置は限定されるものではない。
　図９は、本実施形態の映像提供システム１００が実行する処理のフローチャートである。図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で、メインストリーム・コンテンツ中のトリガポイントに達した時に、適切な形式での誘導トリガを視聴者に送付する。ステップＳ９０２では、トリガ・バッファに視聴者から送付された参加情報に含まれた視聴者トリガが存在するか否かを判断する。
　視聴者トリガが無い場合（ｎｏ）、ステップＳ９０５でタイムアウトか否かを判断し、タイムアウトでない場合（ｎｏ）、処理をステップＳ９０２に分岐させてさらに視聴者トリガの有無を確認する。一方、ステップＳ９０５でタイムアウトが満了した場合（ｙｅｓ）、このトリガは視聴者が寝ているとか、トイレに立っているとか、全く気がつかないなどの理由で、誘導トリガが不発に終わったと判断し、処理をステップＳ９０６に分岐させて、メインストリーム・コンテンツのシーケンスのまま映像の提供を次の誘導トリガのタイミングが来るまで継続する。
　一方、ステップＳ９０２で、視聴者トリガが存在する場合（ｙｅｓ）、ステップＳ９０３で視聴者トリガのメディア属性および視聴者トリガの内容に対応するオプション・コンテンツを選択し、ステップＳ９０４でコラボレーション・サーバ１２０は、コンテンツ指令を、コンテンツ再生装置１０３またはストリーミング・サーバ１３０に送付する。
　ステップＳ９０６では、コンテンツ再生装置１０３またはストリーミング・サーバ１３０が、次に再生するオプション・コンテンツを選択しデコードまたは送信の準備を開始する。その後、ステップＳ９０７で、コンテンツ再生装置１０３にてオプション・コンテンツを再生する。その後処理は、ステップＳ９０２に戻り、さらに後続する視聴者トリガの受領を待機する。
　以上の処理を使用することにより、視聴者を映像の進行に誘導し、かつそれを空間に存在する視聴者にあたかも当該視聴者が予め映画などの中にアクターと共に出演していたかのように演出することができ、さらにその感覚を視聴者に共有させることが可能となる。
　図１０は、本実施形態で使用するシーン１０００のデータ構成を示した図である。シーンには、誘導トリガに応じて、カスケード式にシーンが編集されることが白線で示されており、これらのシーンの編集は、デジタル・コンテンツが提供する誘導トリガと、当該誘導トリガにより視聴者のデバイスを通じた視聴者トリガの送付に基づいて、コンテンツ・サーバ１２０がコンテンツのシーケンスを編集することが示されている。
　図１１～図１３は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す。シーン０１では、映像中のアクター、キャラクター、登場人物、アニメ・キャラクターなどから誘導トリガとして、音声コールが視聴者のスマートホンに送付されている。ここで、視聴者は、アクターとの間の仮想的な会話の中で、予め設定した視聴者トリガを言う。なお、視聴者からの視聴者トリガが得られなかった場合、予め設定したストーリーにしたがって映像再生が行われる。
　図１２は、図１１で、視聴者から視聴者トリガが得られた場合の実施形態である。図１２では、図１１における誘導路値に対応して修正されたオプション・コンテンツが表示され、このオプション・コンテンツでは、誘導トリガを複数の視聴者に対して異なるアクションで送付する。この場合、複数の視聴者から異なる視聴者トリガが送付された場合、最も早く受領した視聴者トリガに対応したオプション・コンテンツを表示させることができる。この場合、同一のオプション・コンテンツが表示されたとしても、視聴者の指示した行動に反した場合と、したがった場合で、視聴者に対する心理的効果は相反するものとなり、同一のコンテンツを提供しながらも、異なる印象を視聴者に提供することができる。
　図１３は、例えば、図１２においてＳＮＳでメッセージを求められた視聴者が、視聴者トリガを送付し、これがコラボレーション・サーバに受領された場合に、図１２の後に表示されるオプション・コンテンツを示す。なお、オプション・コンテンツの挿入のタイミングは、必ずしも図１２の直後には限定されない。図１３の実施形態の場合、誘導トリガとして、異なる視聴者に対して例えばグループ通話の機能を提供し、ポイント－ツウ－ポイントの音声通信またはポイント－ツウ－グループの音声通信によりアクター、視聴者Ａ、Ｂとの間で恰も会話しているような状況を提供することができる。この場合においても、視聴者トリガとしては、最初に認識された情報、または、例えばアクター、キャラクター、登場人物、アニメ・キャラクターから明示的に要求された場合、視聴者Ａ、Ｂが協議して送信された視聴者トリガを使用して以後のコンテキストを編集することが可能となる。この実施形態では、複数の視聴者がさらに映像コンテンツへと能動的に参加した印象を提供することができ、さらに視聴者の投票によりオプション・コンテンツを決定するなど、コンテンツへの入り込みを効果的にすることが可能となる。
　図１４は、本実施形態で使用することができる誘導トリガの実施形態を例示したものである。例えば誘導トリガとしては、スマートホン画面のフラッシング、バイブレーション、電子メール、ＳＮＳ、または現在提供しているコンテンツの別の視野から見た映像、パンニングなど、映像送信とすることができ、映像送信の場合でも、音声、タップ、スワイプなどのアクションにより、視聴者トリガを送付することが可能である。
　図１５は、本実施形態のコンテンツ再生装置１０３のハードウェア構成を示す図である。本発明のコンテンツ再生装置１５００は、中央処理装置（ＣＰＵ）１５０１と、ＣＰＵ１５０１の処理を可能とするＲＡＭ、ＤＲＡＭなどの固体メモリ素子から形成されるメモリ１００２とを備える。ＣＰＵ１５０１およびメモリ１５０２は、システム・バス１５１０を介して、コンテンツ再生装置１０３の他のデバイスまたはドライバ、例えば、グラフィックス・ドライバ１５０３およびネットワーク・デバイス（ＮＩＣ）１５０５へと接続されている。グラフィックス・ドライバ１５０３は、適切なバスを介してディスプレイ装置１０２に接続されて、ＣＰＵ１５０１による処理結果をディスプレイ画面上に表示させている。
　また、ネットワーク・デバイス１５０５は、トランスポート層レベルおよび物理層レベルでコンテンツ再生装置１０３を４Ｇ、５Ｇなどの無線ネットワーク／インターネットなどのネットワークへと接続して、ユーザ端末との間のセッションを確立させている。
　システム・バス１５１０には、さらにＩ／Ｏバス・ブリッジ１５０６が接続されている。Ｉ／Ｏバス・ブリッジ１５０６の下流側には、ＰＣＩなどのＩ／Ｏバス１５０９を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ハードディスクなどの記憶装置１５０７が接続されている。また、Ｉ／Ｏバス１５０９には、ＵＳＢなどのバスを介して、キーボードおよびマウスなどのポインティング・デバイスなどの入力装置１５０８が接続され、システム管理者などのオペレータによる入力および指令を受付けている。
　コンテンツ再生装置１０３が使用するＣＰＵ１５０１としては、より具体的には、例えば、ＰＥＮＴＩＵＭ（登録商標）～ＰＥＮＴＩＵＭ　ＩＶ（登録商標）、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＣＯＲＥ２ＤＵＯ（登録商標）、ＣＯＲＥｉ３～ｉ７（登録商標）、ＰＯＷＥＲ　ＰＣ（登録商標）、ＸＥＯＮ（登録商標）などを挙げることができる。
　また、使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＣＨＲＯＭＥ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、コンテンツ再生装置１０３は、上述したＯＳ上で動作する、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ　Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）ＳｃｒｉｐｔＰｅｒｌ、Ｒｕｂｙなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。
　また、本実施形態において使用されるコラボレーション・サーバ１２０、ストリーミング・サーバ１３０の機能構成も、提供機能に応じて実装形態は異なるものの、同様なハードウェア構成を採用することができる。
　なお、本実施形態のプログラムは、所謂「アプリ」として参照され、視聴者デバイスである、スマート・スピーカ１０４、タブレット端末１０５、スマートホン１０６などにダウンロードさせることで実行させることができる。また、コンテンツ視聴装置１０４においても、ネットワークを介してプログラムをダウントードさせ、コンパイルやリセットすることなく、実行可能なジャストインタイム・コンパイラを使用するプログラムなどを利用して実装することができる。
　本実施形態の視聴者が利用するデバイスについても基本的な要素は、図１５に示したコンテンツ再生装置１０３の構成とは、公衆電話回線に接続する機能を備えることを除き、大きな相違は無く、例えば、ＣＰＵとして、スマートホン用のＳｎａｐｄｒａｇｏｎ（登録商標）、Ｈｅｌｉｏ（登録商標）、Ｔｅｇｒａ（登録商標）、ＡｐｐｌｅＡシリーズ（登録商標）、Ｅｘｙｎｏｓ（登録商標）、Ｋｉｒｉｎ（登録商標）などを使用することができる。またハードディスク装置といった記憶装置１５０７として、例えばＮＡＮＤゲート型の随時書き換え可能なフラッシュメモリやＳＳＤなどを使用することができる。
　また、視聴者が理由要するデバイスが実行するＯＳとしては、例えばＡｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、Ｂａｄａ（登録商標）、ＢｌａｃｋＢｅｒｒｙＯＳ（登録商標）、Ｆｉｒｅ　Ｆｏｘ（登録商標）、ＳｙｍｂｉａｎＯＳ（登録商標）、ＢＲＥＷ（登録商標）、ＷｉｎｄｏｗｓＭｏｂｉｌｅ（登録商標）、ＷｉｎｄｏｗｓＰｈｏｎｅ（登録商標）を挙げることができるが、これらに限定されるものではない。
＜第２実施形態＞
　以下、第２の実施形態について説明する。第２の実施形態は、シアター、ライブ講演などにおいて視聴者または観客の行動に応じてコンテンツを編集して提供する映像提供システムである。
　以下、本発明を、実施形態を以て説明するが本発明は後述する実施形態に限定されるものではない。図１６は、本実施形態の第１の実施形態の映像提供システム１６００の実施形態を示す。図１６に示した映像提供システム１６００は、例えばシアター、シネコン、イベント会場と言った多数の視聴者が視聴する空間に設置することができる。映像提供システム１６００は、スクリーン１６０１に対してプロジェクタ１６０２、１６０３からスクリーン１６０１に対して映像を投映して、スクリーン１６０１上に映像を投映して多数の視聴者の視聴を可能としている。
　スクリーン１６０１の近傍には、スピーカ１６０４が設置されており、プロジェクタ１６０２、１６０３から投映される映像に同期した音響を空間内に送付する用にされている。なお、図１に示したスピーカ１６０４は、２台に限られるものではなく、必要に応じて左右に４台、６台、８台というように空間の大きさや提供するべき音源の相違に対応して適宜設置することができる。例えば、２台を、プロジェクタ１６０２、１６０３から投影されるコンテンツに同期してエンコードされた音響を発生させるために使用し、他の２台を、後述する視聴者参加を可能とするためにＩＶＲが受信した音声データをリアルタイムで再生するために使用することができる。
　また、図１６に示した実施形態は、説明の目的でプロジェクタ１６０２、１６０３として２台使用するものとして説明するが、プロジェクタが独立した映像をデュアル投映できる構成のものであれば、プロジェクタを２台使用する必要は無いし、さらに多くのプロジェクタを使用することができる。プロジェクタ１６０２、１６０３は、例えばプロジェクタ１６０２からの映像に対して、プロジェクション・マッピングを行うことにより、視聴者により送付された情報に応じて映像を変化させるために使用される。
　映像提供システム１６００は、さらにコンテンツ・サーバ１６０５と、コラボレーション・サーバ１６０６とを含んで構成される。コンテンツ・サーバ１６０５は、プロジェクタ１６０２、１６０３により投映するためのコンテンツおよびコンテンツのデコードシーケンスを制御する機能を備える。またコラボレーション・サーバ１６０６は、ウェブ・サーバおよび音声処理（ＩＶＲ）サーバの機能を備えていている。コラボレーション・サーバ１６０６は、ネットワークまたは公衆電話網１６０７を介して空間内で映像を共有している視聴者からの携帯電話、スマートホン、タブレット端末などの携帯端末１６０８から視聴者が送付するユーザ情報、視聴者参加情報、音声情報などを処理する。なお、以下ネットワーク１６０７は、ギガビットイーサネット（登録商標）によるＴＣＰ／ＩＰプロトコルを使用した通信の他、４Ｇ、５Ｇと言った無線通信プロトコルによるデータ通信や、公衆電話網を使用した音声通話またはデータ通信のいずれかまたは両方を含むものとして説明する。また、通信のためのアプリケーションは、Ｆａｃｅｔｉｍｅ（登録商標）、ＬＩＮＥ（登録商標）、Ｆａｃｅｔｉｍｅ（登録商標）、Ｔｗｉｔｔｅｒ（登録商標）などいわゆるＳＮＳと言われるデータ通信を可能とする者であれば使用することができる。
　コラボレーション・サーバ１６０６は、視聴者からの応答に対応してコンテンツ・サーバ１６０５の映像デコード順を修正したり、追加の音声情報をスピーカ１６０４から生成させたりする機能を備えている。なお、コンテンツ・サーバ１６０５と、コラボレーション・サーバ１６０６とを分離した構成として図１６に示すが、第２の実施形態では、機能的な構成を明確にする目的で分離したサーバとして説明するものであって、情報処理装置の能力が十分である限り、分離した構成とすることなく、単一のサーバ装置上に複数の機能を搭載することができる。
　図１７は、第２の実施形態のコラボレーション・サーバ１６０６の機能ブロックを示した図である。コラボレーション・サーバ１６０６は、図１７に示すようにインタフェース部１７０１と、ウェブ・サーバ部１７０２と、音声処理サーバ部１７０４とを含んで構成されている。ウェブ・サーバ部１７０２は、ＨＴＴＰプロトコルを介してネットワーク１６０７を介して視聴者が送付するユーザ情報や、スマートホンなどで機能する専用アプリケーション（以下、単にスマホアプリとして参照する。）を介して送付される視聴者参加情報を受領して、ユーザ情報、使用端末形態、参加態様その他の情報を視聴者管理部１７０３に登録する機能を有している。視聴者参加情報には、視聴者がコンテンツを修正するためのキーワードやコマンドなどとして構成することができる視聴者トリガを含み、音声コールの場合には、視聴者の音声通話情報を含む。
　音声処理サーバ部１７０４は、いわゆるＩＶＲ機能を備えており、視聴者参加情報が音声情報の場合、音声情報を参加情報として参加情報解析部１７０５に送付する。また特定の実施形態では、受信した音声コールの音声情報を、そのままコンテンツ・サーバ１６０５に送付してスピーカ１６０４から発生させ、デコードしたデジタル・コンテンツの音声情報と重畳して、あたかも音声コールを送付した参加者がコンテンツに初めから居たように、当該空間に臨場している視聴者にその音声コールをフィードバックさせている。
　視聴者管理部１７０３は、予めネットワーク１６０７を介して送付された視聴者のユーザＩＤ、必要に応じてパスワード、端末形態、参加態様などの情報を収集し、ユーザ・データベース（図示せず）に登録する機能を備えている。また、ウェブ・サーバ部１７０２、音声処理サーバ部１７０４が、参加情報を受信した時に、視聴者の参加態様に対応した処理を参加情報解析部１７０５に実行させる機能を備えている。
　さらに、コラボレーション・サーバ１６０６は、視聴者から送付された視聴者参加情報を解析する、参加情報解析部１７０５と、トリガ抽出部１７０６とを含んで構成されている。参加情報解析部１７０５は、視聴者から送付された参加情報が、音声情報であるか、またはスマホアプリからのコマンドであるかを判断し、視聴者の参加形態に応じて視聴者参加情報をデコードし、視聴者参加の態様に応じたトリガ抽出部１７０６に視聴者参加情報に予め設定した視聴者トリガが含まれているか否かを判断する。
　視聴者トリガが含まれていなければ、コンテンツ・サーバ１６０５に対して特段の指令を行うことをしない。また、視聴者参加情報に予め設定した視聴者トリガが含まれていると判断した場合、コンテンツ・サーバ１６０５に対して指令を送付し、コンテンツ・サーバ１６０５がデコードするデジタル・コンテンツのデコード順を切替えたり、デジタル・コンテンツの映像部分と音声部分とを分離し、映像部分のみをデコードし、当該部分を他の音声情報に置き換える、プロジェクション・マッピングを行う、または他の音声情報と重畳したりすることで、映像上および音声上の視聴者参加を可能としている。なお、音声処理機能は、クラウドサーバとして構成することができ、このような音声処理を行うクラウドサービスとしては、例えば、Ｇｏｏｇｌｅアシスタント（商標）、ＩＢＭＳｐｅｅｃｈ　ｔｏ　Ｔｅｘｔ（登録商標）などのＡＩを含むサービスを使用することができるが、特定のクラウドサービスに限定されるものではない。
　さらにコラボレーション・サーバ１６０６は、レスポンスログ・データベース１７０７を管理している。レスポンスログ・データベースは、その回の上映ばかりではなく、過去に行った同一の動画またはイベントにおける視聴者参加の履歴を、ユーザ情報、ユーザ属性、上映時間、上映地域などと対応づけて視聴者参加の状態を登録する。視聴者参加の状態としては、例えばシーンの選択、音声情報の種類、スマホアプリからの指令の種類などを挙げることができ、コラボレーション・サーバ１６０６は、これらをレスポンスログとして蓄積する。
　第２の実施形態においては、コラボレーション・サーバ１６０６は、レスポンスログを解析し、当該上映またはイベントにおいて参加者の多くが共感するシーンや映像を選択し、コンテンツ内容を学習してコンテンツ・サーバ１６０５に表示させることができる。さらにレスポンスログ・データベース１７０７に集積されたレスポンス情報は、以後のコンテンツ作成のためのビッグデータとして使用することができる。
　図１８は、第２の実施形態のコンテンツ・サーバ１６０５の機能ブロックを示す。コンテンツ・サーバ１６０５には、コラボレーション・サーバ１６０６から、視聴者トリガおよび存在する場合には、ＩＶＲが受信した音声信号が送付される。コンテンツ・サーバ１６０５は、これらの信号を処理するためのインタフェース部１８０１と、デコーダ１８０２と、コンテンツ・シーケンサ１８０３と、トリガ・バッファ１８０５とを備えている。
　以下、視聴者からの参加情報を受領した上流側の処理部からその機能を説明する。トリガ・バッファ１８０５は、参加情報に含まれていた視聴者トリガをバッファリングする機能を備えている。なお、シーンとは、複数のシーン、複数のＧＯＰ(Group of Picture)などから構成される、メインストリーム・コンテンツ内で一定の意味または属性を提供する時系列的な映像を意味する。
　コンテンツ・サーバ１６０５は、視聴者参加情報中の視聴者トリガに対応して次のシーンとしてデコードするべき視聴者参加を可能とする映像を提供するためのコンテンツを、オプション・データベース１８０９から予め読み出させる機能を備えている。コンテンツ・サーバ１６０５は、映像を提供するためのメインストリーム・コンテンツを、コンテンツ・データベース１８０８から読み出して、コンテンツ・バッファ１８０４に格納する。コンテンツ・バッファ１８０４に格納されたメインストリーム・コンテンツは、コンテンツ・シーケンサ１８０３の指令に応じてデコーダ１８０２へと送付され、プロジェクタ１６０２からの投映を可能とされている。
　また、コンテンツ・サーバ１６０５は、トリガ・バッファ１８０５内の視聴者トリガを判断して、視聴者に対してオプションを提供するため、後続する映像を提供するためのコンテンツをコンテンツ・バッファ１８０４に読み込ませ、コンテンツ・シーケンサ１８０３が読み出しを行うためのシーン順を登録した再生順テーブルを視聴者トリガに従って修正する。さらに必要に応じてコンテンツ・バッファ１８０４は、読み出したシーンの映像部分情報と音声情報部分とを分離して、映像部分だけ、または音声部分だけを再生するようにシーンのコンテンツを修正する処理を行う。
　この機能を提供するため、コンテンツ・サーバ１６０５は、視聴者トリガの内容および対応する誘導トリガの内容で指定されるオプション・コンテンツを指定する識別値を、例えばルックアップ・テーブルなどを使用して決定する。その後、決定した識別値を使用して識別値で指定されるオプション・コンテンツをコンテンツ・バッファに読み込ませている。
　コンテンツ・シーケンサ１８０３は、再生順テーブルを参照し、再生順の若い順にシーンまたはコンテンツをデコーダ１８０２に供給してデコードを開始させる。デコーダ１８０２は、Ｈ２６４、ＭＰＥＧ４、その他ハイビジョン対応、４Ｋ対応、８Ｋ対応、３Ｄ対応の適切なデコード方式を使用して、送付されたシーン列を復号し、ＶＧＡ、ＳＶＧＡ、ＸＧＡなどの適切な映像ドライバを介してプロジェクタ１６０２にビデオ映像を供給している。
　また、コンテンツ・サーバ１６０５は、は、視聴者トリガに対応し、視聴者トリガが、例えばプロジェクション・マッピングを指令する場合には、プロジェクション・マッピングを行うためのシーンの再生順テーブルの該当するシーンの再生に同期してプロジェクション・マッピングのためのコンテンツを読み込ませ、当該プロジェクション・マッピング用のコンテンツをデコーダ１８０６に送付してプロジェクタ１６０３からの同期したプロジェクション・マッピングを可能とさせている。
　図１９は、図１７で説明した視聴者管理部１７０３が作成するユーザ・データベースの実施形態を示す。ユーザ・データベースには、ユーザを固有に識別するユーザ情報、ユーザのネットワーク情報、電話番号、アクセス種類などが登録されており、必要に応じて、ユーザがコンテンツの提供する誘導トリガに対してどのような反応を示したかを登録するリアクション情報を対応づけて登録することができる。
　コラボレーション・サーバ１６０６は、視聴者から最初にユーザ情報などの登録を受け、図１９に示すユーザ・データベースに登録する。その後、メインストリーム・コンテンツに予め埋設したトリガタイミングが到来すると、参加させるべき視聴者をランダムまたはトリガに対して予め設定した属性情報を使用して参加させるべき視聴者を決定する。そして、コラボレーション・サーバ１６０６は、決定した視聴者に対してトリガとして設定した情報を送付する。
　視聴者は、当該トリガ情報に誘導されてスマホアプリのボタン、スクロールバーなどのＧＵＩから参加情報をコラボレーション・サーバ１６０６に送付する。他の実施形態では、視聴者はコラボレーション・サーバ１６０６のＩＶＲ機能により着呼を受け、コラボレーション・サーバ１６０６に対して音声コールを送付することで、視聴者からの参加情報を送付することができる。
　コラボレーション・サーバ１６０６は、視聴者からの参加情報を受領して、上述した処理を行うことで、音声・映像、音声映像両方、映像、プロジェクション・マッピングなどの形態で視聴者参加を可能としている。
　図２０は、第２の実施形態のメインストリーム・コンテンツ２０００におけるトリガ登録形態およびデコードするべきシーンとして使用する情報の実施形態を示す。メインストリーム・コンテンツは、複数のシーン列により構成されていて、各シーンには、ヘッダ情報またはメタ情報が付されていて、シーン順やそのトリガ属性、時間、対応オプション・コンテンツ識別値などが登録されている。シーンの特定の時間位置には、トリガポイントとなることが設定されており、設定したトリガポイントの位置に応じて異なるオプション・コンテンツが呼び出し可能とされている。
　また、シーンには、単一のトリガポイントを設定することもできるし、複数のトリガポイントを設定することもでき、視聴者の応答の有無の時間位置により、呼び出すオプション・コンテンツを変更するように設定することができる。さらに、第２の実施形態では、デコードを行う際に、映像・音声の両部分をデコードするか、映像部分だけをデコードするか、または音声部分だけをデコードするかを設定することができる。この実施形態の場合、視聴者の参加情報に応じて、全く異なる映像を与えたり、同一の映像でも全く異なる音声情報を提供したりするなど、さらに視聴者参加の態様を多様化させることができる。
　図２１は、第２の実施形態の映像提供システム１６００が実行する処理のフローチャートである。図２１の処理は、ステップＳ２１００から開始し、ステップＳ２１０１で、メインストリーム・コンテンツ中のトリガポイントに達した時に、視聴者を決定し、適切な形式での誘導トリガを視聴者に送付する。ステップＳ２１０２では、トリガ・バッファに視聴者から送付された参加情報に含まれた視聴者トリガが存在するか否かを判断する。
　視聴者トリガが無い場合（ｎｏ）、ステップＳ２１０５でタイムアウトか否かを判断し、タイムアウトでない場合（ｎｏ）、処理をステップＳ２１０２に分岐させてさらに視聴者トリガの有無を確認する。一方、ステップＳ２１０５でタイムアウトが満了した場合（ｙｅｓ）、このトリガは視聴者が寝ているとか、トイレに立っているとか、全く気がつかないなどの理由で、不発に終わったと判断し、処理をステップＳ２１０６に分岐させて、メインストリーム・コンテンツのシーケンスのまま映像の提供をメインストリーム・コンテンツの終了まで継続する。
　一方、ステップＳ２１０２で、視聴者トリガが存在する場合（ｙｅｓ）、ステップＳ２１０３で視聴者トリガのメディア属性および内容に対応するオプション・コンテンツを、オプション・データベース１８０９から検索し、コンテンツ・バッファ１８０４に読み込ませ、ステップＳ２１０４で、コンテンツ・サーバ１６０５は、再生順テーブルの再生順を修正することで、再生シーケンスを設定する。その後、ステップＳ２１０６で、コンテンツ・シーケンサ１８０３が次に再生するべきシーンを読み込んで、デコーダ１８０２に送付し、指定された順でデコードを行い、ステップＳ２１０７でプロジェクタへとビデオ信号を送付して映像再生を可能とする。なおこのとき、視聴者参加情報に応じて、音声情報や映像情報として投映した映像に重畳して視聴者に提供することで、単一の視聴者の参加を空間に存在する全部の視聴者に共有させることができる。
　ステップＳ２１０８では、視聴者参加情報中にさらに他のキーワードやコマンドと言った視聴者トリガを検索し、ステップＳ２１０９で、視聴者トリガとして、シーン変更を要求する情報があるか否かを判断し、当該情報があれば（ｙｅｓ）、処理をステップＳ２１０４に分岐させてシーケンスの変更を行い、視聴者参加を可能とする。一方、ステップＳ２１０９で当該情報が無ければ（ｎｏ）処理をステップＳ２１０６に分岐させてシーン変更を行わず、映像のデコードを継続する。
　以上の処理を使用することにより、視聴者を映像の進行に誘導し、かつそれを空間に存在する視聴者にあたかも当該視聴者が予め映画などの中に出演していたかのように演出することができ、さらにその感覚を視聴者全員に共有させることが可能となる。
　図２２は、第２の実施形態で使用するシーンのデータ構成を示した図である。シーンには、ヘッダ情報２２０１と、複数のフレーム列として定義されるシーン内容２２０２とを含んで構成することができる。ヘッダ情報２２０１内には、メタ情報としてトリガポイントのタイマ時刻、トリガ種類、シーン番号などを設定することができる。シーン内容２２０２で規定されるシーンの時間長が視聴者参加区間を定義する。当該時間長の間に音声・映像などの態様でオプション・コンテンツを同期重畳することにより、シーンの変更や音声変更、プロジェクション・マッピングによる映像変調などを行うことが可能となる。
　図２３は、第２の実施形態の映像提供システム１６００が提供する映像コンテンツ２３００の実施形態を示す。映像コンテンツ２３０１は、メインストリーム・コンテンツ２３００のシーン・シーケンスを変えること無く、オプション情報として音声を変えたり、プロジェクション・マッピングを行ったりすることで、視聴者参加を可能とする実施形態であり、例えば、特定のイベントやコンサート会場などの映像・音楽などのコンテンツ提供のために使用することができる。
　また映像コンテンツ２３０２は、視聴者参加により、メインストリーム・コンテンツ２３００のシーケンスが置き換えられる実施形態である。シーンＡで視聴者参加情報を受領すると、コンテンツ・サーバ１６０５は、次のシーンを変更し、メインストリーム・コンテンツを変更する。そしてシーンＢで、さらに他の視聴者参加情報を受領すると、その次のシーンを変えて映像を提供する。さらにシーンＣで、さらに他の視聴者参加情報を受領してシーンのシーケンスを修正し、さらにシーンＤでも視聴者参加情報に対応してシーンのシーケンスを修正して、映像の最後までこれを継続する。
　なお、シーンＡ～Ｄまでの間に視聴者参加情報を送付できる視聴者は同じでも良いし、異なっていても良い。またオプション情報は、音声情報としても良いし、プロジェクション・マッピングなどの映像情報としても良い。さらに他の実施形態においては、デジタル・コンテンツを表示するためにプロジェクション・マッピングを使用することもでき、オプション・コンテンツにメインストリーム・コンテンツをプロジェクション・マッピングして表示することもできるし、この逆も可能である。
　本実施形態の上記機能は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙ、Ｐｙｔｈｏｎなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラム、例えばアプリとして参照されるプログラムにより実現でき、ネットワークを通じたダウンロードや装置読書可能な記録媒体に記録して頒布することができる。また、第１の実施形態および第２の実施形態に共通する要素は、それぞれ共用することもできるし、特定の用途において、複数種類のコラボレーション・サーバを含むこともできる。
　以上のように、本発明によれば、表示装置に映る画像を視聴する視聴者を巻き込んだ形でコンテンツの進行を制御する映像提供システムおよびプログラムが提供できる。
　これまで本発明につき、実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

Claims (16)

  1. 　視聴者に対ししてデジタル・コンテンツを提供する映像提供システムであって、
    　視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネントと、
    　前記誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネントと、
    　前記オプション・コンテンツを表示装置において再生または表示させるコンポーネントと
    　を含む、映像提供システム。
  2. 　前記誘導トリガは、音声、バイブレーション、電子メール、ＳＮＳを含む前記デバイスの機能を介して前記デバイスに提供される、請求項１に記載の映像提供システム。
  3. 　前記オプション・コンテンツの再生は、メディア媒体を介して行われ、前記表示は、前記ネットワークを介して取得したオプション・コンテンツを、ディスプレイ装置、映像スクリーンまたは物体に表示する、請求項１に記載の映像提供システム。
  4. 　前記オプション・コンテンツの再生は、映像ストリーミングにより行われる、請求項１に記載の映像提供システム。
  5. 　前記オプション・コンテンツの表示は、映像スクリーンまたはプロジェクション・マッピングにより行われる、請求項１に記載の映像提供システム。
  6. 　複数の前記視聴者の間でコミュニケーションを行うためのコラボレーション・サーバを含む、請求項１に記載の映像提供システム。
  7. 　前記コラボレーション・サーバは、ＳＮＳによる音声通信により、コラボレーションを実行する、請求項６に記載の映像提供システム。
  8. 　前記オプション・コンテンツを、多数の前記視聴者の投票により決定する、請求項１に記載の映像提供システム。
  9. 　情報処理装置を、視聴者に対してデジタル・コンテンツを提供する映像提供システムとして機能させるための装置実行可能なプログラムであって、前記情報処理装置を、
    　視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネント、
    　前記誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネント、
    　前記オプション・コンテンツを表示装置において再生または表示させるコンポーネント
    　として機能させる装置実行可能なプログラム。
  10. 　前記誘導トリガは、音声、バイブレーション、電子メール、ＳＮＳを含む前記デバイスの機能を介して前記デバイスに提供される、請求項９に記載のプログラム。
  11. 　前記オプション・コンテンツの再生は、メディア媒体を介して行われ、前記表示は、前記ネットワークを介して取得したオプション・コンテンツを、ディスプレイ装置、映像スクリーンまたは物体に表示する、請求項９に記載のプログラム。
  12. 　前記オプション・コンテンツの再生は、映像ストリーミングにより行われる、請求項９に記載のプログラム。
  13. 　前記オプション・コンテンツの表示は、映像スクリーンまたはプロジェクション・マッピングにより行われる、請求項９に記載のプログラム。
  14. 　複数の前記視聴者の間でコミュニケーションを行うためのコラボレーション・サーバを含む、請求項９に記載のプログラム。
  15. 　前記コラボレーション・サーバは、ＳＮＳによる音声通信により、コラボレーションを実行する、請求項１４に記載のプログラム。
  16. 　前記オプション・コンテンツを、多数の前記視聴者の投票により決定する、請求項１に記載のプログラム。

     
     
PCT/JP2019/050933 2019-09-11 2019-12-25 映像提供システムおよびプログラム WO2021049048A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021545101A JP7153143B2 (ja) 2019-09-11 2019-12-25 映像提供システムおよびプログラム
US17/753,571 US20220295135A1 (en) 2019-09-11 2019-12-25 Video providing system and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019165370 2019-09-11
JP2019-165370 2019-09-11

Publications (1)

Publication Number Publication Date
WO2021049048A1 true WO2021049048A1 (ja) 2021-03-18

Family

ID=74865986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050933 WO2021049048A1 (ja) 2019-09-11 2019-12-25 映像提供システムおよびプログラム

Country Status (3)

Country Link
US (1) US20220295135A1 (ja)
JP (1) JP7153143B2 (ja)
WO (1) WO2021049048A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615510B (zh) * 2020-12-08 2024-04-02 抖音视界有限公司 直播界面显示方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004531120A (ja) * 2001-02-21 2004-10-07 ユナイテッド ビデオ プロパティーズ， インコーポレイテッド パーソナルビデオレコーダ機能を備えた双方向番組ガイド・システム及び方法
JP2008085496A (ja) * 2006-09-26 2008-04-10 Techfirm Kk コンテンツサーバおよびコンテンツ送信システム
JP2008113247A (ja) * 2006-10-30 2008-05-15 Xing Inc ストリーミング再生方法、ストリーミング再生システム、サーバ装置、動画再生装置およびコンピュータプログラム
JP2013247407A (ja) * 2012-05-23 2013-12-09 Sharp Corp 携帯端末装置、情報通信システム、チャンネル選局方法、プログラムおよび記録媒体
JP2014027614A (ja) * 2012-07-30 2014-02-06 Hitachi Ltd 投稿音声再生制御システム、投稿音声再生制御方法、投稿音声再生制御プログラム
JP2014032501A (ja) * 2012-08-02 2014-02-20 Sony Corp 情報処理装置および情報処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040210947A1 (en) * 2003-04-15 2004-10-21 Shusman Chad W. Method and apparatus for interactive video on demand
US20040005900A1 (en) * 2002-07-05 2004-01-08 Martin Zilliacus Mobile terminal interactivity with multimedia programming
US20050091690A1 (en) 2003-09-12 2005-04-28 Alain Delpuch Method and system for controlling recording and playback of interactive applications
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
WO2014134575A1 (en) * 2013-02-28 2014-09-04 Fox Broadcasting Company Method and apparatus for batch voting on live broadcasts
WO2014186662A1 (en) * 2013-05-17 2014-11-20 Aereo, Inc. Method and system for displaying speech to text converted audio with streaming video content data
JP5581437B1 (ja) 2013-12-24 2014-08-27 拓也 木全 映像提供システムおよびプロラム
US10306319B2 (en) * 2014-09-09 2019-05-28 Google Llc Collaboration between a broadcaster and an audience for a broadcast
US9930405B2 (en) * 2014-09-30 2018-03-27 Rovi Guides, Inc. Systems and methods for presenting user selected scenes
US10452247B2 (en) * 2015-03-03 2019-10-22 DStephens & Associates Partnership Integrated agent player-client management system and method with automated event trigger initiated communications
US10232710B2 (en) * 2016-03-24 2019-03-19 Toyota Jidosha Kabushiki Kaisha Wireless data sharing between a mobile client device and a three-dimensional heads-up display unit
US20200322687A1 (en) * 2019-04-08 2020-10-08 Ingo Joachim Schneider System and Method of Creating a Plotline Through Audience Interaction
US11140463B2 (en) * 2019-06-28 2021-10-05 Rovi Guides, Inc. Systems and methods for displaying interactive content item for a predetermined duration
CN111277908B (zh) * 2020-01-16 2021-04-06 北京达佳互联信息技术有限公司 数据处理方法、装置、服务器、直播系统及存储介质
CN111416997B (zh) * 2020-03-31 2022-11-08 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004531120A (ja) * 2001-02-21 2004-10-07 ユナイテッド ビデオ プロパティーズ， インコーポレイテッド パーソナルビデオレコーダ機能を備えた双方向番組ガイド・システム及び方法
JP2008085496A (ja) * 2006-09-26 2008-04-10 Techfirm Kk コンテンツサーバおよびコンテンツ送信システム
JP2008113247A (ja) * 2006-10-30 2008-05-15 Xing Inc ストリーミング再生方法、ストリーミング再生システム、サーバ装置、動画再生装置およびコンピュータプログラム
JP2013247407A (ja) * 2012-05-23 2013-12-09 Sharp Corp 携帯端末装置、情報通信システム、チャンネル選局方法、プログラムおよび記録媒体
JP2014027614A (ja) * 2012-07-30 2014-02-06 Hitachi Ltd 投稿音声再生制御システム、投稿音声再生制御方法、投稿音声再生制御プログラム
JP2014032501A (ja) * 2012-08-02 2014-02-20 Sony Corp 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JPWO2021049048A1 (ja) 2021-03-18
JP7153143B2 (ja) 2022-10-13
US20220295135A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
KR101326739B1 (ko) 정보처리 시스템 및 정보처리 장치
US20140344854A1 (en) Method and System for Displaying Speech to Text Converted Audio with Streaming Video Content Data
US20230040884A1 (en) Time shifting extended reality media
US11758245B2 (en) Interactive media events
JP6024002B2 (ja) 動画配信システム
JP5359199B2 (ja) コメント配信システム、端末、コメント出力方法及びプログラム
US11539988B2 (en) Real-time incorporation of user-generated content into third-party streams
US20240107087A1 (en) Server, terminal and non-transitory computer-readable medium
WO2021049048A1 (ja) 映像提供システムおよびプログラム
US20230199138A1 (en) Information processing device, information processing program, and recording medium
KR20170085781A (ko) 유무선 통신 네트워크 기반 가상 현실 영상 제공 및 이를 위한 예매 시스템
CN113077799A (zh) 具有两个音频链路的解码器装备
JP5581437B1 (ja) 映像提供システムおよびプロラム
JP2020174378A (ja) 異種ネットワーキング環境におけるメディアレンダリングの同期化
JP6324829B2 (ja) 映像提供システムおよびプロラム
JP7302801B1 (ja) ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム
US20230179822A1 (en) Karaoke Content Watch Parties
US20230179823A1 (en) Deepfake Content Watch Parties
TWM534945U (zh) 影音分歧同步播放系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945268

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545101

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945268

Country of ref document: EP

Kind code of ref document: A1