JP2017219573A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP2017219573A
JP2017219573A JP2016111563A JP2016111563A JP2017219573A JP 2017219573 A JP2017219573 A JP 2017219573A JP 2016111563 A JP2016111563 A JP 2016111563A JP 2016111563 A JP2016111563 A JP 2016111563A JP 2017219573 A JP2017219573 A JP 2017219573A
Authority
JP
Japan
Prior art keywords
comment
video
target video
input person
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016111563A
Other languages
Japanese (ja)
Other versions
JP6818310B2 (en
Inventor
裕 坂根
Yutaka Sakane
裕 坂根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGITAL SENSATION CO Ltd
Original Assignee
DIGITAL SENSATION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIGITAL SENSATION CO Ltd filed Critical DIGITAL SENSATION CO Ltd
Priority to JP2016111563A priority Critical patent/JP6818310B2/en
Publication of JP2017219573A publication Critical patent/JP2017219573A/en
Application granted granted Critical
Publication of JP6818310B2 publication Critical patent/JP6818310B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable a participant receiving a prescribed lecture to learn more effectively.SOLUTION: An information processing device includes a reproduction part for reproducing a target video, and a generation part for generating a comment video of a comment added by an input person in the reproduced target video. The generation part composites an image of the target video with an image of the input person, and generates a comment video obtained by compositing sound of the target video with voice of the input person. The technology provides a prescribed lecture as content, and can apply the provided content to a device for learning.SELECTED DRAWING: Figure 11

Description

本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、所定の講座を受講している受講者が、受講内容をより理解し、習得できる手助けを行うのに適した情報処理装置、情報処理方法、並びにプログラムに関する。   The present technology relates to an information processing apparatus, an information processing method, and a program. Specifically, the present invention relates to an information processing apparatus, an information processing method, and a program suitable for helping a student who has attended a predetermined course to understand and learn the contents of the attendance.

文化伝統や工業、スポーツ、幼児教育、高齢者ケアなど、現場でのコーチングやOJT (On-the-Job Training) が主たる教育方法となる分野では、現場外での教育に現場の映像が用いられることが多い。   In fields where coaching on-site and on-the-job training (OJT) are the primary educational methods, such as cultural traditions, industry, sports, early childhood education, and elderly care, on-site images are used for off-site education. There are many cases.

非特許文献1には、スポーツ指導における競技映像の活用について、競技後すぐに視聴できる即時性の重要性と、映像に対して細かいメタ情報(技の情報、時間情報など)を付与することの有効性についての記載がある。   Non-Patent Document 1 gives the importance of immediacy that can be watched immediately after the competition, and detailed meta information (technique information, time information, etc.) for the use of competition video in sports instruction. There is a description of effectiveness.

非特許文献2には、放送番組とスマートフォンやタブレットなどの携帯端末が連動し実現できるコンテンツ化技術やサービスについての記載があり、メインスクリーン(例えば、テレビジョン受像機)とセカンダリスクリーン(例えば、携帯端末)を駆使することが想定されている。   Non-Patent Document 2 describes content technology and services that can be realized in conjunction with broadcast programs and mobile terminals such as smartphones and tablets, and includes a main screen (for example, a television receiver) and a secondary screen (for example, a mobile phone). (Terminal) is assumed.

三浦智和著、“トップスポーツでの映像システム活用” 情報処理, Vol.55, No.11, pp.1221-1227 (2014).Tomokazu Miura, “Utilization of Video System in Top Sports” Information Processing, Vol.55, No.11, pp.1221-1227 (2014). 古川易史、“次世代スマートテレビの動向について”映像情報メディア学会誌, Vol.68, No.9, pp.682-685 (2014).Yuji Furukawa, “Trends of next-generation smart TV”, Journal of the Institute of Image Information and Television Engineers, Vol.68, No.9, pp.682-685 (2014).

上記した映像には、現場の状況や登場人物の動きは記録されるが、登場人物が何に意識を払い、状況をどのように評価し行動を意図したかまでは記録されない。また指導者(熟練者)が、映像を一緒に見ながら学習者のスキルに合わせ、適切な解説で情報を補うことで、高い学習効果が得られるが、指導機会が制限されることから大規模に効率よく教育できていない。   In the above-mentioned video, the situation at the scene and the movement of the characters are recorded, but it is not recorded until the characters pay attention to what the characters are aware of, how the situation is evaluated, and the behavior is intended. Instructors (experts) can achieve high learning effects by matching the learner's skills while watching the video together, and supplementing the information with appropriate explanations. Are not educated efficiently.

そこで、指導者の指導自体をコンテンツ化する技術を開発することが望まれている。これにより、映像と指導者コンテンツをインターネットで配信でき、学習者のスキルレベルや空き時間に合わせた学習(指導)が実現できるようにすることが望まれている。   Therefore, it is desired to develop a technique for converting the instructor's instruction itself into content. Accordingly, it is desired that video and instructor content can be distributed on the Internet, and learning (instruction) that matches the learner's skill level and free time can be realized.

本技術は、このような状況に鑑みてなされたものであり、指導者の指導自体をコンテンツ化し、学習者のスキルレベルや空き時間に合わせた学習が行えるようにすることができるようにするものである。   This technology has been made in view of such a situation, and enables the instruction of the instructor itself to be converted into content so that learning can be performed in accordance with the learner's skill level and free time. It is.

本技術の一側面の情報処理装置は、ターゲットビデオを再生する再生部と、再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する生成部とを備え、前記生成部は、前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成する。   An information processing apparatus according to an aspect of the present technology includes: a reproduction unit that reproduces a target video; and a generation unit that generates a comment video of a comment added by an input person to the target video being reproduced. The unit synthesizes an image of the target video and the image of the input person, and generates the comment video obtained by synthesizing the voice of the target video and the voice of the input person.

前記入力者を撮像する撮像部と、前記入力者の音声を集音する集音部とをさらに備え、前記生成部は、前記撮像部で撮像された前記入力者の画像と、前記ターゲットビデオの画像を合成し、前記集音部で集音された前記入力者の音声と、前記ターゲットビデオの音声を合成するようにすることができる。   An imaging unit that captures the input person and a sound collection unit that collects the voice of the input person, and the generation unit includes an image of the input person captured by the imaging unit, and the target video. It is possible to synthesize an image and synthesize the voice of the input user collected by the sound collection unit and the voice of the target video.

前記ターゲットビデオの画像の一部に、前記撮像部で撮像された前記入力者の画像を表示するようにすることができる。   The image of the input person imaged by the imaging unit may be displayed on a part of the image of the target video.

前記生成部は、前記入力者が入力した画像も、前記ターゲットビデオの画像と合成するようにすることができる。   The generation unit may synthesize an image input by the input person with an image of the target video.

前記入力者の画像を表示するウィンドウの枠と、前記入力者が入力した前記画像を、同一の色で表示するようにすることができる。   The window frame for displaying the image of the input person and the image input by the input person can be displayed in the same color.

前記コメントの入力中に、前記入力者により、前記ウィンドウの枠の拡大、縮小、移動が指示された場合、その指示に基づき、前記ウィンドウの表示を更新するようにすることができる。   When the input person is instructed to enlarge, reduce, or move the frame of the window while inputting the comment, the display of the window can be updated based on the instruction.

前記コメントを入力中に、前記入力者により、前記ターゲットビデオの音量の変更が指示された場合、その指示に基づき、前記ターゲットビデオの音量を変更するようにすることができる。   When the input person is instructed to change the volume of the target video while inputting the comment, the volume of the target video can be changed based on the instruction.

前記コメントを入力中に、前記入力者により、前記ターゲットビデオの再生、停止、一時停止、巻き戻し、先送り、シークが指示された場合、その指示に基づく処理を実行するようにすることができる。   If the input person is instructed to play, stop, pause, rewind, forward, or seek the target video while inputting the comment, a process based on the instruction can be executed.

前記コメントを入力中に、前記入力者により、前記ターゲットビデオが表示されているウィンドウの拡大、縮小、移動が指示された場合、その指示に基づき、前記ウィンドウの表示を更新するようにすることができる。   While inputting the comment, when the input person gives an instruction to enlarge, reduce, or move the window in which the target video is displayed, the display of the window is updated based on the instruction. it can.

第1の入力者の画像を表示するウィンドウの枠と、第2の入力者の画像を表示するウィンドウの枠を、異なる色で表示するようにすることができる。   The window frame for displaying the image of the first input person and the frame of the window for displaying the image of the second input person can be displayed in different colors.

第1の入力者が入力した画像と、第2の入力者が入力した画像を、異なる色で表示するようにすることができる。   The image input by the first input person and the image input by the second input person can be displayed in different colors.

前記ターゲットビデオが再生されているときに、前記コメントが追加された再生時刻になった場合、前記コメントビデオの再生の開始を指示するためのボタンを表示するようにすることができる。   When the target video is being played and the playback time when the comment is added is reached, a button for instructing the start of playback of the comment video can be displayed.

前記コメントビデオが再生中に、前記ターゲットビデオの再生に戻るためのボタンを表示するようにすることができる。   While the comment video is being played back, a button for returning to playback of the target video can be displayed.

前記ターゲットビデオを再生中に、前記コメントが追加された再生時刻になった場合、前記コメントビデオの再生を開始するようにすることができる。   While the target video is being played back, the playback of the comment video may be started when the playback time when the comment is added is reached.

前記生成部は、再生されている前記コメントビデオに、入力者から追加されたコメントのコメントビデオを生成するようにすることができる。   The generating unit may generate a comment video of a comment added from an input person to the comment video being played back.

前記ターゲットビデオは、所定の人物が、所定の作業を行っている状態を撮影したビデオであるようにすることができる。   The target video may be a video of a state in which a predetermined person is performing a predetermined work.

前記ターゲットビデオは、所定の講義を受けている受講者により撮像されたビデオであり、前記入力者は、前記受講者を指導する指導者であるようにすることができる。   The target video is a video imaged by a student taking a predetermined lecture, and the input person can be an instructor for instructing the student.

本技術の一側面の情報処理方法は、ターゲットビデオを再生し、再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成するステップを含み、前記生成は、前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む。   An information processing method according to an aspect of the present technology includes a step of playing back a target video and generating a comment video of a comment added by an input person to the target video being played back, wherein the generation includes the target video And the input person's image are synthesized, and the comment video is generated by synthesizing the voice of the target video and the voice of the input person.

本技術の一側面のプログラムは、ターゲットビデオを再生し、再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成するステップを含み、前記生成は、前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む処理をコンピュータに実行させる。   A program according to an aspect of the present technology includes a step of playing back a target video and generating a comment video of a comment added from an input person to the target video being played, wherein the generation includes an image of the target video And the image of the input person are synthesized, and the computer is caused to execute a process including the step of generating the comment video by synthesizing the voice of the target video and the voice of the input person.

本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、ターゲットビデオが再生され、再生されているターゲットビデオに、入力者から追加されたコメントのコメントビデオが生成される。その生成は、ターゲットビデオの画像と入力者の画像を合成し、ターゲットビデオの音声と入力者の音声を合成したコメントビデオを生成することで行われる。   In the information processing apparatus, the information processing method, and the program according to an aspect of the present technology, a target video is reproduced, and a comment video of a comment added by an input person is generated in the reproduced target video. The generation is performed by synthesizing the target video image and the input person's image and generating a comment video by synthesizing the target video sound and the input person's voice.

なお、情報処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。   Note that the information processing apparatus may be an independent apparatus or may be an internal block constituting one apparatus.

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。   The program can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.

本技術の一側面によれば、指導者の指導自体をコンテンツ化することができ、学習者のスキルレベルや空き時間に合わせた学習が行えるようにすることができる。   According to one aspect of the present technology, the guidance of the instructor can be converted into content, and learning that matches the learner's skill level and free time can be performed.

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。   Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.

本技術を適用した一実施の形態のシステムについて説明するための図である。It is a figure for demonstrating the system of one Embodiment to which this technique is applied. 情報処理装置の構成について説明するための図である。FIG. 11 is a diagram for describing a configuration of an information processing device. コンテンツの構造について説明するための図である。It is a figure for demonstrating the structure of a content. ターゲットビデオとコメントビデオの関係について説明するための図である。It is a figure for demonstrating the relationship between a target video and a comment video. コンテンツの再生、コメントの入力に係わる処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process regarding reproduction | regeneration of a content, and the input of a comment. プレイヤー状態の更新処理について説明するためのフローチャートである。It is a flowchart for demonstrating the update process of a player state. コメント入力処理について説明するためのフローチャートである。It is a flowchart for demonstrating comment input processing. コメント入力準備処理について説明するためのフローチャートである。It is a flowchart for demonstrating comment input preparation processing. コメント入力者情報の更新処理について説明するためのフローチャートである。It is a flowchart for demonstrating the update process of comment input person information. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part. 表示部に表示される画面の一例である。It is an example of the screen displayed on a display part.

図1は、本技術を適用したシステムの一実施の形態の構成を示す図である。本技術は、所定の講座を受講し、その講座を受講した受講者が、さらなる学習を行う手助けとなるシステムに適用できる。図1に示したシステムは、介護に関する講座に係わるシステムを例示している。   FIG. 1 is a diagram illustrating a configuration of an embodiment of a system to which the present technology is applied. The present technology can be applied to a system that takes a predetermined course and helps a student who has taken the course to perform further learning. The system shown in FIG. 1 exemplifies a system related to a course related to nursing care.

図1に示したシステムは、講座を受講する受講者が、自己が実際に介護しているときの状況を撮影し、その撮影した映像に対して、指導者が指導を加えるシステムである。   The system shown in FIG. 1 is a system in which a student who takes a course takes a picture of the situation when he / she is actually caring, and the instructor gives guidance to the taken picture.

図1中の左上に示したように、まず、受講者1は、介護対象者2を介護し、その様子を、撮影者3は、情報処理装置11で撮影する。情報処理装置11は、デジタルビデオカメラ、スマートフォン、パーソナルコンピュータなどとすることができる。撮影されたビデオ0(Video0)は、サーバ51に対して送信される。サーバ51は、データベース52を備え、そのデータベース52にビデオ0が蓄積される。   As shown in the upper left in FIG. 1, first, the student 1 cares for the care recipient 2, and the photographer 3 photographs the situation with the information processing device 11. The information processing apparatus 11 can be a digital video camera, a smartphone, a personal computer, or the like. The captured video 0 (Video 0) is transmitted to the server 51. The server 51 includes a database 52 in which video 0 is stored.

データベース52には、ビデオ0の他に、ビデオ1(Video1)、ビデオ2(Video2)、ビデオ1.1(Video1.1)が、それぞれ関連付けられて蓄積されている。ビデオ1、ビデオ2、ビデオ1.1は、それぞれ、ビデオ0がアップロードされた後の時点で、ビデオ0に関連付けられて蓄積されたビデオデータである。   In the database 52, in addition to video 0, video 1 (Video 1), video 2 (Video 2), and video 1.1 (Video 1.1) are stored in association with each other. Video 1, video 2, and video 1.1 are video data stored in association with video 0 at the time after video 0 is uploaded, respectively.

データベース52(サーバ51)は、ここでは1台のコンピュータで構成されている場合を例に挙げて説明するが、複数のデータベース52に分散されていても良い。例えば、ビデオ毎に、別のデータベース52(サーバ51)で分散管理されるように構成することも可能である。   Here, the database 52 (server 51) is described as an example where it is composed of a single computer, but it may be distributed among a plurality of databases 52. For example, each video can be configured to be distributed and managed by another database 52 (server 51).

また、データベース52は、一般的なデータベース管理システム (DBMS: Database Management System) に限定されるものではなく、例えばビデオ0などは、ハードディスクなどのストレージにそのまま保存されるようにしても良い。   Further, the database 52 is not limited to a general database management system (DBMS). For example, the video 0 or the like may be stored in a storage such as a hard disk as it is.

データベース52にアップロードされたデータは、他の学習者や指導者と共有される。例えば、指導者4は、情報処理装置21でビデオ0を視聴することができる。指導者4は、ビデオ0を視聴しながら、所望とする再生位置でコメントを付ける(指導する)ことができる。このようにビデオ0に対してコメントが付けられると、ビデオ1(Video1)、ビデオ2(Video2)が生成され、データベース52にアップロードされる。   Data uploaded to the database 52 is shared with other learners and instructors. For example, the instructor 4 can view the video 0 on the information processing apparatus 21. The instructor 4 can make a comment (instruct) at a desired reproduction position while viewing the video 0. When a comment is attached to video 0 in this way, video 1 (Video 1) and video 2 (Video 2) are generated and uploaded to database 52.

このようにして指導者4によるコメントが付けられたビデオを、受講者1は情報処理装置41で視聴することができる。例えば、受講者1は、ビデオ1(コメントビデオ)を視聴し、質問などのコメントを付けることができる。このように、ビデオ1に対してコメントが付けられるとビデオ1.1(Video1.1)が生成され、データベース52にアップロードされる。   In this way, the student 1 can view the video with the comment by the instructor 4 on the information processing apparatus 41. For example, the student 1 can watch the video 1 (comment video) and attach a comment such as a question. In this way, when a comment is attached to video 1, video 1.1 (Video 1.1) is generated and uploaded to database 52.

さらに指導者4は、このビデオ1.1を視聴することができ、必要に応じて、返答(コメント)を付けることができる。   Furthermore, the instructor 4 can watch this video 1.1, and can attach a reply (comment) if necessary.

このように、受講者1や指導者4は、データベース52に蓄積されているコンテンツ(ビデオ)を視聴することができる。また視聴しているコンテンツに対してコメントを付けることができる。すなわち、受講者1は、データベース52に蓄積されているコンテンツを視聴することで、学習を行うことができ、指導者4は、データベース52に蓄積されているコンテンツを視聴し、コメントを付けることで指導を行うことができる。   Thus, the student 1 and the instructor 4 can view the content (video) stored in the database 52. In addition, comments can be attached to the content being viewed. That is, the student 1 can learn by viewing the content stored in the database 52, and the instructor 4 views the content stored in the database 52 and attaches a comment. Can provide guidance.

このように、コンテンツ(動画像)を送り合って互いのコミュニケーションをとることで、言葉や文字と同じようなコミュニケーションが実現される。   In this way, communication similar to words and characters is realized by sending contents (moving images) and communicating with each other.

なおここでは、介護を実践し、撮影されている受講者1が、コンテンツを視聴して学習する受講者である(同一人物である)として説明を続けるが、例えば、学習を行うのは、受講者1を含む介護施設に勤めている多数の人でも良い。   In this example, it is assumed that the student 1 who is taking care and is taking a picture is a student who learns by viewing the content (same person). A large number of people working in a nursing facility including the person 1 may be used.

本システムは、受講者1が実践したことに対して、コメントなどが付けられ、そのコメントなどを視聴することで、さらなる学習が行われるシステムである。またコメントは、受講者1、指導者4の両方で、それぞれ付けることができる。また複数の指導者4がそれぞれコメントを付けることも可能とされている。   This system is a system in which a comment or the like is attached to what the student 1 has practiced, and further learning is performed by viewing the comment or the like. Comments can be made by both the student 1 and the instructor 4. A plurality of instructors 4 can also make comments.

図2は、情報処理装置21の構成を示す図である。情報処理装置21において、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続されている。バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続されている。   FIG. 2 is a diagram illustrating a configuration of the information processing apparatus 21. In the information processing apparatus 21, a central processing unit (CPU) 101, a read only memory (ROM) 102, and a random access memory (RAM) 103 are connected to each other via a bus 104. An input / output interface 105 is further connected to the bus 104. An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.

入力部106は、キーボード、マウス、マイクロフォン、カメラなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア111を駆動する。   The input unit 106 includes a keyboard, a mouse, a microphone, a camera, and the like. The output unit 107 includes a display, a speaker, and the like. The storage unit 108 includes a hard disk, a nonvolatile memory, and the like. The communication unit 109 includes a network interface or the like. The drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成される情報処理装置21では、CPU101が、例えば、記憶部108に記憶されているプログラムまたは通信部109を介してサーバなどから供給されたプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行する。   In the information processing apparatus 21 configured as described above, the CPU 101 receives, for example, a program stored in the storage unit 108 or a program supplied from a server or the like via the communication unit 109, and the input / output interface 105 and the bus 104. And is loaded into the RAM 103 and executed.

情報処理装置11と情報処理装置41も、情報処理装置21と同様の構成とすることができ、ここでは、その説明を省略する。   The information processing apparatus 11 and the information processing apparatus 41 can also have the same configuration as the information processing apparatus 21, and the description thereof is omitted here.

図3は、受講者1が撮影したコンテンツ(以下、適宜、ターゲットビデオと記述する)と、そのターゲットビデオが視聴されたときに付けられたコメントのコンテンツ(以下、適宜、コメントビデオと記述する)の関係について説明するための図である。   FIG. 3 shows content captured by the student 1 (hereinafter referred to as “target video” where appropriate) and comment content attached when the target video is viewed (hereinafter referred to as “comment video” where appropriate). It is a figure for demonstrating the relationship.

コメントビデオは、ターゲットビデオの所定の再生時刻から入力された動画像である。よって、図3に示したような木構造となる。例えば、ターゲットビデオ(Video0、以下、ターゲットビデオ0とする)の再生時刻t2において付けられたコメントは、コメントビデオ(Video1、以下、コメントビデオ1とする)として生成され、ターゲットビデオ0の再生時刻t2の再生位置に関連付けられる。   The comment video is a moving image input from a predetermined playback time of the target video. Therefore, the tree structure as shown in FIG. 3 is obtained. For example, a comment added at the playback time t2 of the target video (Video 0, hereinafter referred to as target video 0) is generated as a comment video (Video 1, hereinafter referred to as comment video 1), and the playback time t2 of the target video 0 Associated with the playback position.

コメントビデオ1の所定の再生時刻に対してコメントが付けられると、そのコメントビデオ1.1は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。   When a comment is attached to a predetermined playback time of the comment video 1, the comment video 1.1 is associated with the playback time and stored in the database 52 (FIG. 1).

同様に、ターゲットビデオ0の再生時刻t1においてコメントが付けられると、そのコメントビデオ2は、再生時刻t1に関連付けられ、データベース52(図1)に蓄積される。さらに同様に、コメントビデオ2の所定の再生時刻においてコメントが付けられると、そのコメントビデオ2.1は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。   Similarly, when a comment is attached at the playback time t1 of the target video 0, the comment video 2 is associated with the playback time t1 and stored in the database 52 (FIG. 1). Further, similarly, when a comment is attached at a predetermined playback time of the comment video 2, the comment video 2.1 is associated with the playback time and stored in the database 52 (FIG. 1).

さらに同様に、コメントビデオ2.1の所定の再生時刻においてコメントが付けられると、そのコメントビデオ2.1.1は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。さらに同様に、コメントビデオ2.1の所定の再生時刻(コメントビデオ2.1.1が付けられた再生時刻とは異なる再生時刻)においてコメントが付けられると、そのコメントビデオ2.1.2は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。   Similarly, when a comment is attached at a predetermined playback time of the comment video 2.1, the comment video 2.1.1 is associated with the playback time and stored in the database 52 (FIG. 1). Similarly, when a comment is attached at a predetermined playback time of the comment video 2.1 (a playback time different from the playback time to which the comment video 2.1.1 is attached), the comment video 2.1.2 is associated with the playback time. And stored in the database 52 (FIG. 1).

このように、ターゲットビデオに対して付けられたコメントは、コメントビデオとしてターゲットビデオに対して関連付けられ、コメントビデオに対して付けられたコメントは、コメントビデオとしてコメントビデオに対して関連付けられる。   In this way, a comment attached to the target video is associated with the target video as a comment video, and a comment attached to the comment video is associated with the comment video as a comment video.

なお、図3において、コメントビデオは、同一の長さで図示してあるが、コメントの長さはそれぞれ異なり、コメントが多ければ長く、少なければ短くなる。   In FIG. 3, the comment videos are shown with the same length, but the lengths of the comments are different, and the longer the comment is, the shorter the comment is.

図4は、例えばターゲットビデオ0に対してコメントビデオ1を作成するときの処理の流れについて説明するための図である。図4において、横軸は、ターゲットビデオ0の時間軸を表し、縦軸は、コメントビデオ1の時間軸を表す。   FIG. 4 is a diagram for explaining the flow of processing when creating comment video 1 for target video 0, for example. In FIG. 4, the horizontal axis represents the time axis of the target video 0, and the vertical axis represents the time axis of the comment video 1.

ターゲットビデオ0が再生時刻0から再生時刻x2まで視聴され、再生時刻x2において、コメントの入力が開始される。コメントの入力が開始されると、コメントビデオ1の作成が開始される。コメントの入力が開始されてからも、ターゲットビデオ0の再生(PLAY)は継続される。ターゲットビデオ0が再生時刻t2から再生時刻t3まで再生されているとき、コメントの入力が継続され、コメントビデオ1の再生時刻y0から再生時刻y1までが生成される。   The target video 0 is viewed from the reproduction time 0 to the reproduction time x2, and the comment input is started at the reproduction time x2. When comment input is started, creation of comment video 1 is started. Even after the input of the comment is started, the reproduction (PLAY) of the target video 0 is continued. When the target video 0 is being played from the playback time t2 to the playback time t3, the input of the comment is continued, and the playback time y0 to the playback time y1 of the comment video 1 is generated.

ターゲットビデオ0の再生時刻x3において、ターゲットビデオ0の再生が一時停止(pause)される。ターゲットビデオ0が一時停止の状態のまま、コメントの入力は継続され、コメントビデオ1の再生時刻y1から再生時刻y2までが生成される。   At the reproduction time x3 of the target video 0, the reproduction of the target video 0 is paused. The input of the comment is continued while the target video 0 is paused, and the comment video 1 is generated from the playback time y1 to the playback time y2.

ターゲットビデオ0の再生時刻x3であり、コメントビデオ1の再生時刻y2において、ターゲットビデオ0が、再生時刻x1まで巻き戻され(rewind)、一時停止(pause)される。ターゲットビデオ0の再生時刻x1であり、コメントビデオ1の再生時刻y3において、ターゲットビデオ0は、一時停止の状態のまま、コメントの入力が継続され、コメントビデオ1の再生時刻y3から再生時刻y4までが生成される。   At the playback time x3 of the target video 0 and at the playback time y2 of the comment video 1, the target video 0 is rewound (rewind) until the playback time x1 and paused. At the playback time x1 of the target video 0 and at the playback time y3 of the comment video 1, the input of the comment is continued in the target video 0 while being paused, and from the playback time y3 of the comment video 1 to the playback time y4 Is generated.

ターゲットビデオ0の再生時刻x1であり、コメントビデオ1の再生時刻y4において、ターゲットビデオ0の一時停止の状態が解除され、再生(play)が開始される。ターゲットビデオ0が再生時刻x1から再生時刻x2まで再生されているとき、コメントの入力が継続され、コメントビデオ1の再生時刻y4から再生時刻y5までが生成される。   At the playback time x1 of the target video 0 and at the playback time y4 of the comment video 1, the pause state of the target video 0 is released and playback is started. When the target video 0 is reproduced from the reproduction time x1 to the reproduction time x2, the input of the comment is continued, and the comment video 1 from the reproduction time y4 to the reproduction time y5 is generated.

ターゲットビデオ0の再生時刻x2であり、コメントビデオ1の再生時刻y5において、コメントの入力が停止される。   At the reproduction time x2 of the target video 0 and at the reproduction time y5 of the comment video 1, the input of the comment is stopped.

このように、ターゲットビデオ0の再生を継続したまま、コメントを入力したり、ターゲットビデオ0の再生を一時停止した状態で、コメントを入力したりすることができる。また、ターゲットビデオ0を巻き戻したり、先送りしたりし、その巻き戻し再生位置や先送りした再生位置からコメントを入力することもできる。   As described above, it is possible to input a comment while continuing to reproduce the target video 0, or to input a comment while the reproduction of the target video 0 is paused. It is also possible to rewind or forward the target video 0 and input a comment from the rewind playback position or the forward playback position.

このようなターゲットビデオ0の視聴と、コメントの入力に係わる処理について図5乃至9のフローチャートを参照して説明する。コンテンツの視聴とコメントの入力はシームレスに移行するため、一連の処理として説明する。   Processing related to viewing the target video 0 and inputting a comment will be described with reference to the flowcharts of FIGS. Since content viewing and comment input are seamlessly shifted, a series of processes will be described.

図5乃至9に示したフローチャートは、指導者4がターゲットビデオ0を視聴し、コメントを入力するときに、情報処理装置21で行われる処理の一例であるとする。なお、受講者1が、ターゲットビデオ0やコメントビデオ1などを視聴し、コメントを入力するときにも同様の処理が行われる。   The flow charts shown in FIGS. 5 to 9 are examples of processing performed by the information processing apparatus 21 when the instructor 4 views the target video 0 and inputs a comment. Note that the same processing is performed when the student 1 views the target video 0, the comment video 1, and the like and inputs a comment.

ステップS101において、再生ビデオが選択される。指導者4は、データベース52に登録されている複数のターゲットビデオから、所望のターゲットビデオを選択し、視聴することができる。   In step S101, a playback video is selected. The instructor 4 can select and watch a desired target video from a plurality of target videos registered in the database 52.

ステップS102において、プレイヤーが初期化(画面の初期化やファイル読み込み等)が実行される。図10に初期化されたプレイヤーの一例(画面例)を示す。   In step S102, the player is initialized (screen initialization, file reading, etc.). FIG. 10 shows an example (screen example) of the initialized player.

情報処理装置21には、出力部107としての表示部201(ディスプレイ)が設けられている。また情報処理装置21には、マイクロフォン202とカメラ203も設けられている。表示部201には、ステップS101で選択された再生ビデオの映像が表示される。マイクロフォン202は、視聴者の声を集音する。カメラ203は、指導者4を撮像する。なお、マイクロフォン202やカメラ203は、情報処理装置21に複数設けられていても良い。   The information processing apparatus 21 is provided with a display unit 201 (display) as the output unit 107. The information processing apparatus 21 is also provided with a microphone 202 and a camera 203. The display unit 201 displays the video of the playback video selected in step S101. The microphone 202 collects the voice of the viewer. The camera 203 images the instructor 4. Note that a plurality of microphones 202 and cameras 203 may be provided in the information processing apparatus 21.

表示部201の左上は、戻るボタン211が表示されている。この戻るボタン211は、コンテンツ視聴中に元の映像に戻るときに操作されるボタンである。例えば、戻るボタン211は、コメントビデオ1が再生されているときに、ターゲットビデオ0(木構造で言うところの親)に移動するときに操作される。戻るボタン211は、コメントビデオが再生されているときに表示されるボタンである。   A return button 211 is displayed on the upper left of the display unit 201. The return button 211 is a button operated when returning to the original video while viewing content. For example, the return button 211 is operated when moving to the target video 0 (the parent in the tree structure) while the comment video 1 is being reproduced. The return button 211 is a button displayed when the comment video is being played back.

戻るボタン211の右側にはコメント視聴ボタン212が表示されている。このコメント視聴ボタン212は、その時点で視聴しているビデオの再生位置に、コメントがあるときに表示されるボタンである。図10ではコメント視聴ボタン212が表示されている例を示したが、コメントがない再生位置においては表示されない。   A comment viewing button 212 is displayed on the right side of the return button 211. This comment viewing button 212 is a button that is displayed when there is a comment at the playback position of the video currently being viewed. FIG. 10 shows an example in which the comment viewing button 212 is displayed, but the comment viewing button 212 is not displayed at the playback position where there is no comment.

表示部201の左下には、コメント入力ボタン213が表示されている。コメント入力ボタン213は、コメントを入力したいとき(コメントの入力を開始したいとき)に操作されるボタンである。またコメントの入力が開始された後、その入力を停止するときに操作されるボタンでもある。   A comment input button 213 is displayed at the lower left of the display unit 201. The comment input button 213 is a button operated when it is desired to input a comment (when it is desired to start inputting a comment). It is also a button operated when input of a comment is stopped after input is started.

コメント入力ボタン213の右側には、再生されているコンテンツの再生、停止、一時停止、巻き戻し、早送りなどの指示を出す指示部214が表示されている。   On the right side of the comment input button 213, an instruction unit 214 for giving instructions such as reproduction, stop, pause, rewind, and fast forward of the content being reproduced is displayed.

指示部214の右側には、再生されているコンテンツの再生位置(再生時刻)を変更するときに操作されるシークバー215が表示されている。また表示部201の右側には、再生されているコンテンツの音量を変更するときに操作される音量調整バー216も表示されている。   On the right side of the instruction unit 214, a seek bar 215 that is operated when changing the playback position (playback time) of the content being played back is displayed. Also displayed on the right side of the display unit 201 is a volume adjustment bar 216 operated when changing the volume of the content being played back.

なお、図10に示した画面は一例であり、限定を示すものではない。例えば、戻るボタン211は、表示部201の左上に表示されることを限定する記載ではなく、右下など、他の場所に表示されていても良い。   Note that the screen shown in FIG. 10 is an example and does not indicate limitation. For example, the return button 211 is not limited to being displayed at the upper left of the display unit 201, and may be displayed at other places such as the lower right.

ステップS102(図5)において、図10に示したような画面が指導者4に提供される。なお、初期化がされたときの画面としては、コンテンツの再生開始時にコメントがなければ、コメント視聴ボタン212は表示されていない。また初期化のときにはターゲットビデオが再生されているため、戻るボタン211は表示されていない。   In step S102 (FIG. 5), a screen as shown in FIG. Note that, when the screen is initialized, the comment viewing button 212 is not displayed if there is no comment at the start of content reproduction. Further, since the target video is being reproduced at the time of initialization, the return button 211 is not displayed.

ステップS103において、プレイヤー状態の更新処理が実行される。ステップS103におけるプレイヤー状態の更新処理について、図6に示したフローチャートを参照して説明する。   In step S103, a player state update process is executed. The player state update processing in step S103 will be described with reference to the flowchart shown in FIG.

ステップS131において、再生、停止、一時停止、早送り、または巻き戻しが指示されたか否かが判定される。すなわち、ステップS131においては、指示部214(図10)が操作されたか否かが判定される。   In step S131, it is determined whether reproduction, stop, pause, fast forward, or rewind is instructed. That is, in step S131, it is determined whether or not the instruction unit 214 (FIG. 10) has been operated.

ステップS131において、指示部214が操作されたと判定された場合、ステップS132に処理が進められる。ステップS132において、指示部214が操作されたことにより指示された内容に基づき、再生状態が変更される。例えば、指示部214が操作されることで、一時停止が指示されたと判定された場合、再生されているコンテンツの再生が一時停止される。   If it is determined in step S131 that the instruction unit 214 has been operated, the process proceeds to step S132. In step S132, the playback state is changed based on the content instructed by operating the instruction unit 214. For example, when it is determined that a pause is instructed by operating the instruction unit 214, the playback of the content being played back is paused.

ステップS132の処理が終了した場合、またはステップS131において、指示部214は操作されていないと判定された場合、ステップS133に処理が進められる。   When the process of step S132 is completed, or when it is determined in step S131 that the instruction unit 214 has not been operated, the process proceeds to step S133.

ステップS133において、シークバー215が操作されたか否かが判定される。ステップS133において、シークバー215が操作されたと判定された場合、ステップS134に処理が進められ、指示された再生時刻への変更、および変更後の再生時刻からの再生が開始される。   In step S133, it is determined whether or not the seek bar 215 has been operated. If it is determined in step S133 that the seek bar 215 has been operated, the process proceeds to step S134, and the change to the instructed reproduction time and the reproduction from the changed reproduction time are started.

ステップS134の処理が終了した場合、またはステップS133において、シークバー215は操作されていないと判定された場合、ステップS135に処理が進められる。   When the process of step S134 is completed, or when it is determined in step S133 that the seek bar 215 is not operated, the process proceeds to step S135.

ステップS135において、再生音量の変更が指示されたか否か、換言すれば音量調整バー216が操作されたか否かが判定される。ステップS135において、音量調整バー216が操作されたと判定された場合、ステップS136に処理が進められ、指示された再生音量の変更が行われる。   In step S135, it is determined whether or not an instruction to change the playback volume has been given, in other words, whether or not the volume adjustment bar 216 has been operated. If it is determined in step S135 that the volume adjustment bar 216 has been operated, the process proceeds to step S136, and the instructed reproduction volume is changed.

ステップS136の処理が終了した場合、またはステップS135において、音量調整バー216は操作されていないと判定された場合、ステップS137に処理が進められる。   When the process of step S136 is completed, or when it is determined in step S135 that the volume adjustment bar 216 is not operated, the process proceeds to step S137.

ステップS137において、視聴可能なコメントがあるか否かが判定される。すなわち、再生されているコンテンツの再生時刻(再生時間)にコメントビデオが関連付けられているか否かが判定される。   In step S137, it is determined whether there is a viewable comment. That is, it is determined whether or not the comment video is associated with the playback time (playback time) of the content being played back.

例えば、図4を再度参照するに、ターゲットビデオ0が再生されているときであり、ターゲットビデオ0の再生時刻x2(再生時刻x2から再生時刻x3の間)において、ステップS137の処理が実行された場合、視聴可能なコメントがあると判定される。   For example, referring again to FIG. 4, when the target video 0 is being played back, the process of step S137 is executed at the playback time x2 of the target video 0 (between the playback time x2 and the playback time x3). In this case, it is determined that there is a viewable comment.

ステップS137において、視聴可能なコメントがあると判定された場合、ステップS138に処理が進められる。ステップS138において、表示部201にコメント視聴ボタン212が表示される。   If it is determined in step S137 that there is a viewable comment, the process proceeds to step S138. In step S138, the comment viewing button 212 is displayed on the display unit 201.

ステップS138の処理が終了した場合、またはステップS137において、視聴可能なコメントはないと判定された場合、ステップS139に処理が進められる。   When the process of step S138 is completed, or when it is determined in step S137 that there is no viewable comment, the process proceeds to step S139.

ステップS139において、コメントビデオの再生中であるか否かが判定される。ステップS139において、コメントビデオの再生中であると判定された場合、ステップS140に処理が進められる。ステップS140において、表示部201上に戻るボタン211が表示される。   In step S139, it is determined whether or not the comment video is being reproduced. If it is determined in step S139 that the comment video is being reproduced, the process proceeds to step S140. In step S140, a return button 211 is displayed on the display unit 201.

ステップS140の処理が終了した場合、またはステップS139において、コメントビデオの再生中ではないと判定された場合、図6に示したプレイヤー状態の更新処理は終了され、ステップS104(図5)に処理が進められる。   When the process of step S140 is completed, or when it is determined in step S139 that the comment video is not being reproduced, the player state update process shown in FIG. 6 is terminated, and the process proceeds to step S104 (FIG. 5). It is advanced.

ステップS104において、コメント視聴ボタン212が操作されたか否かが判定される。ステップS104において、コメント視聴ボタン212が操作されたと判定された場合、ステップS102に処理が戻され、それ以降の処理が繰り返される。ただし、コメント視聴ボタン212が操作されたときのプレイヤーの初期化は、新しいビデオ(コメントビデオ)を選択した状態でのプレイヤーの初期化の処理となる。   In step S104, it is determined whether or not the comment viewing button 212 has been operated. If it is determined in step S104 that the comment viewing button 212 has been operated, the process returns to step S102, and the subsequent processes are repeated. However, the player initialization when the comment viewing button 212 is operated is a player initialization process in a state where a new video (comment video) is selected.

一方、ステップS104において、コメント視聴ボタン212は操作されていないと判定された場合、ステップS105に処理が進められ、戻るボタン211が操作されたか否かが判定される。   On the other hand, if it is determined in step S104 that the comment viewing button 212 has not been operated, the process proceeds to step S105, and it is determined whether or not the return button 211 has been operated.

ステップS105において、戻るボタン211が操作されたと判定された場合、ステップS102に処理が戻され、それ以降の処理が繰り返される。ただし、戻るボタン211が操作されたときのプレイヤーの初期化は、遷移前のビデオ(例えば、コメントビデオに遷移する前のビデオがターゲットビデオであった場合、ターゲットビデオ)を選択した状態でのプレイヤーの初期化の処理となる。   If it is determined in step S105 that the return button 211 has been operated, the process returns to step S102, and the subsequent processes are repeated. However, when the back button 211 is operated, the player is initialized when the video before transition (for example, the target video when the video before transition to the comment video is the target video) is selected. This is the initialization process.

一方、ステップS105において、戻るボタン211は操作されていないと判定された場合、ステップS106に処理が進められ、コメント入力ボタン213が操作されたか否かが判定される。ステップS106において、コメント入力ボタン213が操作されたと判定された場合、ステップS107に処理が進められる。   On the other hand, if it is determined in step S105 that the return button 211 has not been operated, the process proceeds to step S106 to determine whether or not the comment input button 213 has been operated. If it is determined in step S106 that the comment input button 213 has been operated, the process proceeds to step S107.

ステップS107において、コメント入力処理が実行される。ステップS107において実行されるコメント入力処理について、図7に示したフローチャートを参照して説明する。   In step S107, comment input processing is executed. The comment input process executed in step S107 will be described with reference to the flowchart shown in FIG.

ステップS161において、コメント入力準備処理が実行される。ステップS161において実行されるコメント入力準備処理について、図8に示したフローチャートを参照して説明する。   In step S161, a comment input preparation process is executed. The comment input preparation process executed in step S161 will be described with reference to the flowchart shown in FIG.

ステップS191において、表示部201に入力準備画面が表示される。図11に、入力準備画面の一例を示す。   In step S191, an input preparation screen is displayed on the display unit 201. FIG. 11 shows an example of the input preparation screen.

図11に示した入力準備画面には、カメラ203で撮像されている指導者4の映像(コメント入力者の画像)を表示するウィンドウ311が、表示部201上に表示されている。このウィンドウ311は、例えば図11に示したように、表示部201の左下の領域を初期位置とし、初期状態では、表示部201の左下の領域に表示される。このウィンドウ311は、後述するように、コメント入力者が所望とする位置に移動可能とされている。   On the input preparation screen shown in FIG. 11, a window 311 for displaying the video of the instructor 4 (image of the comment input person) captured by the camera 203 is displayed on the display unit 201. For example, as shown in FIG. 11, the window 311 is displayed in the lower left area of the display unit 201 in the initial state with the lower left area of the display unit 201 as an initial position. As will be described later, this window 311 can be moved to a position desired by the comment input person.

表示部201の下側には、OKボタン321、Cancelボタン322、および色選択パレット323を含む指示部312が表示されている。OKボタン321は、入力準備画面で設定できることを設定した後、その設定でよいときに操作されるボタンである。Cancelボタン322は、入力準備画面で設定できることを設定した後、その設定を破棄するときに操作されるボタンであり、コメントの入力の開始をキャンセルするときに操作されるボタンである。   Below the display unit 201, an instruction unit 312 including an OK button 321, a Cancel button 322, and a color selection palette 323 is displayed. The OK button 321 is a button that is operated when setting is possible after setting that it can be set on the input preparation screen. The Cancel button 322 is a button operated when canceling the setting after setting that it can be set on the input preparation screen, and is operated when canceling the start of comment input.

色選択パレット323は、ウィンドウ311の枠の色を選択する操作されるボタンである。なお、色ではなく、線種などでも良い。この色選択パレット323で選択された色は、コメントを入力した入力者を識別するための色とされ、ウィンドウ311の枠以外にも、後述する入力者が入力した画像の色などにも適用される。   The color selection palette 323 is a button that is operated to select a frame color of the window 311. Note that line types may be used instead of colors. The color selected in the color selection palette 323 is a color for identifying the input person who inputs the comment, and is applied to the color of the image input by the input person, which will be described later, in addition to the frame of the window 311. The

表示部201の右側には、音量調整ボタン313が表示されている。この音量調整ボタン313は、その時点で再生されているコンテンツ(ターゲットビデオ)の音量を調整するときに操作されるボタンである。図11に示した例では、音量調整ボタン313として、“100”、“75”、“50”、“25”、“0”といった数値が記載されたボタンが表示されている。例えば“75”との数値の音量調整ボタン313は、75%の音声に変更したいときに操作されるボタンである。   A volume adjustment button 313 is displayed on the right side of the display unit 201. The volume adjustment button 313 is a button operated when adjusting the volume of the content (target video) being played back at that time. In the example shown in FIG. 11, buttons having numerical values such as “100”, “75”, “50”, “25”, “0” are displayed as the volume adjustment button 313. For example, the volume adjustment button 313 having a numerical value of “75” is a button that is operated when it is desired to change the voice to 75%.

入力準備画面では、このように、コメント入力者を識別するための色や、再生されているコンテンツの音量を設定できる。また、コメント入力者を表示するウィンドウ311の位置も設定できる。これら入力準備画面で設定できる色、音量、ウィンドウ311の位置のうち、音量と位置は、コメント入力中にも変更可能である。   In the input preparation screen, the color for identifying the comment input person and the volume of the content being reproduced can be set in this way. In addition, the position of the window 311 for displaying the comment input person can also be set. Of the color, volume, and window 311 positions that can be set on the input preparation screen, the volume and position can be changed even during comment input.

このような入力準備画面が、ステップS191(図8)における処理で、表示部201に表示される。ステップS192において、コメント入力者が表示されているウィンドウ311の移動が指示されたか否かが判定される。   Such an input preparation screen is displayed on the display unit 201 by the processing in step S191 (FIG. 8). In step S192, it is determined whether or not an instruction to move the window 311 on which the comment input person is displayed is given.

ステップS192において、ウィンドウ311の移動が指示されたと判定された場合、ステップS193に処理が進められ、入力者画像の更新処理が実行される。すなわち、入力者が指示した位置に、ウィンドウ311が移動される。   If it is determined in step S192 that movement of the window 311 has been instructed, the process proceeds to step S193, and the update process of the input person image is executed. That is, the window 311 is moved to the position designated by the input person.

一方、ステップS192において、ウィンドウ311の移動は指示されていないと判定された場合、またはステップS193の処理が終了した場合、ステップS194に処理が進められる。ステップS194において、色が選択されたか否か、換言すれば色選択パレット323が操作されたか否かが判定される。   On the other hand, if it is determined in step S192 that the movement of the window 311 has not been instructed, or if the process of step S193 ends, the process proceeds to step S194. In step S194, it is determined whether or not a color has been selected, in other words, whether or not the color selection palette 323 has been operated.

ステップS194において、色選択パレット323が操作されたと判定された場合、ステップS195に処理が進められ、色選択パレット323で選択された色に更新される。例えばウィンドウ311の枠の色が、色選択パレット323で選択された色に変更される。   If it is determined in step S194 that the color selection palette 323 has been operated, the process proceeds to step S195, and the color selected in the color selection palette 323 is updated. For example, the frame color of the window 311 is changed to the color selected in the color selection palette 323.

一方、ステップS194において、色選択パレット323は操作されていないと判定された場合、またはステップS195の処理が終了した場合、ステップS196に処理が進められる。ステップS196において、音量が操作されたか否か、換言すれば音量調整ボタン313が操作されたか否かが判定される。   On the other hand, if it is determined in step S194 that the color selection palette 323 has not been operated, or if the process of step S195 is completed, the process proceeds to step S196. In step S196, it is determined whether or not the volume has been operated, in other words, whether or not the volume adjustment button 313 has been operated.

ステップS196において、音量調整ボタン313が操作されたと判定された場合、ステップS197に処理が進められ、音量調整ボタン313で選択された音量に更新される。   If it is determined in step S196 that the volume adjustment button 313 has been operated, the process proceeds to step S197 where the volume is updated to the volume selected by the volume adjustment button 313.

一方、ステップS196において、音量調整ボタン313は操作されていないと判定された場合、またはステップS197の処理が終了した場合、ステップS198に処理が進められる。ステップS198において、OKボタン321またはCancelボタン322が操作されたか否かが判定される。   On the other hand, if it is determined in step S196 that the volume adjustment button 313 has not been operated, or if the process of step S197 is completed, the process proceeds to step S198. In step S198, it is determined whether the OK button 321 or the Cancel button 322 has been operated.

ステップS198において、OKボタン321またはCancelボタン322が操作されたと判定されるまで、ステップS192乃至S198の処理が繰り返される。コメント入力者は、所望の色、音量、表示位置を設定することができる。   In step S198, the processes in steps S192 to S198 are repeated until it is determined that the OK button 321 or the Cancel button 322 is operated. A comment input person can set a desired color, volume, and display position.

一方、ステップS198において、OKボタン321またはCancelボタン322が操作されたと判定された場合、図8に示したフローチャートに基づくコメント入力準備処理は終了され、ステップS162(図7)に処理が進められる。   On the other hand, if it is determined in step S198 that the OK button 321 or the Cancel button 322 has been operated, the comment input preparation process based on the flowchart shown in FIG. 8 is terminated, and the process proceeds to step S162 (FIG. 7).

なお、OKボタン321が操作された場合には、その時点で設定されている色、音量、表示位置が設定され、Cancelボタン322が操作された場合、その時点で設定されている色、音量、表示位置の設定は破棄され、コメントの入力指示もキャンセルされる。   When the OK button 321 is operated, the color, volume, and display position set at that time are set, and when the Cancel button 322 is operated, the color, volume, and current time set at that time are set. The display position setting is discarded, and the comment input instruction is also cancelled.

ステップS162において、録画の開始が指示されたか否かが判定される。録画の開始が指示されたと判定された場合、ステップS163に処理が進められる。   In step S162, it is determined whether the start of recording has been instructed. If it is determined that the start of recording has been instructed, the process proceeds to step S163.

録画(コメントの入力)は、例えば、OKボタン321が操作されたときから開始される。または、図11に示した入力準備画面から、図12に示すような画面に切り替わり、コメント入力ボタン213が操作されたときから開始される。   Recording (comment input) is started, for example, when the OK button 321 is operated. Alternatively, the screen is switched from the input preparation screen shown in FIG. 11 to the screen shown in FIG. 12 and started when the comment input button 213 is operated.

図12に示した画面例を参照する。図12に示した画面は、図11に示した入力準備画面において、OKボタン321が操作された後に、入力準備画面から切り換えられた画面であり、コメント入力時の画面(以下、適宜、コメント入力画面と記述する)である。   Refer to the screen example shown in FIG. The screen shown in FIG. 12 is a screen that is switched from the input preparation screen after the OK button 321 is operated in the input preparation screen shown in FIG. 11. Is described as a screen).

図12に示したコメント入力画面は、入力準備画面において設定された位置にウィンドウ311が表示され、その時点でカメラ203により撮像されているコメント入力者の画像が、ウィンドウ311内に表示されている。   In the comment input screen shown in FIG. 12, a window 311 is displayed at a position set on the input preparation screen, and an image of a comment input person captured by the camera 203 at that time is displayed in the window 311. .

コメント入力画面に表示されているウィンドウ311は、コメント入力中(録画中)にも移動可能にされている。   The window 311 displayed on the comment input screen can be moved even during comment input (during recording).

またコメント入力画面の左下には、コメント入力ボタン213が表示され、その右側には、指示部214が表示されている。このコメント入力ボタン213と指示部214は、図10を参照して説明したように、コメントを入力するときに操作されるボタンと再生されているコンテンツに対する指示を出す領域である。   A comment input button 213 is displayed at the lower left of the comment input screen, and an instruction unit 214 is displayed at the right side thereof. As described with reference to FIG. 10, the comment input button 213 and the instruction unit 214 are areas for issuing an instruction for a button operated when inputting a comment and the content being reproduced.

コメント入力画面に、指示部214が表示されることで、図4を参照して説明したように、再生されているターゲットビデオ(コメントを付けたいビデオ)に対する操作、例えば、一時停止や巻き戻しといった指示を出すことができる。すなわち、コメント入力画面に、指示部214を表示することで、コメント入力中にも、コメントを付けるビデオに対する所望の操作を行うことができる。   Since the instruction unit 214 is displayed on the comment input screen, as described with reference to FIG. 4, operations on the target video being played (video to which a comment is to be added), for example, pause or rewind Can give instructions. That is, by displaying the instruction unit 214 on the comment input screen, it is possible to perform a desired operation on the video to which a comment is added even during comment input.

また指示部214の右側には、シークバー215も表示されており、このシークバー215も図10を参照して説明したように、再生されているコンテンツの再生位置(再生時刻)を指示するための領域である。   In addition, a seek bar 215 is also displayed on the right side of the instruction unit 214, and the seek bar 215 is also an area for instructing the reproduction position (reproduction time) of the content being reproduced as described with reference to FIG. It is.

コメント入力画面に、シークバー215が表示されることで、図4を参照して説明したように、再生されているターゲットビデオ(コメントを付けたいビデオ)に対して所望の再生位置まで戻る、または進むといった処理を、シークバー215を操作することで行うことが可能となる。   By displaying the seek bar 215 on the comment input screen, as described with reference to FIG. 4, the target video being played (video to be commented) is returned to or advanced to a desired playback position. Such processing can be performed by operating the seek bar 215.

すなわち、コメント入力画面に、シークバー215を表示することで、コメント入力中にも、コメントを付けるビデオの所望の再生位置まで簡便に移動することができる。   That is, by displaying the seek bar 215 on the comment input screen, it is possible to easily move to a desired playback position of a video to which a comment is added even during comment input.

コメント入力画面の右側には、音量調整ボタン313も表示されている。この音量調整ボタン313は、図11を参照して説明したように、再生されているコンテンツの音量を調整するためのボタンである。   A volume adjustment button 313 is also displayed on the right side of the comment input screen. The volume adjustment button 313 is a button for adjusting the volume of the content being reproduced as described with reference to FIG.

コメント入力画面に、音量調整ボタン313が表示されることで、再生されているターゲットビデオ(コメントを付けたいビデオ)の音量を所望の音量にすることができ、コメント入力中にも、入力するコメントの邪魔にならないような音量を設定することができる。   The volume adjustment button 313 is displayed on the comment input screen, so that the volume of the target video being played (the video to which a comment is to be added) can be set to a desired volume. You can set the volume so that it does not get in the way.

ところで、図12に示したコメント入力画面において、コメント入力ボタン213は、黒く表示されている。図10に示した画面を再度参照するに、図10に示した画面(コメント入力画面ではない画面)においては、コメント入力ボタン213は、黒くは表示されていない。   Incidentally, in the comment input screen shown in FIG. 12, the comment input button 213 is displayed in black. Referring back to the screen shown in FIG. 10, the comment input button 213 is not displayed in black on the screen shown in FIG. 10 (screen that is not the comment input screen).

コメント入力ボタン213が黒く表示されているときは、録画中であることを示している。コメント入力者は、コメント入力ボタン213の表示色を見ることで、録画中であるか否かを判断することができる。   When the comment input button 213 is displayed in black, it indicates that recording is in progress. The comment input person can determine whether or not recording is in progress by looking at the display color of the comment input button 213.

また、コメント入力ボタン213が黒く表示されているとき(録画中であるとき)に、コメント入力ボタン213が操作されると、録画が停止され、表示も白に戻される。   When the comment input button 213 is displayed in black (when recording), if the comment input button 213 is operated, recording is stopped and the display is returned to white.

なおここでは、黒または白といった表記を行っているが、録画中のコメント入力ボタン213の色は、黒に限定されることを示すわけではない。コメント入力ボタン213の色(表示)は、録画中であるか否かをコメント入力者に明確に認識させることができる色(表示)であればよい。   Note that although black or white is used here, it does not indicate that the color of the comment input button 213 during recording is limited to black. The color (display) of the comment input button 213 may be a color (display) that allows the comment input person to clearly recognize whether or not recording is in progress.

図7に示したフローチャートの説明に戻り、ステップS162において、録画開始が指示されたと判定された場合、ステップS163に処理が進められ、コメントの録画が開始される。録画されるのは、ターゲットビデオの画像にウィンドウ311(ウィンドウ311内に表示されているコメント入力者の画像)が合成された画像と、ターゲットビデオの音声とマイクロフォン202で集音されたコメント入力者の音声が合成された音声である。   Returning to the description of the flowchart shown in FIG. 7, when it is determined in step S162 that the start of recording has been instructed, the process proceeds to step S163 and comment recording is started. What is recorded is an image in which a window 311 (an image of a comment input person displayed in the window 311) is combined with an image of the target video, a comment input person collected by the target video sound and the microphone 202. Is a synthesized voice.

ステップS164において、プレイヤー状態の更新処理が実行される。ステップS164において実行されるプレイヤー状態の更新処理は、図6に示したフローチャートに基づき実行される。図6に示したフローチャートに基づく処理については既に説明したので、ここではその説明を省略する。   In step S164, a player state update process is executed. The player state update process executed in step S164 is executed based on the flowchart shown in FIG. Since the processing based on the flowchart shown in FIG. 6 has already been described, the description thereof is omitted here.

すなわち、コメントの入力中(録画中)においても、再生されているターゲットビデオに対して、再生、停止、一時停止、早送り、巻き戻し、再生位置の変更、音量の変更といった指示を出すことができるように構成されている。   That is, even when a comment is being input (recording), instructions such as playback, stop, pause, fast forward, rewind, change of playback position, and change of volume can be issued to the target video being played back. It is configured as follows.

なお、コメントの入力中には、ターゲットビデオが表示されているウィンドウ(ウィンドウ331とする)に対しても種々の変更を加えることが可能な構成としても良い。例えば、図13に示すように、ターゲットビデオが表示されているウィンドウ331を縮小したり、回転したりすることができるように構成しても良い。   It should be noted that it is possible to adopt a configuration in which various changes can be made to the window (referred to as window 331) in which the target video is displayed while inputting a comment. For example, as shown in FIG. 13, a window 331 in which the target video is displayed may be reduced or rotated.

コメント入力者からの、ターゲットビデオが表示されているウィンドウ331の拡大、縮小、回転、移動などの指示を受け付け、指示された更新が行われるようにしても良い。   An instruction from the comment input person such as enlargement, reduction, rotation, and movement of the window 331 in which the target video is displayed may be received and the instructed update may be performed.

ステップS165(図7)において、コメント入力者情報の更新処理が実行される。このステップS165において実行されるコメント入力者情報の更新処理について、図9に示したフローチャートを参照して説明する。   In step S165 (FIG. 7), update processing of comment input person information is executed. The comment input person information update process executed in step S165 will be described with reference to the flowchart shown in FIG.

ステップS211において、画像の移動または拡大が指示されたか否かが判定される。画像の移動とは、ウィンドウ311の移動であり、画像の拡大とはウィンドウ311の拡大のことである。ステップS211において、画像の移動または拡大が指示されたと判定された場合、ステップS212に処理が進められる。   In step S211, it is determined whether or not an instruction to move or enlarge an image is given. The movement of the image is the movement of the window 311, and the enlargement of the image is the enlargement of the window 311. If it is determined in step S211 that the movement or enlargement of the image has been instructed, the process proceeds to step S212.

ステップS212において、入力者画像(ウィンドウ311)の更新が行われる。例えば、ステップS211において、画像の移動が指示されたと判定された場合、ステップS212においては、画像(ウィンドウ311)が、指示された位置に移動される。   In step S212, the input person image (window 311) is updated. For example, if it is determined in step S211 that an image movement has been instructed, in step S212, the image (window 311) is moved to the instructed position.

例えば、図14に示すように、表示部201の左上にウィンドウ311aが表示されている状態のときに、コメント入力者が、ウィンドウ311aをドラッグし、そのまま右側に移動させた場合、所謂ドラッグアンドドロップ(drag-and-drop)を実行した場合、その移動先である領域が、新たな表示領域に設定され、ウィンドウ311bが表示される。   For example, as shown in FIG. 14, when the comment input person drags the window 311a and moves it to the right as it is when the window 311a is displayed on the upper left of the display unit 201, a so-called drag and drop is performed. When (drag-and-drop) is executed, the area that is the movement destination is set as a new display area, and the window 311b is displayed.

コメント入力者は、ウィンドウ311の背後に表示されている画像(映像)に応じて、その画像の邪魔にならないような位置に、ウィンドウ311を移動させることができる。   The comment input person can move the window 311 to a position that does not interfere with the image according to the image (video) displayed behind the window 311.

また例えば、ステップS211において、画像の拡大が指示されたと判定された場合、ステップS212においては、画像(ウィンドウ311)が、指示された大きさに拡大され、表示される。   For example, if it is determined in step S211 that an instruction to enlarge an image has been given, the image (window 311) is enlarged to the indicated size and displayed in step S212.

例えば、図12に示したように、表示部201の左上にウィンドウ311が表示されている状態のときに、コメント入力者が、ウィンドウ311をピンチアウトした場合、図15に示したように拡大されたウィンドウ311cが表示部201に表示される。   For example, as shown in FIG. 12, when the comment input person pinches out the window 311 when the window 311 is displayed on the upper left of the display unit 201, the enlarged image is displayed as shown in FIG. A window 311c is displayed on the display unit 201.

コメント入力者は、例えば、自己の動作を受講者1に見せたい(注目させたい)ときなどに、ウィンドウ311を所望の大きさに拡大することができる。なお、ここでは、拡大を例に挙げて説明したが、縮小することも勿論できる。   The comment input person can enlarge the window 311 to a desired size, for example, when he / she wants to show his / her action to the student 1 (want to pay attention). Note that, here, the enlargement has been described as an example, but it is of course possible to reduce the size.

図9に示したフローチャートの説明に戻る。ステップS211において、画像の移動や拡大は指示されていないと判定された場合、またはステップS212の処理が終了された場合、ステップS213に処理が進められる。   Returning to the description of the flowchart shown in FIG. If it is determined in step S211 that there is no instruction to move or enlarge the image, or if the process in step S212 is completed, the process proceeds to step S213.

ステップS213において、手書き入力中であるか否かが判定される。コメント入力者は、表示部201をタッチし、なぞることで図形、記号、文字など(以下、適宜、手書き画像と記述する)を入力することができる。表示部201は、タッチパネルを備え、入力部としての機能も備える。またはマウスやキーボードなどから手書き画像が入力されるようにすることも可能である。   In step S213, it is determined whether or not handwriting input is being performed. A comment input person can input figures, symbols, characters, and the like (hereinafter referred to as handwritten images as appropriate) by touching and tracing the display unit 201. The display unit 201 includes a touch panel and also functions as an input unit. Alternatively, a handwritten image can be input from a mouse or a keyboard.

ステップS213において、手書き入力中であると判定された場合、ステップS214に処理が進められる。ステップS214において、手書き画像の更新が行われる。例えば、図16に示すように、コメント入力者の指で、表示部201(表示部201に装着されているタッチパネル)上がなぞられることで、手書き画像Dを入力される。   If it is determined in step S213 that handwriting is being input, the process proceeds to step S214. In step S214, the handwritten image is updated. For example, as shown in FIG. 16, the handwritten image D is input by tracing the display unit 201 (touch panel attached to the display unit 201) with the finger of the comment input person.

コメント入力者により入力された手書き画像351Dの色と、ウィンドウ311Dの枠の色は、同一の色とされる。この色は、図11を参照して説明したように、色選択パレット323を用いて選択された色である。   The color of the handwritten image 351D input by the comment input person and the color of the frame of the window 311D are the same color. This color is the color selected using the color selection palette 323 as described with reference to FIG.

例えば、このようにしてコメントが入力されたコンテンツビデオを、視聴し、さらにコメント(追加コメントと記述する)を付けることができる。また、その追加コメントを付ける追加コメント入力者も、手書き画像を追加することができる。よって、この追加コメント入力者の手書き画像と、先にコメントを付けたコメント入力者の手書き画像を識別することができるように、手書き画像が異なる色で表示されるようにする。   For example, a content video in which a comment is input in this way can be viewed and a comment (described as an additional comment) can be added. Moreover, the additional comment input person who attaches the additional comment can also add a handwritten image. Therefore, the handwritten image is displayed in a different color so that the handwritten image of the additional comment input person and the handwritten image of the comment input person who previously added the comment can be identified.

例えば、図17に示したように、先にコメントを付けたコメント入力者が表示されているウィンドウ311Dの枠の色と、そのコメント入力者が手書き入力した手書き画像351Dは、同一の色で表示される。   For example, as shown in FIG. 17, the color of the frame of the window 311D in which the comment input person who made a comment is displayed and the handwritten image 351D handwritten by the comment input person are displayed in the same color. Is done.

また、後にコメントを付けた追加コメント入力者が表示されているウィンドウ311Eの枠の色と、その追加コメント入力者が手書き入力した手書き画像351Eは、同一の色で表示される。   Further, the color of the frame of the window 311E in which an additional comment input person who added a comment later is displayed and the handwritten image 351E handwritten by the additional comment input person are displayed in the same color.

ウィンドウ311Dの枠の色と、ウィンドウ311Eの枠の色は異なる色で表示される。また、手書き画像351Dと手書き画像351Eは、異なる色で表示される。なお、図17では、異なる色ではなく、異なる線種(一方を破線、他方を実線)で示している。図17に示したように、異なる色ではなく、異なる線種が用いられるようにしても良い。   The frame color of the window 311D and the frame color of the window 311E are displayed in different colors. The handwritten image 351D and the handwritten image 351E are displayed in different colors. In FIG. 17, different line types (one broken line and the other solid line) are shown instead of different colors. As shown in FIG. 17, different line types may be used instead of different colors.

このように、異なるコメント入力者毎にウィンドウ311の色(線種など)と手書き画像351の色(線種など)を変えることで、また、同一のコメント入力者のウィンドウ311の色(線種など)と手書き画像351の色(線種など)を同一とすることで、どのコメント入力者が入力した手書き画像351であるかを、視聴者に明確に示すことが可能となる。   In this way, by changing the color (line type, etc.) of the window 311 and the color (line type, etc.) of the handwritten image 351 for each different comment input person, the color (line type) of the window 311 of the same comment input person is also obtained. Etc.) and the color (line type, etc.) of the handwritten image 351 can be clearly shown to the viewer which comment input person is the handwritten image 351 input.

なお、手書き画像351が入力されていないときには、図18に示したような画面が視聴者(追加コメント入力者)に提供されている。図18を参照するに、表示部201には、左上に先にコメントを付けたコメント入力者の画像が表示されるウィンドウ311Dが表示され、その隣に、後でコメントを追加した追加コメント入力者の画像が表示されるウィンドウ311Eが表示されている。このウィンドウ311Dの枠の色と、ウィンドウ311Eの枠の色は異なる色とされている。   When the handwritten image 351 is not input, a screen as shown in FIG. 18 is provided to the viewer (additional comment input person). Referring to FIG. 18, the display unit 201 displays a window 311 </ b> D in which an image of a comment input person who previously added a comment is displayed in the upper left, and an additional comment input person who added a comment later is displayed next to the window 311 </ b> D. A window 311E for displaying the image of is displayed. The frame color of the window 311D and the frame color of the window 311E are different from each other.

さらにコメントを追加するコメント入力者がいた場合、そのコメント入力者の画像が表示されるウィンドウ311の枠の色は、先に表示されているウィンドウ311の色とは異なる色とされる。   Further, when there is a comment input person who adds a comment, the color of the frame of the window 311 in which the image of the comment input person is displayed is different from the color of the window 311 displayed previously.

このようなことを実現するために、図11に示した入力準備画面の色選択パレット323には、既に選択されている色は表示されない。また、このように、ウィンドウ311の枠の色は、コメント入力者を識別する機能を有するため、入力準備画面で選択された後、すなわちコメントを入力しているときに変更することはできないようにされている。   In order to realize this, the color already selected is not displayed in the color selection palette 323 of the input preparation screen shown in FIG. As described above, since the frame color of the window 311 has a function of identifying a comment input person, it cannot be changed after being selected on the input preparation screen, that is, when a comment is being input. Has been.

図9に示したフローチャートの説明に戻り、ステップS213において、手書き入力中ではないと判定された場合、またはステップS214における処理が終了した場合、図9に示したコメント入力者情報の更新処理は終了され、処理は、ステップS167(図7)に進められる。   Returning to the description of the flowchart shown in FIG. 9, if it is determined in step S213 that handwriting input is not being performed, or if the process in step S214 is completed, the comment input person information update process shown in FIG. Then, the process proceeds to step S167 (FIG. 7).

ステップS167において、録画の終了が指示されたか否かが判定される。録画の終了は、コメント入力ボタン213が操作されることで指示される。ステップS167において、録画の終了は指示されていないと判定された場合、換言すれば、コメント入力ボタン213は操作されていないと判定された場合、ステップS164に処理が戻され、それ以降の処理が繰り返される。   In step S167, it is determined whether or not the end of recording has been instructed. The end of recording is instructed by operating the comment input button 213. In step S167, if it is determined that the end of recording is not instructed, in other words, if it is determined that the comment input button 213 is not operated, the process returns to step S164, and the subsequent processes are performed. Repeated.

一方、ステップS167において、録画の終了が指示されたと判定された場合、ステップS168に処理が進められ、録画が終了される。そして処理は、ステップS169に進められ、コメントの登録が指示されたか否かが判定される。   On the other hand, if it is determined in step S167 that the end of recording has been instructed, the process proceeds to step S168, and the recording ends. Then, the process proceeds to step S169, and it is determined whether or not comment registration is instructed.

例えば、表示部201に、“コメントを登録しますか?”といったメッセージを表示し、登録ボタンとキャンセルボタンを合わせて表示し、コメント入力者が、コメントを登録するか否かの指示を出せる仕組みを設ける。そして、登録ボタンが操作された場合、コメントの登録が指示されたと判定されるようにすることができる。   For example, a message such as “Do you want to register a comment?” Is displayed on the display unit 201, a registration button and a cancel button are displayed together, and the comment input person can issue an instruction as to whether or not to register a comment. Is provided. When the registration button is operated, it can be determined that the comment registration is instructed.

ステップS169において、コメントを登録しないと判定された場合、ステップS170に処理が進められ、この処理の前の時点で録画されていたコメント(作成されたコメントビデオ)は、破棄される。   If it is determined in step S169 that the comment is not registered, the process proceeds to step S170, and the comment (created comment video) recorded at the time before this process is discarded.

一方、ステップS169において、コメントを登録すると判定された場合、ステップS171に処理が進められ、この処理の前の時点で録画されていたコメント(作成されたコメントビデオ)は、保存される。例えば、データベース52にアップロードされる。   On the other hand, if it is determined in step S169 that a comment is to be registered, the process proceeds to step S171, and the comment (created comment video) recorded at the time before this process is saved. For example, it is uploaded to the database 52.

このようにして、作成されたコメントビデオが登録または破棄されると、図7に示したフローチャートにおけるコメント入力処理は終了され、処理は、ステップS108(図5)に進められる。   When the comment video thus created is registered or discarded, the comment input process in the flowchart shown in FIG. 7 is terminated, and the process proceeds to step S108 (FIG. 5).

ステップS108において、再生は終了か否かが判定される。このステップS108における処理は、視聴者(コメント入力者)により映像の再生の停止が指示されたか否かの判定である。例えば、指示部214(図10)内の停止ボタンが操作されることで、映像の再生の停止は指示される。   In step S108, it is determined whether or not the reproduction is finished. The process in step S108 is a determination as to whether or not the viewer (comment input person) has instructed stop of the video reproduction. For example, when a stop button in the instruction unit 214 (FIG. 10) is operated, an instruction to stop video playback is given.

また、ステップS108における処理は、再生しているビデオを再度まで再生したか否かの判定も行う。ステップS108において、再生は終了ではないと判定された場合、ステップS103に処理は戻され、それ以降の処理が繰り返される。   The process in step S108 also determines whether or not the video being played has been played again. If it is determined in step S108 that the reproduction is not finished, the process returns to step S103, and the subsequent processes are repeated.

一方、ステップS108において、再生は終了である判定された場合、ステップS109に処理が進められ、映像の再生が停止される。   On the other hand, if it is determined in step S108 that the reproduction has ended, the process proceeds to step S109, and the reproduction of the video is stopped.

ステップS110において、コメントビデオの視聴であったか否かが判定される。ステップS110において、コメントビデオの視聴であったと判定された場合、ステップS102に処理が戻され、それ以降の処理が実行される。この場合、コメントビデオの再生が停止された後であるため、コメントビデオに遷移する前のビデオ、例えば、ターゲットビデオが選択された状態で、プレイヤーの初期化が行われる。   In step S110, it is determined whether or not the comment video has been viewed. If it is determined in step S110 that the comment video has been viewed, the process returns to step S102, and the subsequent processes are executed. In this case, since the playback of the comment video is stopped, the player is initialized with the video before the transition to the comment video, for example, the target video selected.

一方、ステップS110において、コメントビデオの視聴ではないと判定された場合、換言すれば、戻るビデオがない場合、コンテンツの再生は終了される。   On the other hand, if it is determined in step S110 that the comment video is not viewed, in other words, if there is no video to return, the reproduction of the content is terminated.

このように、本技術によると、所定のコンテンツ(ターゲットビデオ)を視聴しながら、コメントを付けることができる。また再生時には、コメントが付けられたコンテンツを、コメントと合わせて視聴することができる。   As described above, according to the present technology, it is possible to add a comment while viewing predetermined content (target video). Also, during playback, the content with a comment can be viewed together with the comment.

上記した実施の形態においては、コメントが付けられている再生位置が再生されているときには、コメント視聴ボタン212が表示され、そのコメント視聴ボタン212が操作されたときに、コメントが再生されるとしたが、このような視聴者からの指示を必要とせずに、コメントが再生されるようにしても良い。   In the above-described embodiment, the comment viewing button 212 is displayed when the playback position to which a comment is attached is being played back, and the comment is played back when the comment viewing button 212 is operated. However, the comment may be reproduced without requiring an instruction from the viewer.

すなわち、コメントが付けられている再生位置に来た時点で、その付けられているコメントが再生されるようにしても良い。   In other words, when a comment is attached to the playback position, the attached comment may be played back.

このように、本技術によれば、受講者1が実際に行った処理、上記した例では、介護に対して、指導者4からの指導(コメント)が加えられるため、個々の受講者1に合ったコンテンツを提供できる。個々の受講者1に合ったコンテンツで学習を行うことで、受講者1の修得度を上げることが可能となる。   In this way, according to the present technology, since the instruction (comment) from the instructor 4 is added to the processing actually performed by the student 1, in the above-described example, care is provided to each individual student 1. Can provide suitable content. It is possible to increase the level of acquisition of the student 1 by performing learning with contents suitable for the individual student 1.

またコンテンツの視聴は、受講者1の都合の良いときに行えるため、また複数回視聴することができるため、時間や場所に制約を受けずに自由に学習を行うことができ、この点からも受講者1の修得度を上げることが可能となる。   In addition, since the content can be viewed at the convenience of the student 1 and can be viewed multiple times, learning can be performed freely without any restrictions on time and place. It becomes possible to raise the acquisition level of the student 1.

また受講者1からも、質問などのコメントを加えることが可能なため、またその質問に対する返答を指導者4はさらに加えることが可能とされている。すなわち受講者1と指導者4との間で、動画像を送り合うことができ、コミュニケーションをとることが可能なシステムを提供することができる。   In addition, since it is possible to add a comment such as a question from the student 1, the instructor 4 can further add a response to the question. That is, it is possible to provide a system that can transmit moving images between the student 1 and the instructor 4 and can communicate with each other.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。   In addition, the effect described in this specification is an illustration to the last, and is not limited, Moreover, there may exist another effect.

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.

11,21,41 情報処理装置, 201 表示部, 202 マイクロフォン, 203 カメラ, 211 戻るボタン, 212 コメント視聴ボタン, 213 コメント入力ボタン, 214 指示部, 215 シークバー, 216 音量調整バー, 311 ウィンドウ, 312 指示部, 313 音量調整ボタン   11, 21, 41 Information processing apparatus, 201 display unit, 202 microphone, 203 camera, 211 return button, 212 comment viewing button, 213 comment input button, 214 instruction unit, 215 seek bar, 216 volume adjustment bar, 311 window, 312 instruction , 313 Volume adjustment button

Claims (19)

ターゲットビデオを再生する再生部と、
再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する生成部と
を備え、
前記生成部は、
前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成する
情報処理装置。
A playback unit for playing back the target video;
A generator for generating a comment video of a comment added by an input person on the target video being played back,
The generator is
An information processing apparatus that synthesizes an image of the target video and an image of the input person, and generates the comment video obtained by synthesizing the voice of the target video and the voice of the input person.
前記入力者を撮像する撮像部と、
前記入力者の音声を集音する集音部と
をさらに備え、
前記生成部は、前記撮像部で撮像された前記入力者の画像と、前記ターゲットビデオの画像を合成し、前記集音部で集音された前記入力者の音声と、前記ターゲットビデオの音声を合成する
請求項1に記載の情報処理装置。
An imaging unit for imaging the input person;
A sound collecting unit for collecting the voice of the input person,
The generating unit synthesizes the image of the input person captured by the imaging unit and the image of the target video, and combines the sound of the input person collected by the sound collecting unit and the sound of the target video. The information processing apparatus according to claim 1.
前記ターゲットビデオの画像の一部に、前記撮像部で撮像された前記入力者の画像を表示する
請求項2に記載の情報処理装置。
The information processing apparatus according to claim 2, wherein the image of the input person captured by the imaging unit is displayed on a part of the image of the target video.
前記生成部は、前記入力者が入力した画像も、前記ターゲットビデオの画像と合成する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the generation unit combines an image input by the input person with an image of the target video.
前記入力者の画像を表示するウィンドウの枠と、前記入力者が入力した前記画像を、同一の色で表示する
請求項4に記載の情報処理装置。
The information processing apparatus according to claim 4, wherein a frame of a window that displays the image of the input person and the image input by the input person are displayed in the same color.
前記コメントの入力中に、前記入力者により、前記ウィンドウの枠の拡大、縮小、移動が指示された場合、その指示に基づき、前記ウィンドウの表示を更新する
請求項5に記載の情報処理装置。
6. The information processing apparatus according to claim 5, wherein when the input person gives an instruction to enlarge, reduce, or move the frame of the window while the comment is being input, the display of the window is updated based on the instruction.
前記コメントを入力中に、前記入力者により、前記ターゲットビデオの音量の変更が指示された場合、その指示に基づき、前記ターゲットビデオの音量を変更する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein when the input person is instructed to change the volume of the target video while inputting the comment, the volume of the target video is changed based on the instruction.
前記コメントを入力中に、前記入力者により、前記ターゲットビデオの再生、停止、一時停止、巻き戻し、先送り、シークが指示された場合、その指示に基づく処理を実行する
請求項1に記載の情報処理装置。
2. The information according to claim 1, wherein when the input person instructs to play, stop, pause, rewind, forward, or seek the target video while inputting the comment, the processing based on the instruction is executed. Processing equipment.
前記コメントを入力中に、前記入力者により、前記ターゲットビデオが表示されているウィンドウの拡大、縮小、移動が指示された場合、その指示に基づき、前記ウィンドウの表示を更新する
請求項1に記載の情報処理装置。
The display of the window is updated based on the instruction when the input person is instructed to enlarge, reduce, or move the window in which the target video is displayed while inputting the comment. Information processing device.
第1の入力者の画像を表示するウィンドウの枠と、第2の入力者の画像を表示するウィンドウの枠を、異なる色で表示する
請求項5に記載の情報処理装置。
The information processing apparatus according to claim 5, wherein a frame of a window that displays an image of the first input person and a frame of a window that displays the image of the second input person are displayed in different colors.
第1の入力者が入力した画像と、第2の入力者が入力した画像を、異なる色で表示する
請求項4に記載の情報処理装置。
The information processing apparatus according to claim 4, wherein the image input by the first input person and the image input by the second input person are displayed in different colors.
前記ターゲットビデオが再生されているときに、前記コメントが追加された再生時刻になった場合、前記コメントビデオの再生の開始を指示するためのボタンを表示する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein a button for instructing start of playback of the comment video is displayed when the playback time at which the comment is added is reached while the target video is being played back.
前記コメントビデオが再生中に、前記ターゲットビデオの再生に戻るためのボタンを表示する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein a button for returning to playback of the target video is displayed during playback of the comment video.
前記ターゲットビデオを再生中に、前記コメントが追加された再生時刻になった場合、前記コメントビデオの再生を開始する
請求項1に記載の情報処理装置。
2. The information processing apparatus according to claim 1, wherein, when the playback time when the comment is added is reached during playback of the target video, playback of the comment video is started.
前記生成部は、再生されている前記コメントビデオに、入力者から追加されたコメントのコメントビデオを生成する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the generation unit generates a comment video of a comment added from an input person to the comment video being played back.
前記ターゲットビデオは、所定の人物が、所定の作業を行っている状態を撮影したビデオである
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the target video is a video of a state in which a predetermined person is performing a predetermined work.
前記ターゲットビデオは、所定の講義を受けている受講者により撮像されたビデオであり、
前記入力者は、前記受講者を指導する指導者である
請求項1に記載の情報処理装置。
The target video is a video taken by a student taking a predetermined lecture,
The information processing apparatus according to claim 1, wherein the input person is a leader who teaches the student.
ターゲットビデオを再生し、
再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する
ステップを含み、
前記生成は、
前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む
情報処理方法。
Play the target video,
Generating a comment video of comments added from the input person to the target video being played,
The generation is
An information processing method comprising the steps of: synthesizing an image of the target video and an image of the input person, and generating the comment video by synthesizing the audio of the target video and the voice of the input person.
ターゲットビデオを再生し、
再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する
ステップを含み、
前記生成は、
前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む
処理をコンピュータに実行させるためのプログラム。
Play the target video,
Generating a comment video of comments added from the input person to the target video being played,
The generation is
The program for making a computer perform the process including the step which synthesize | combines the image of the said target video, and the image of the said input person, and produces | generates the said comment video which synthesize | combined the audio | voice of the said target video and the said input person.
JP2016111563A 2016-06-03 2016-06-03 Information processing equipment, information processing methods, and programs Active JP6818310B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016111563A JP6818310B2 (en) 2016-06-03 2016-06-03 Information processing equipment, information processing methods, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016111563A JP6818310B2 (en) 2016-06-03 2016-06-03 Information processing equipment, information processing methods, and programs

Publications (2)

Publication Number Publication Date
JP2017219573A true JP2017219573A (en) 2017-12-14
JP6818310B2 JP6818310B2 (en) 2021-01-20

Family

ID=60656033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016111563A Active JP6818310B2 (en) 2016-06-03 2016-06-03 Information processing equipment, information processing methods, and programs

Country Status (1)

Country Link
JP (1) JP6818310B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019205163A (en) * 2018-05-22 2019-11-28 東光電気工事株式会社 Image processing apparatus, program, and image processing method
WO2021004362A1 (en) * 2019-07-10 2021-01-14 阿里巴巴集团控股有限公司 Audio data processing method and apparatus, and electronic device
TWI741550B (en) * 2020-03-31 2021-10-01 國立雲林科技大學 Method for bookmark frame generation, and video player device with automatic generation of bookmark and user interface thereof
KR102347173B1 (en) * 2021-06-02 2022-01-03 재단법인 사랑글로벌아카데미 System and method for creating customized gospel content and method for sharing customized gospel content using the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003164669A (en) * 2001-11-29 2003-06-10 Konami Computer Entertainment Yokyo Inc Network game system, game apparatus and program
JP2005070532A (en) * 2003-08-26 2005-03-17 Hitachi Ltd Remote interactive educational system
JP2006023506A (en) * 2004-07-07 2006-01-26 Tokai Univ Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program
JP2007274090A (en) * 2006-03-30 2007-10-18 Toshiba Corp Content reproducing apparatus, method, and program
JP2014158620A (en) * 2013-02-20 2014-09-04 Square Enix Co Ltd Game system, control method, program, and recording medium
WO2014189812A2 (en) * 2013-05-20 2014-11-27 Microsoft Corporation Ink to text representation conversion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003164669A (en) * 2001-11-29 2003-06-10 Konami Computer Entertainment Yokyo Inc Network game system, game apparatus and program
JP2005070532A (en) * 2003-08-26 2005-03-17 Hitachi Ltd Remote interactive educational system
JP2006023506A (en) * 2004-07-07 2006-01-26 Tokai Univ Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program
JP2007274090A (en) * 2006-03-30 2007-10-18 Toshiba Corp Content reproducing apparatus, method, and program
JP2014158620A (en) * 2013-02-20 2014-09-04 Square Enix Co Ltd Game system, control method, program, and recording medium
WO2014189812A2 (en) * 2013-05-20 2014-11-27 Microsoft Corporation Ink to text representation conversion

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"[2015年6月6日・巨人×ソフトバンク] 川島慶三選手の2度に渡る見事なカットプレー・赤星氏解説", YOUTUBE [ONLINE] [VIDEO], JPN7020001677, 27 August 2015 (2015-08-27), ISSN: 0004290403 *
"使い方講座 iMovie version 10.0.4 動画の合成(ワイプ・重ね・両表示)", YOUTUBE [ONLINE] [VIDEO], JPN7019001875, 17 July 2014 (2014-07-17), ISSN: 0004053912 *
こんなに簡単なの!?「IMOVIE」で誰にでもできる「動画編集」おしえます!, JPN6019021801, ISSN: 0004206546 *
動画・写真・音声合成アプリ「MAGICWAN」IOS版、APP STOREで提供開始, JPN6019021794, ISSN: 0004053913 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019205163A (en) * 2018-05-22 2019-11-28 東光電気工事株式会社 Image processing apparatus, program, and image processing method
WO2021004362A1 (en) * 2019-07-10 2021-01-14 阿里巴巴集团控股有限公司 Audio data processing method and apparatus, and electronic device
CN112287129A (en) * 2019-07-10 2021-01-29 阿里巴巴集团控股有限公司 Audio data processing method and device and electronic equipment
TWI741550B (en) * 2020-03-31 2021-10-01 國立雲林科技大學 Method for bookmark frame generation, and video player device with automatic generation of bookmark and user interface thereof
KR102347173B1 (en) * 2021-06-02 2022-01-03 재단법인 사랑글로벌아카데미 System and method for creating customized gospel content and method for sharing customized gospel content using the same

Also Published As

Publication number Publication date
JP6818310B2 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
JP6818310B2 (en) Information processing equipment, information processing methods, and programs
JP2014082582A (en) Viewing device, content provision device, viewing program, and content provision program
JP6295494B2 (en) Terminal device, comment distribution system, and program
CN109151565A (en) Play method, apparatus, electronic equipment and the storage medium of voice
KR100901111B1 (en) Live-Image Providing System Using Contents of 3D Virtual Space
TW202341038A (en) Computer-readable storage medium, terminal, and server
JP2021006894A (en) Content distribution server, content generation device, education terminal, content distribution program and education program
Bulut Digital performance: The use of new media technologies in the performing arts
KR20200028830A (en) Real-time computer graphics video broadcasting service system
CN114846808B (en) Content distribution system, content distribution method, and storage medium
CN109872400B (en) Panoramic virtual reality scene generation method
JP2008032787A (en) Language learning system and program for language learning system
Mulvany Because the Night-Immersive Theatre for Digital Audiences: Mapping the affordances of immersive theatre to digital interactions using game engines
JP2017199058A (en) Recognition device, image content presentation system, program
KR20170085781A (en) System for providing and booking virtual reality video based on wire and wireless communication network
JP2021005058A (en) Remote education system
WO2023130715A1 (en) Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
JP5777233B1 (en) Movie generation apparatus and movie generation method
US20240236401A9 (en) Terminal and non-transitory computer-readable medium
US20240137599A1 (en) Terminal and non-transitory computer-readable medium
JP5509287B2 (en) Reproduction display device, reproduction display program, reproduction display method, and image processing server
JP7497002B1 (en) Systems and methods for streaming - Patents.com
WO2024142674A1 (en) Content generation device, content generation method, program, and recording medium
WO2022176633A1 (en) Video editing device, video editing method, and computer program
KR101816446B1 (en) Image processing system for processing 3d contents displyed on the flat display and applied telepresence, and method of the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20180220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190422

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200427

C876 Explanation why request for accelerated appeal examination is justified

Free format text: JAPANESE INTERMEDIATE CODE: C876

Effective date: 20200427

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200518

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200519

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200626

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200630

C305 Report on accelerated appeal examination

Free format text: JAPANESE INTERMEDIATE CODE: C305

Effective date: 20200706

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200707

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200818

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200929

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20201109

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201117

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201215

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201218

R150 Certificate of patent or registration of utility model

Ref document number: 6818310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250