JP2017219573A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2017219573A JP2017219573A JP2016111563A JP2016111563A JP2017219573A JP 2017219573 A JP2017219573 A JP 2017219573A JP 2016111563 A JP2016111563 A JP 2016111563A JP 2016111563 A JP2016111563 A JP 2016111563A JP 2017219573 A JP2017219573 A JP 2017219573A
- Authority
- JP
- Japan
- Prior art keywords
- comment
- video
- target video
- input person
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 45
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 15
- 239000002131 composite material Substances 0.000 abstract 1
- 238000002360 preparation method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、所定の講座を受講している受講者が、受講内容をより理解し、習得できる手助けを行うのに適した情報処理装置、情報処理方法、並びにプログラムに関する。 The present technology relates to an information processing apparatus, an information processing method, and a program. Specifically, the present invention relates to an information processing apparatus, an information processing method, and a program suitable for helping a student who has attended a predetermined course to understand and learn the contents of the attendance.
文化伝統や工業、スポーツ、幼児教育、高齢者ケアなど、現場でのコーチングやOJT (On-the-Job Training) が主たる教育方法となる分野では、現場外での教育に現場の映像が用いられることが多い。 In fields where coaching on-site and on-the-job training (OJT) are the primary educational methods, such as cultural traditions, industry, sports, early childhood education, and elderly care, on-site images are used for off-site education. There are many cases.
非特許文献1には、スポーツ指導における競技映像の活用について、競技後すぐに視聴できる即時性の重要性と、映像に対して細かいメタ情報(技の情報、時間情報など)を付与することの有効性についての記載がある。
非特許文献2には、放送番組とスマートフォンやタブレットなどの携帯端末が連動し実現できるコンテンツ化技術やサービスについての記載があり、メインスクリーン(例えば、テレビジョン受像機)とセカンダリスクリーン(例えば、携帯端末)を駆使することが想定されている。 Non-Patent Document 2 describes content technology and services that can be realized in conjunction with broadcast programs and mobile terminals such as smartphones and tablets, and includes a main screen (for example, a television receiver) and a secondary screen (for example, a mobile phone). (Terminal) is assumed.
上記した映像には、現場の状況や登場人物の動きは記録されるが、登場人物が何に意識を払い、状況をどのように評価し行動を意図したかまでは記録されない。また指導者(熟練者)が、映像を一緒に見ながら学習者のスキルに合わせ、適切な解説で情報を補うことで、高い学習効果が得られるが、指導機会が制限されることから大規模に効率よく教育できていない。 In the above-mentioned video, the situation at the scene and the movement of the characters are recorded, but it is not recorded until the characters pay attention to what the characters are aware of, how the situation is evaluated, and the behavior is intended. Instructors (experts) can achieve high learning effects by matching the learner's skills while watching the video together, and supplementing the information with appropriate explanations. Are not educated efficiently.
そこで、指導者の指導自体をコンテンツ化する技術を開発することが望まれている。これにより、映像と指導者コンテンツをインターネットで配信でき、学習者のスキルレベルや空き時間に合わせた学習(指導)が実現できるようにすることが望まれている。 Therefore, it is desired to develop a technique for converting the instructor's instruction itself into content. Accordingly, it is desired that video and instructor content can be distributed on the Internet, and learning (instruction) that matches the learner's skill level and free time can be realized.
本技術は、このような状況に鑑みてなされたものであり、指導者の指導自体をコンテンツ化し、学習者のスキルレベルや空き時間に合わせた学習が行えるようにすることができるようにするものである。 This technology has been made in view of such a situation, and enables the instruction of the instructor itself to be converted into content so that learning can be performed in accordance with the learner's skill level and free time. It is.
本技術の一側面の情報処理装置は、ターゲットビデオを再生する再生部と、再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する生成部とを備え、前記生成部は、前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成する。 An information processing apparatus according to an aspect of the present technology includes: a reproduction unit that reproduces a target video; and a generation unit that generates a comment video of a comment added by an input person to the target video being reproduced. The unit synthesizes an image of the target video and the image of the input person, and generates the comment video obtained by synthesizing the voice of the target video and the voice of the input person.
前記入力者を撮像する撮像部と、前記入力者の音声を集音する集音部とをさらに備え、前記生成部は、前記撮像部で撮像された前記入力者の画像と、前記ターゲットビデオの画像を合成し、前記集音部で集音された前記入力者の音声と、前記ターゲットビデオの音声を合成するようにすることができる。 An imaging unit that captures the input person and a sound collection unit that collects the voice of the input person, and the generation unit includes an image of the input person captured by the imaging unit, and the target video. It is possible to synthesize an image and synthesize the voice of the input user collected by the sound collection unit and the voice of the target video.
前記ターゲットビデオの画像の一部に、前記撮像部で撮像された前記入力者の画像を表示するようにすることができる。 The image of the input person imaged by the imaging unit may be displayed on a part of the image of the target video.
前記生成部は、前記入力者が入力した画像も、前記ターゲットビデオの画像と合成するようにすることができる。 The generation unit may synthesize an image input by the input person with an image of the target video.
前記入力者の画像を表示するウィンドウの枠と、前記入力者が入力した前記画像を、同一の色で表示するようにすることができる。 The window frame for displaying the image of the input person and the image input by the input person can be displayed in the same color.
前記コメントの入力中に、前記入力者により、前記ウィンドウの枠の拡大、縮小、移動が指示された場合、その指示に基づき、前記ウィンドウの表示を更新するようにすることができる。 When the input person is instructed to enlarge, reduce, or move the frame of the window while inputting the comment, the display of the window can be updated based on the instruction.
前記コメントを入力中に、前記入力者により、前記ターゲットビデオの音量の変更が指示された場合、その指示に基づき、前記ターゲットビデオの音量を変更するようにすることができる。 When the input person is instructed to change the volume of the target video while inputting the comment, the volume of the target video can be changed based on the instruction.
前記コメントを入力中に、前記入力者により、前記ターゲットビデオの再生、停止、一時停止、巻き戻し、先送り、シークが指示された場合、その指示に基づく処理を実行するようにすることができる。 If the input person is instructed to play, stop, pause, rewind, forward, or seek the target video while inputting the comment, a process based on the instruction can be executed.
前記コメントを入力中に、前記入力者により、前記ターゲットビデオが表示されているウィンドウの拡大、縮小、移動が指示された場合、その指示に基づき、前記ウィンドウの表示を更新するようにすることができる。 While inputting the comment, when the input person gives an instruction to enlarge, reduce, or move the window in which the target video is displayed, the display of the window is updated based on the instruction. it can.
第1の入力者の画像を表示するウィンドウの枠と、第2の入力者の画像を表示するウィンドウの枠を、異なる色で表示するようにすることができる。 The window frame for displaying the image of the first input person and the frame of the window for displaying the image of the second input person can be displayed in different colors.
第1の入力者が入力した画像と、第2の入力者が入力した画像を、異なる色で表示するようにすることができる。 The image input by the first input person and the image input by the second input person can be displayed in different colors.
前記ターゲットビデオが再生されているときに、前記コメントが追加された再生時刻になった場合、前記コメントビデオの再生の開始を指示するためのボタンを表示するようにすることができる。 When the target video is being played and the playback time when the comment is added is reached, a button for instructing the start of playback of the comment video can be displayed.
前記コメントビデオが再生中に、前記ターゲットビデオの再生に戻るためのボタンを表示するようにすることができる。 While the comment video is being played back, a button for returning to playback of the target video can be displayed.
前記ターゲットビデオを再生中に、前記コメントが追加された再生時刻になった場合、前記コメントビデオの再生を開始するようにすることができる。 While the target video is being played back, the playback of the comment video may be started when the playback time when the comment is added is reached.
前記生成部は、再生されている前記コメントビデオに、入力者から追加されたコメントのコメントビデオを生成するようにすることができる。 The generating unit may generate a comment video of a comment added from an input person to the comment video being played back.
前記ターゲットビデオは、所定の人物が、所定の作業を行っている状態を撮影したビデオであるようにすることができる。 The target video may be a video of a state in which a predetermined person is performing a predetermined work.
前記ターゲットビデオは、所定の講義を受けている受講者により撮像されたビデオであり、前記入力者は、前記受講者を指導する指導者であるようにすることができる。 The target video is a video imaged by a student taking a predetermined lecture, and the input person can be an instructor for instructing the student.
本技術の一側面の情報処理方法は、ターゲットビデオを再生し、再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成するステップを含み、前記生成は、前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む。 An information processing method according to an aspect of the present technology includes a step of playing back a target video and generating a comment video of a comment added by an input person to the target video being played back, wherein the generation includes the target video And the input person's image are synthesized, and the comment video is generated by synthesizing the voice of the target video and the voice of the input person.
本技術の一側面のプログラムは、ターゲットビデオを再生し、再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成するステップを含み、前記生成は、前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む処理をコンピュータに実行させる。 A program according to an aspect of the present technology includes a step of playing back a target video and generating a comment video of a comment added from an input person to the target video being played, wherein the generation includes an image of the target video And the image of the input person are synthesized, and the computer is caused to execute a process including the step of generating the comment video by synthesizing the voice of the target video and the voice of the input person.
本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、ターゲットビデオが再生され、再生されているターゲットビデオに、入力者から追加されたコメントのコメントビデオが生成される。その生成は、ターゲットビデオの画像と入力者の画像を合成し、ターゲットビデオの音声と入力者の音声を合成したコメントビデオを生成することで行われる。 In the information processing apparatus, the information processing method, and the program according to an aspect of the present technology, a target video is reproduced, and a comment video of a comment added by an input person is generated in the reproduced target video. The generation is performed by synthesizing the target video image and the input person's image and generating a comment video by synthesizing the target video sound and the input person's voice.
なお、情報処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。 Note that the information processing apparatus may be an independent apparatus or may be an internal block constituting one apparatus.
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。 The program can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.
本技術の一側面によれば、指導者の指導自体をコンテンツ化することができ、学習者のスキルレベルや空き時間に合わせた学習が行えるようにすることができる。 According to one aspect of the present technology, the guidance of the instructor can be converted into content, and learning that matches the learner's skill level and free time can be performed.
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
図1は、本技術を適用したシステムの一実施の形態の構成を示す図である。本技術は、所定の講座を受講し、その講座を受講した受講者が、さらなる学習を行う手助けとなるシステムに適用できる。図1に示したシステムは、介護に関する講座に係わるシステムを例示している。 FIG. 1 is a diagram illustrating a configuration of an embodiment of a system to which the present technology is applied. The present technology can be applied to a system that takes a predetermined course and helps a student who has taken the course to perform further learning. The system shown in FIG. 1 exemplifies a system related to a course related to nursing care.
図1に示したシステムは、講座を受講する受講者が、自己が実際に介護しているときの状況を撮影し、その撮影した映像に対して、指導者が指導を加えるシステムである。 The system shown in FIG. 1 is a system in which a student who takes a course takes a picture of the situation when he / she is actually caring, and the instructor gives guidance to the taken picture.
図1中の左上に示したように、まず、受講者1は、介護対象者2を介護し、その様子を、撮影者3は、情報処理装置11で撮影する。情報処理装置11は、デジタルビデオカメラ、スマートフォン、パーソナルコンピュータなどとすることができる。撮影されたビデオ0(Video0)は、サーバ51に対して送信される。サーバ51は、データベース52を備え、そのデータベース52にビデオ0が蓄積される。
As shown in the upper left in FIG. 1, first, the
データベース52には、ビデオ0の他に、ビデオ1(Video1)、ビデオ2(Video2)、ビデオ1.1(Video1.1)が、それぞれ関連付けられて蓄積されている。ビデオ1、ビデオ2、ビデオ1.1は、それぞれ、ビデオ0がアップロードされた後の時点で、ビデオ0に関連付けられて蓄積されたビデオデータである。
In the
データベース52(サーバ51)は、ここでは1台のコンピュータで構成されている場合を例に挙げて説明するが、複数のデータベース52に分散されていても良い。例えば、ビデオ毎に、別のデータベース52(サーバ51)で分散管理されるように構成することも可能である。
Here, the database 52 (server 51) is described as an example where it is composed of a single computer, but it may be distributed among a plurality of
また、データベース52は、一般的なデータベース管理システム (DBMS: Database Management System) に限定されるものではなく、例えばビデオ0などは、ハードディスクなどのストレージにそのまま保存されるようにしても良い。
Further, the
データベース52にアップロードされたデータは、他の学習者や指導者と共有される。例えば、指導者4は、情報処理装置21でビデオ0を視聴することができる。指導者4は、ビデオ0を視聴しながら、所望とする再生位置でコメントを付ける(指導する)ことができる。このようにビデオ0に対してコメントが付けられると、ビデオ1(Video1)、ビデオ2(Video2)が生成され、データベース52にアップロードされる。
Data uploaded to the
このようにして指導者4によるコメントが付けられたビデオを、受講者1は情報処理装置41で視聴することができる。例えば、受講者1は、ビデオ1(コメントビデオ)を視聴し、質問などのコメントを付けることができる。このように、ビデオ1に対してコメントが付けられるとビデオ1.1(Video1.1)が生成され、データベース52にアップロードされる。
In this way, the
さらに指導者4は、このビデオ1.1を視聴することができ、必要に応じて、返答(コメント)を付けることができる。 Furthermore, the instructor 4 can watch this video 1.1, and can attach a reply (comment) if necessary.
このように、受講者1や指導者4は、データベース52に蓄積されているコンテンツ(ビデオ)を視聴することができる。また視聴しているコンテンツに対してコメントを付けることができる。すなわち、受講者1は、データベース52に蓄積されているコンテンツを視聴することで、学習を行うことができ、指導者4は、データベース52に蓄積されているコンテンツを視聴し、コメントを付けることで指導を行うことができる。
Thus, the
このように、コンテンツ(動画像)を送り合って互いのコミュニケーションをとることで、言葉や文字と同じようなコミュニケーションが実現される。 In this way, communication similar to words and characters is realized by sending contents (moving images) and communicating with each other.
なおここでは、介護を実践し、撮影されている受講者1が、コンテンツを視聴して学習する受講者である(同一人物である)として説明を続けるが、例えば、学習を行うのは、受講者1を含む介護施設に勤めている多数の人でも良い。
In this example, it is assumed that the
本システムは、受講者1が実践したことに対して、コメントなどが付けられ、そのコメントなどを視聴することで、さらなる学習が行われるシステムである。またコメントは、受講者1、指導者4の両方で、それぞれ付けることができる。また複数の指導者4がそれぞれコメントを付けることも可能とされている。
This system is a system in which a comment or the like is attached to what the
図2は、情報処理装置21の構成を示す図である。情報処理装置21において、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続されている。バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続されている。
FIG. 2 is a diagram illustrating a configuration of the
入力部106は、キーボード、マウス、マイクロフォン、カメラなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア111を駆動する。
The input unit 106 includes a keyboard, a mouse, a microphone, a camera, and the like. The
以上のように構成される情報処理装置21では、CPU101が、例えば、記憶部108に記憶されているプログラムまたは通信部109を介してサーバなどから供給されたプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行する。
In the
情報処理装置11と情報処理装置41も、情報処理装置21と同様の構成とすることができ、ここでは、その説明を省略する。
The
図3は、受講者1が撮影したコンテンツ(以下、適宜、ターゲットビデオと記述する)と、そのターゲットビデオが視聴されたときに付けられたコメントのコンテンツ(以下、適宜、コメントビデオと記述する)の関係について説明するための図である。 FIG. 3 shows content captured by the student 1 (hereinafter referred to as “target video” where appropriate) and comment content attached when the target video is viewed (hereinafter referred to as “comment video” where appropriate). It is a figure for demonstrating the relationship.
コメントビデオは、ターゲットビデオの所定の再生時刻から入力された動画像である。よって、図3に示したような木構造となる。例えば、ターゲットビデオ(Video0、以下、ターゲットビデオ0とする)の再生時刻t2において付けられたコメントは、コメントビデオ(Video1、以下、コメントビデオ1とする)として生成され、ターゲットビデオ0の再生時刻t2の再生位置に関連付けられる。
The comment video is a moving image input from a predetermined playback time of the target video. Therefore, the tree structure as shown in FIG. 3 is obtained. For example, a comment added at the playback time t2 of the target video (
コメントビデオ1の所定の再生時刻に対してコメントが付けられると、そのコメントビデオ1.1は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。
When a comment is attached to a predetermined playback time of the
同様に、ターゲットビデオ0の再生時刻t1においてコメントが付けられると、そのコメントビデオ2は、再生時刻t1に関連付けられ、データベース52(図1)に蓄積される。さらに同様に、コメントビデオ2の所定の再生時刻においてコメントが付けられると、そのコメントビデオ2.1は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。
Similarly, when a comment is attached at the playback time t1 of the
さらに同様に、コメントビデオ2.1の所定の再生時刻においてコメントが付けられると、そのコメントビデオ2.1.1は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。さらに同様に、コメントビデオ2.1の所定の再生時刻(コメントビデオ2.1.1が付けられた再生時刻とは異なる再生時刻)においてコメントが付けられると、そのコメントビデオ2.1.2は、その再生時刻に関連付けられ、データベース52(図1)に蓄積される。 Similarly, when a comment is attached at a predetermined playback time of the comment video 2.1, the comment video 2.1.1 is associated with the playback time and stored in the database 52 (FIG. 1). Similarly, when a comment is attached at a predetermined playback time of the comment video 2.1 (a playback time different from the playback time to which the comment video 2.1.1 is attached), the comment video 2.1.2 is associated with the playback time. And stored in the database 52 (FIG. 1).
このように、ターゲットビデオに対して付けられたコメントは、コメントビデオとしてターゲットビデオに対して関連付けられ、コメントビデオに対して付けられたコメントは、コメントビデオとしてコメントビデオに対して関連付けられる。 In this way, a comment attached to the target video is associated with the target video as a comment video, and a comment attached to the comment video is associated with the comment video as a comment video.
なお、図3において、コメントビデオは、同一の長さで図示してあるが、コメントの長さはそれぞれ異なり、コメントが多ければ長く、少なければ短くなる。 In FIG. 3, the comment videos are shown with the same length, but the lengths of the comments are different, and the longer the comment is, the shorter the comment is.
図4は、例えばターゲットビデオ0に対してコメントビデオ1を作成するときの処理の流れについて説明するための図である。図4において、横軸は、ターゲットビデオ0の時間軸を表し、縦軸は、コメントビデオ1の時間軸を表す。
FIG. 4 is a diagram for explaining the flow of processing when creating
ターゲットビデオ0が再生時刻0から再生時刻x2まで視聴され、再生時刻x2において、コメントの入力が開始される。コメントの入力が開始されると、コメントビデオ1の作成が開始される。コメントの入力が開始されてからも、ターゲットビデオ0の再生(PLAY)は継続される。ターゲットビデオ0が再生時刻t2から再生時刻t3まで再生されているとき、コメントの入力が継続され、コメントビデオ1の再生時刻y0から再生時刻y1までが生成される。
The
ターゲットビデオ0の再生時刻x3において、ターゲットビデオ0の再生が一時停止(pause)される。ターゲットビデオ0が一時停止の状態のまま、コメントの入力は継続され、コメントビデオ1の再生時刻y1から再生時刻y2までが生成される。
At the reproduction time x3 of the
ターゲットビデオ0の再生時刻x3であり、コメントビデオ1の再生時刻y2において、ターゲットビデオ0が、再生時刻x1まで巻き戻され(rewind)、一時停止(pause)される。ターゲットビデオ0の再生時刻x1であり、コメントビデオ1の再生時刻y3において、ターゲットビデオ0は、一時停止の状態のまま、コメントの入力が継続され、コメントビデオ1の再生時刻y3から再生時刻y4までが生成される。
At the playback time x3 of the
ターゲットビデオ0の再生時刻x1であり、コメントビデオ1の再生時刻y4において、ターゲットビデオ0の一時停止の状態が解除され、再生(play)が開始される。ターゲットビデオ0が再生時刻x1から再生時刻x2まで再生されているとき、コメントの入力が継続され、コメントビデオ1の再生時刻y4から再生時刻y5までが生成される。
At the playback time x1 of the
ターゲットビデオ0の再生時刻x2であり、コメントビデオ1の再生時刻y5において、コメントの入力が停止される。
At the reproduction time x2 of the
このように、ターゲットビデオ0の再生を継続したまま、コメントを入力したり、ターゲットビデオ0の再生を一時停止した状態で、コメントを入力したりすることができる。また、ターゲットビデオ0を巻き戻したり、先送りしたりし、その巻き戻し再生位置や先送りした再生位置からコメントを入力することもできる。
As described above, it is possible to input a comment while continuing to reproduce the
このようなターゲットビデオ0の視聴と、コメントの入力に係わる処理について図5乃至9のフローチャートを参照して説明する。コンテンツの視聴とコメントの入力はシームレスに移行するため、一連の処理として説明する。
Processing related to viewing the
図5乃至9に示したフローチャートは、指導者4がターゲットビデオ0を視聴し、コメントを入力するときに、情報処理装置21で行われる処理の一例であるとする。なお、受講者1が、ターゲットビデオ0やコメントビデオ1などを視聴し、コメントを入力するときにも同様の処理が行われる。
The flow charts shown in FIGS. 5 to 9 are examples of processing performed by the
ステップS101において、再生ビデオが選択される。指導者4は、データベース52に登録されている複数のターゲットビデオから、所望のターゲットビデオを選択し、視聴することができる。
In step S101, a playback video is selected. The instructor 4 can select and watch a desired target video from a plurality of target videos registered in the
ステップS102において、プレイヤーが初期化(画面の初期化やファイル読み込み等)が実行される。図10に初期化されたプレイヤーの一例(画面例)を示す。 In step S102, the player is initialized (screen initialization, file reading, etc.). FIG. 10 shows an example (screen example) of the initialized player.
情報処理装置21には、出力部107としての表示部201(ディスプレイ)が設けられている。また情報処理装置21には、マイクロフォン202とカメラ203も設けられている。表示部201には、ステップS101で選択された再生ビデオの映像が表示される。マイクロフォン202は、視聴者の声を集音する。カメラ203は、指導者4を撮像する。なお、マイクロフォン202やカメラ203は、情報処理装置21に複数設けられていても良い。
The
表示部201の左上は、戻るボタン211が表示されている。この戻るボタン211は、コンテンツ視聴中に元の映像に戻るときに操作されるボタンである。例えば、戻るボタン211は、コメントビデオ1が再生されているときに、ターゲットビデオ0(木構造で言うところの親)に移動するときに操作される。戻るボタン211は、コメントビデオが再生されているときに表示されるボタンである。
A
戻るボタン211の右側にはコメント視聴ボタン212が表示されている。このコメント視聴ボタン212は、その時点で視聴しているビデオの再生位置に、コメントがあるときに表示されるボタンである。図10ではコメント視聴ボタン212が表示されている例を示したが、コメントがない再生位置においては表示されない。
A
表示部201の左下には、コメント入力ボタン213が表示されている。コメント入力ボタン213は、コメントを入力したいとき(コメントの入力を開始したいとき)に操作されるボタンである。またコメントの入力が開始された後、その入力を停止するときに操作されるボタンでもある。
A
コメント入力ボタン213の右側には、再生されているコンテンツの再生、停止、一時停止、巻き戻し、早送りなどの指示を出す指示部214が表示されている。
On the right side of the
指示部214の右側には、再生されているコンテンツの再生位置(再生時刻)を変更するときに操作されるシークバー215が表示されている。また表示部201の右側には、再生されているコンテンツの音量を変更するときに操作される音量調整バー216も表示されている。
On the right side of the
なお、図10に示した画面は一例であり、限定を示すものではない。例えば、戻るボタン211は、表示部201の左上に表示されることを限定する記載ではなく、右下など、他の場所に表示されていても良い。
Note that the screen shown in FIG. 10 is an example and does not indicate limitation. For example, the
ステップS102(図5)において、図10に示したような画面が指導者4に提供される。なお、初期化がされたときの画面としては、コンテンツの再生開始時にコメントがなければ、コメント視聴ボタン212は表示されていない。また初期化のときにはターゲットビデオが再生されているため、戻るボタン211は表示されていない。
In step S102 (FIG. 5), a screen as shown in FIG. Note that, when the screen is initialized, the
ステップS103において、プレイヤー状態の更新処理が実行される。ステップS103におけるプレイヤー状態の更新処理について、図6に示したフローチャートを参照して説明する。 In step S103, a player state update process is executed. The player state update processing in step S103 will be described with reference to the flowchart shown in FIG.
ステップS131において、再生、停止、一時停止、早送り、または巻き戻しが指示されたか否かが判定される。すなわち、ステップS131においては、指示部214(図10)が操作されたか否かが判定される。 In step S131, it is determined whether reproduction, stop, pause, fast forward, or rewind is instructed. That is, in step S131, it is determined whether or not the instruction unit 214 (FIG. 10) has been operated.
ステップS131において、指示部214が操作されたと判定された場合、ステップS132に処理が進められる。ステップS132において、指示部214が操作されたことにより指示された内容に基づき、再生状態が変更される。例えば、指示部214が操作されることで、一時停止が指示されたと判定された場合、再生されているコンテンツの再生が一時停止される。
If it is determined in step S131 that the
ステップS132の処理が終了した場合、またはステップS131において、指示部214は操作されていないと判定された場合、ステップS133に処理が進められる。
When the process of step S132 is completed, or when it is determined in step S131 that the
ステップS133において、シークバー215が操作されたか否かが判定される。ステップS133において、シークバー215が操作されたと判定された場合、ステップS134に処理が進められ、指示された再生時刻への変更、および変更後の再生時刻からの再生が開始される。
In step S133, it is determined whether or not the seek
ステップS134の処理が終了した場合、またはステップS133において、シークバー215は操作されていないと判定された場合、ステップS135に処理が進められる。
When the process of step S134 is completed, or when it is determined in step S133 that the seek
ステップS135において、再生音量の変更が指示されたか否か、換言すれば音量調整バー216が操作されたか否かが判定される。ステップS135において、音量調整バー216が操作されたと判定された場合、ステップS136に処理が進められ、指示された再生音量の変更が行われる。
In step S135, it is determined whether or not an instruction to change the playback volume has been given, in other words, whether or not the
ステップS136の処理が終了した場合、またはステップS135において、音量調整バー216は操作されていないと判定された場合、ステップS137に処理が進められる。
When the process of step S136 is completed, or when it is determined in step S135 that the
ステップS137において、視聴可能なコメントがあるか否かが判定される。すなわち、再生されているコンテンツの再生時刻(再生時間)にコメントビデオが関連付けられているか否かが判定される。 In step S137, it is determined whether there is a viewable comment. That is, it is determined whether or not the comment video is associated with the playback time (playback time) of the content being played back.
例えば、図4を再度参照するに、ターゲットビデオ0が再生されているときであり、ターゲットビデオ0の再生時刻x2(再生時刻x2から再生時刻x3の間)において、ステップS137の処理が実行された場合、視聴可能なコメントがあると判定される。
For example, referring again to FIG. 4, when the
ステップS137において、視聴可能なコメントがあると判定された場合、ステップS138に処理が進められる。ステップS138において、表示部201にコメント視聴ボタン212が表示される。
If it is determined in step S137 that there is a viewable comment, the process proceeds to step S138. In step S138, the
ステップS138の処理が終了した場合、またはステップS137において、視聴可能なコメントはないと判定された場合、ステップS139に処理が進められる。 When the process of step S138 is completed, or when it is determined in step S137 that there is no viewable comment, the process proceeds to step S139.
ステップS139において、コメントビデオの再生中であるか否かが判定される。ステップS139において、コメントビデオの再生中であると判定された場合、ステップS140に処理が進められる。ステップS140において、表示部201上に戻るボタン211が表示される。
In step S139, it is determined whether or not the comment video is being reproduced. If it is determined in step S139 that the comment video is being reproduced, the process proceeds to step S140. In step S140, a
ステップS140の処理が終了した場合、またはステップS139において、コメントビデオの再生中ではないと判定された場合、図6に示したプレイヤー状態の更新処理は終了され、ステップS104(図5)に処理が進められる。 When the process of step S140 is completed, or when it is determined in step S139 that the comment video is not being reproduced, the player state update process shown in FIG. 6 is terminated, and the process proceeds to step S104 (FIG. 5). It is advanced.
ステップS104において、コメント視聴ボタン212が操作されたか否かが判定される。ステップS104において、コメント視聴ボタン212が操作されたと判定された場合、ステップS102に処理が戻され、それ以降の処理が繰り返される。ただし、コメント視聴ボタン212が操作されたときのプレイヤーの初期化は、新しいビデオ(コメントビデオ)を選択した状態でのプレイヤーの初期化の処理となる。
In step S104, it is determined whether or not the
一方、ステップS104において、コメント視聴ボタン212は操作されていないと判定された場合、ステップS105に処理が進められ、戻るボタン211が操作されたか否かが判定される。
On the other hand, if it is determined in step S104 that the
ステップS105において、戻るボタン211が操作されたと判定された場合、ステップS102に処理が戻され、それ以降の処理が繰り返される。ただし、戻るボタン211が操作されたときのプレイヤーの初期化は、遷移前のビデオ(例えば、コメントビデオに遷移する前のビデオがターゲットビデオであった場合、ターゲットビデオ)を選択した状態でのプレイヤーの初期化の処理となる。
If it is determined in step S105 that the
一方、ステップS105において、戻るボタン211は操作されていないと判定された場合、ステップS106に処理が進められ、コメント入力ボタン213が操作されたか否かが判定される。ステップS106において、コメント入力ボタン213が操作されたと判定された場合、ステップS107に処理が進められる。
On the other hand, if it is determined in step S105 that the
ステップS107において、コメント入力処理が実行される。ステップS107において実行されるコメント入力処理について、図7に示したフローチャートを参照して説明する。 In step S107, comment input processing is executed. The comment input process executed in step S107 will be described with reference to the flowchart shown in FIG.
ステップS161において、コメント入力準備処理が実行される。ステップS161において実行されるコメント入力準備処理について、図8に示したフローチャートを参照して説明する。 In step S161, a comment input preparation process is executed. The comment input preparation process executed in step S161 will be described with reference to the flowchart shown in FIG.
ステップS191において、表示部201に入力準備画面が表示される。図11に、入力準備画面の一例を示す。
In step S191, an input preparation screen is displayed on the
図11に示した入力準備画面には、カメラ203で撮像されている指導者4の映像(コメント入力者の画像)を表示するウィンドウ311が、表示部201上に表示されている。このウィンドウ311は、例えば図11に示したように、表示部201の左下の領域を初期位置とし、初期状態では、表示部201の左下の領域に表示される。このウィンドウ311は、後述するように、コメント入力者が所望とする位置に移動可能とされている。
On the input preparation screen shown in FIG. 11, a
表示部201の下側には、OKボタン321、Cancelボタン322、および色選択パレット323を含む指示部312が表示されている。OKボタン321は、入力準備画面で設定できることを設定した後、その設定でよいときに操作されるボタンである。Cancelボタン322は、入力準備画面で設定できることを設定した後、その設定を破棄するときに操作されるボタンであり、コメントの入力の開始をキャンセルするときに操作されるボタンである。
Below the
色選択パレット323は、ウィンドウ311の枠の色を選択する操作されるボタンである。なお、色ではなく、線種などでも良い。この色選択パレット323で選択された色は、コメントを入力した入力者を識別するための色とされ、ウィンドウ311の枠以外にも、後述する入力者が入力した画像の色などにも適用される。
The
表示部201の右側には、音量調整ボタン313が表示されている。この音量調整ボタン313は、その時点で再生されているコンテンツ(ターゲットビデオ)の音量を調整するときに操作されるボタンである。図11に示した例では、音量調整ボタン313として、“100”、“75”、“50”、“25”、“0”といった数値が記載されたボタンが表示されている。例えば“75”との数値の音量調整ボタン313は、75%の音声に変更したいときに操作されるボタンである。
A
入力準備画面では、このように、コメント入力者を識別するための色や、再生されているコンテンツの音量を設定できる。また、コメント入力者を表示するウィンドウ311の位置も設定できる。これら入力準備画面で設定できる色、音量、ウィンドウ311の位置のうち、音量と位置は、コメント入力中にも変更可能である。
In the input preparation screen, the color for identifying the comment input person and the volume of the content being reproduced can be set in this way. In addition, the position of the
このような入力準備画面が、ステップS191(図8)における処理で、表示部201に表示される。ステップS192において、コメント入力者が表示されているウィンドウ311の移動が指示されたか否かが判定される。
Such an input preparation screen is displayed on the
ステップS192において、ウィンドウ311の移動が指示されたと判定された場合、ステップS193に処理が進められ、入力者画像の更新処理が実行される。すなわち、入力者が指示した位置に、ウィンドウ311が移動される。
If it is determined in step S192 that movement of the
一方、ステップS192において、ウィンドウ311の移動は指示されていないと判定された場合、またはステップS193の処理が終了した場合、ステップS194に処理が進められる。ステップS194において、色が選択されたか否か、換言すれば色選択パレット323が操作されたか否かが判定される。
On the other hand, if it is determined in step S192 that the movement of the
ステップS194において、色選択パレット323が操作されたと判定された場合、ステップS195に処理が進められ、色選択パレット323で選択された色に更新される。例えばウィンドウ311の枠の色が、色選択パレット323で選択された色に変更される。
If it is determined in step S194 that the
一方、ステップS194において、色選択パレット323は操作されていないと判定された場合、またはステップS195の処理が終了した場合、ステップS196に処理が進められる。ステップS196において、音量が操作されたか否か、換言すれば音量調整ボタン313が操作されたか否かが判定される。
On the other hand, if it is determined in step S194 that the
ステップS196において、音量調整ボタン313が操作されたと判定された場合、ステップS197に処理が進められ、音量調整ボタン313で選択された音量に更新される。
If it is determined in step S196 that the
一方、ステップS196において、音量調整ボタン313は操作されていないと判定された場合、またはステップS197の処理が終了した場合、ステップS198に処理が進められる。ステップS198において、OKボタン321またはCancelボタン322が操作されたか否かが判定される。
On the other hand, if it is determined in step S196 that the
ステップS198において、OKボタン321またはCancelボタン322が操作されたと判定されるまで、ステップS192乃至S198の処理が繰り返される。コメント入力者は、所望の色、音量、表示位置を設定することができる。
In step S198, the processes in steps S192 to S198 are repeated until it is determined that the
一方、ステップS198において、OKボタン321またはCancelボタン322が操作されたと判定された場合、図8に示したフローチャートに基づくコメント入力準備処理は終了され、ステップS162(図7)に処理が進められる。
On the other hand, if it is determined in step S198 that the
なお、OKボタン321が操作された場合には、その時点で設定されている色、音量、表示位置が設定され、Cancelボタン322が操作された場合、その時点で設定されている色、音量、表示位置の設定は破棄され、コメントの入力指示もキャンセルされる。
When the
ステップS162において、録画の開始が指示されたか否かが判定される。録画の開始が指示されたと判定された場合、ステップS163に処理が進められる。 In step S162, it is determined whether the start of recording has been instructed. If it is determined that the start of recording has been instructed, the process proceeds to step S163.
録画(コメントの入力)は、例えば、OKボタン321が操作されたときから開始される。または、図11に示した入力準備画面から、図12に示すような画面に切り替わり、コメント入力ボタン213が操作されたときから開始される。
Recording (comment input) is started, for example, when the
図12に示した画面例を参照する。図12に示した画面は、図11に示した入力準備画面において、OKボタン321が操作された後に、入力準備画面から切り換えられた画面であり、コメント入力時の画面(以下、適宜、コメント入力画面と記述する)である。
Refer to the screen example shown in FIG. The screen shown in FIG. 12 is a screen that is switched from the input preparation screen after the
図12に示したコメント入力画面は、入力準備画面において設定された位置にウィンドウ311が表示され、その時点でカメラ203により撮像されているコメント入力者の画像が、ウィンドウ311内に表示されている。
In the comment input screen shown in FIG. 12, a
コメント入力画面に表示されているウィンドウ311は、コメント入力中(録画中)にも移動可能にされている。
The
またコメント入力画面の左下には、コメント入力ボタン213が表示され、その右側には、指示部214が表示されている。このコメント入力ボタン213と指示部214は、図10を参照して説明したように、コメントを入力するときに操作されるボタンと再生されているコンテンツに対する指示を出す領域である。
A
コメント入力画面に、指示部214が表示されることで、図4を参照して説明したように、再生されているターゲットビデオ(コメントを付けたいビデオ)に対する操作、例えば、一時停止や巻き戻しといった指示を出すことができる。すなわち、コメント入力画面に、指示部214を表示することで、コメント入力中にも、コメントを付けるビデオに対する所望の操作を行うことができる。
Since the
また指示部214の右側には、シークバー215も表示されており、このシークバー215も図10を参照して説明したように、再生されているコンテンツの再生位置(再生時刻)を指示するための領域である。
In addition, a seek
コメント入力画面に、シークバー215が表示されることで、図4を参照して説明したように、再生されているターゲットビデオ(コメントを付けたいビデオ)に対して所望の再生位置まで戻る、または進むといった処理を、シークバー215を操作することで行うことが可能となる。
By displaying the seek
すなわち、コメント入力画面に、シークバー215を表示することで、コメント入力中にも、コメントを付けるビデオの所望の再生位置まで簡便に移動することができる。
That is, by displaying the seek
コメント入力画面の右側には、音量調整ボタン313も表示されている。この音量調整ボタン313は、図11を参照して説明したように、再生されているコンテンツの音量を調整するためのボタンである。
A
コメント入力画面に、音量調整ボタン313が表示されることで、再生されているターゲットビデオ(コメントを付けたいビデオ)の音量を所望の音量にすることができ、コメント入力中にも、入力するコメントの邪魔にならないような音量を設定することができる。
The
ところで、図12に示したコメント入力画面において、コメント入力ボタン213は、黒く表示されている。図10に示した画面を再度参照するに、図10に示した画面(コメント入力画面ではない画面)においては、コメント入力ボタン213は、黒くは表示されていない。
Incidentally, in the comment input screen shown in FIG. 12, the
コメント入力ボタン213が黒く表示されているときは、録画中であることを示している。コメント入力者は、コメント入力ボタン213の表示色を見ることで、録画中であるか否かを判断することができる。
When the
また、コメント入力ボタン213が黒く表示されているとき(録画中であるとき)に、コメント入力ボタン213が操作されると、録画が停止され、表示も白に戻される。
When the
なおここでは、黒または白といった表記を行っているが、録画中のコメント入力ボタン213の色は、黒に限定されることを示すわけではない。コメント入力ボタン213の色(表示)は、録画中であるか否かをコメント入力者に明確に認識させることができる色(表示)であればよい。
Note that although black or white is used here, it does not indicate that the color of the
図7に示したフローチャートの説明に戻り、ステップS162において、録画開始が指示されたと判定された場合、ステップS163に処理が進められ、コメントの録画が開始される。録画されるのは、ターゲットビデオの画像にウィンドウ311(ウィンドウ311内に表示されているコメント入力者の画像)が合成された画像と、ターゲットビデオの音声とマイクロフォン202で集音されたコメント入力者の音声が合成された音声である。
Returning to the description of the flowchart shown in FIG. 7, when it is determined in step S162 that the start of recording has been instructed, the process proceeds to step S163 and comment recording is started. What is recorded is an image in which a window 311 (an image of a comment input person displayed in the window 311) is combined with an image of the target video, a comment input person collected by the target video sound and the
ステップS164において、プレイヤー状態の更新処理が実行される。ステップS164において実行されるプレイヤー状態の更新処理は、図6に示したフローチャートに基づき実行される。図6に示したフローチャートに基づく処理については既に説明したので、ここではその説明を省略する。 In step S164, a player state update process is executed. The player state update process executed in step S164 is executed based on the flowchart shown in FIG. Since the processing based on the flowchart shown in FIG. 6 has already been described, the description thereof is omitted here.
すなわち、コメントの入力中(録画中)においても、再生されているターゲットビデオに対して、再生、停止、一時停止、早送り、巻き戻し、再生位置の変更、音量の変更といった指示を出すことができるように構成されている。 That is, even when a comment is being input (recording), instructions such as playback, stop, pause, fast forward, rewind, change of playback position, and change of volume can be issued to the target video being played back. It is configured as follows.
なお、コメントの入力中には、ターゲットビデオが表示されているウィンドウ(ウィンドウ331とする)に対しても種々の変更を加えることが可能な構成としても良い。例えば、図13に示すように、ターゲットビデオが表示されているウィンドウ331を縮小したり、回転したりすることができるように構成しても良い。
It should be noted that it is possible to adopt a configuration in which various changes can be made to the window (referred to as window 331) in which the target video is displayed while inputting a comment. For example, as shown in FIG. 13, a
コメント入力者からの、ターゲットビデオが表示されているウィンドウ331の拡大、縮小、回転、移動などの指示を受け付け、指示された更新が行われるようにしても良い。
An instruction from the comment input person such as enlargement, reduction, rotation, and movement of the
ステップS165(図7)において、コメント入力者情報の更新処理が実行される。このステップS165において実行されるコメント入力者情報の更新処理について、図9に示したフローチャートを参照して説明する。 In step S165 (FIG. 7), update processing of comment input person information is executed. The comment input person information update process executed in step S165 will be described with reference to the flowchart shown in FIG.
ステップS211において、画像の移動または拡大が指示されたか否かが判定される。画像の移動とは、ウィンドウ311の移動であり、画像の拡大とはウィンドウ311の拡大のことである。ステップS211において、画像の移動または拡大が指示されたと判定された場合、ステップS212に処理が進められる。
In step S211, it is determined whether or not an instruction to move or enlarge an image is given. The movement of the image is the movement of the
ステップS212において、入力者画像(ウィンドウ311)の更新が行われる。例えば、ステップS211において、画像の移動が指示されたと判定された場合、ステップS212においては、画像(ウィンドウ311)が、指示された位置に移動される。 In step S212, the input person image (window 311) is updated. For example, if it is determined in step S211 that an image movement has been instructed, in step S212, the image (window 311) is moved to the instructed position.
例えば、図14に示すように、表示部201の左上にウィンドウ311aが表示されている状態のときに、コメント入力者が、ウィンドウ311aをドラッグし、そのまま右側に移動させた場合、所謂ドラッグアンドドロップ(drag-and-drop)を実行した場合、その移動先である領域が、新たな表示領域に設定され、ウィンドウ311bが表示される。
For example, as shown in FIG. 14, when the comment input person drags the
コメント入力者は、ウィンドウ311の背後に表示されている画像(映像)に応じて、その画像の邪魔にならないような位置に、ウィンドウ311を移動させることができる。
The comment input person can move the
また例えば、ステップS211において、画像の拡大が指示されたと判定された場合、ステップS212においては、画像(ウィンドウ311)が、指示された大きさに拡大され、表示される。 For example, if it is determined in step S211 that an instruction to enlarge an image has been given, the image (window 311) is enlarged to the indicated size and displayed in step S212.
例えば、図12に示したように、表示部201の左上にウィンドウ311が表示されている状態のときに、コメント入力者が、ウィンドウ311をピンチアウトした場合、図15に示したように拡大されたウィンドウ311cが表示部201に表示される。
For example, as shown in FIG. 12, when the comment input person pinches out the
コメント入力者は、例えば、自己の動作を受講者1に見せたい(注目させたい)ときなどに、ウィンドウ311を所望の大きさに拡大することができる。なお、ここでは、拡大を例に挙げて説明したが、縮小することも勿論できる。
The comment input person can enlarge the
図9に示したフローチャートの説明に戻る。ステップS211において、画像の移動や拡大は指示されていないと判定された場合、またはステップS212の処理が終了された場合、ステップS213に処理が進められる。 Returning to the description of the flowchart shown in FIG. If it is determined in step S211 that there is no instruction to move or enlarge the image, or if the process in step S212 is completed, the process proceeds to step S213.
ステップS213において、手書き入力中であるか否かが判定される。コメント入力者は、表示部201をタッチし、なぞることで図形、記号、文字など(以下、適宜、手書き画像と記述する)を入力することができる。表示部201は、タッチパネルを備え、入力部としての機能も備える。またはマウスやキーボードなどから手書き画像が入力されるようにすることも可能である。
In step S213, it is determined whether or not handwriting input is being performed. A comment input person can input figures, symbols, characters, and the like (hereinafter referred to as handwritten images as appropriate) by touching and tracing the
ステップS213において、手書き入力中であると判定された場合、ステップS214に処理が進められる。ステップS214において、手書き画像の更新が行われる。例えば、図16に示すように、コメント入力者の指で、表示部201(表示部201に装着されているタッチパネル)上がなぞられることで、手書き画像Dを入力される。 If it is determined in step S213 that handwriting is being input, the process proceeds to step S214. In step S214, the handwritten image is updated. For example, as shown in FIG. 16, the handwritten image D is input by tracing the display unit 201 (touch panel attached to the display unit 201) with the finger of the comment input person.
コメント入力者により入力された手書き画像351Dの色と、ウィンドウ311Dの枠の色は、同一の色とされる。この色は、図11を参照して説明したように、色選択パレット323を用いて選択された色である。
The color of the
例えば、このようにしてコメントが入力されたコンテンツビデオを、視聴し、さらにコメント(追加コメントと記述する)を付けることができる。また、その追加コメントを付ける追加コメント入力者も、手書き画像を追加することができる。よって、この追加コメント入力者の手書き画像と、先にコメントを付けたコメント入力者の手書き画像を識別することができるように、手書き画像が異なる色で表示されるようにする。 For example, a content video in which a comment is input in this way can be viewed and a comment (described as an additional comment) can be added. Moreover, the additional comment input person who attaches the additional comment can also add a handwritten image. Therefore, the handwritten image is displayed in a different color so that the handwritten image of the additional comment input person and the handwritten image of the comment input person who previously added the comment can be identified.
例えば、図17に示したように、先にコメントを付けたコメント入力者が表示されているウィンドウ311Dの枠の色と、そのコメント入力者が手書き入力した手書き画像351Dは、同一の色で表示される。
For example, as shown in FIG. 17, the color of the frame of the window 311D in which the comment input person who made a comment is displayed and the
また、後にコメントを付けた追加コメント入力者が表示されているウィンドウ311Eの枠の色と、その追加コメント入力者が手書き入力した手書き画像351Eは、同一の色で表示される。
Further, the color of the frame of the
ウィンドウ311Dの枠の色と、ウィンドウ311Eの枠の色は異なる色で表示される。また、手書き画像351Dと手書き画像351Eは、異なる色で表示される。なお、図17では、異なる色ではなく、異なる線種(一方を破線、他方を実線)で示している。図17に示したように、異なる色ではなく、異なる線種が用いられるようにしても良い。
The frame color of the window 311D and the frame color of the
このように、異なるコメント入力者毎にウィンドウ311の色(線種など)と手書き画像351の色(線種など)を変えることで、また、同一のコメント入力者のウィンドウ311の色(線種など)と手書き画像351の色(線種など)を同一とすることで、どのコメント入力者が入力した手書き画像351であるかを、視聴者に明確に示すことが可能となる。
In this way, by changing the color (line type, etc.) of the
なお、手書き画像351が入力されていないときには、図18に示したような画面が視聴者(追加コメント入力者)に提供されている。図18を参照するに、表示部201には、左上に先にコメントを付けたコメント入力者の画像が表示されるウィンドウ311Dが表示され、その隣に、後でコメントを追加した追加コメント入力者の画像が表示されるウィンドウ311Eが表示されている。このウィンドウ311Dの枠の色と、ウィンドウ311Eの枠の色は異なる色とされている。
When the handwritten image 351 is not input, a screen as shown in FIG. 18 is provided to the viewer (additional comment input person). Referring to FIG. 18, the
さらにコメントを追加するコメント入力者がいた場合、そのコメント入力者の画像が表示されるウィンドウ311の枠の色は、先に表示されているウィンドウ311の色とは異なる色とされる。
Further, when there is a comment input person who adds a comment, the color of the frame of the
このようなことを実現するために、図11に示した入力準備画面の色選択パレット323には、既に選択されている色は表示されない。また、このように、ウィンドウ311の枠の色は、コメント入力者を識別する機能を有するため、入力準備画面で選択された後、すなわちコメントを入力しているときに変更することはできないようにされている。
In order to realize this, the color already selected is not displayed in the
図9に示したフローチャートの説明に戻り、ステップS213において、手書き入力中ではないと判定された場合、またはステップS214における処理が終了した場合、図9に示したコメント入力者情報の更新処理は終了され、処理は、ステップS167(図7)に進められる。 Returning to the description of the flowchart shown in FIG. 9, if it is determined in step S213 that handwriting input is not being performed, or if the process in step S214 is completed, the comment input person information update process shown in FIG. Then, the process proceeds to step S167 (FIG. 7).
ステップS167において、録画の終了が指示されたか否かが判定される。録画の終了は、コメント入力ボタン213が操作されることで指示される。ステップS167において、録画の終了は指示されていないと判定された場合、換言すれば、コメント入力ボタン213は操作されていないと判定された場合、ステップS164に処理が戻され、それ以降の処理が繰り返される。
In step S167, it is determined whether or not the end of recording has been instructed. The end of recording is instructed by operating the
一方、ステップS167において、録画の終了が指示されたと判定された場合、ステップS168に処理が進められ、録画が終了される。そして処理は、ステップS169に進められ、コメントの登録が指示されたか否かが判定される。 On the other hand, if it is determined in step S167 that the end of recording has been instructed, the process proceeds to step S168, and the recording ends. Then, the process proceeds to step S169, and it is determined whether or not comment registration is instructed.
例えば、表示部201に、“コメントを登録しますか?”といったメッセージを表示し、登録ボタンとキャンセルボタンを合わせて表示し、コメント入力者が、コメントを登録するか否かの指示を出せる仕組みを設ける。そして、登録ボタンが操作された場合、コメントの登録が指示されたと判定されるようにすることができる。
For example, a message such as “Do you want to register a comment?” Is displayed on the
ステップS169において、コメントを登録しないと判定された場合、ステップS170に処理が進められ、この処理の前の時点で録画されていたコメント(作成されたコメントビデオ)は、破棄される。 If it is determined in step S169 that the comment is not registered, the process proceeds to step S170, and the comment (created comment video) recorded at the time before this process is discarded.
一方、ステップS169において、コメントを登録すると判定された場合、ステップS171に処理が進められ、この処理の前の時点で録画されていたコメント(作成されたコメントビデオ)は、保存される。例えば、データベース52にアップロードされる。
On the other hand, if it is determined in step S169 that a comment is to be registered, the process proceeds to step S171, and the comment (created comment video) recorded at the time before this process is saved. For example, it is uploaded to the
このようにして、作成されたコメントビデオが登録または破棄されると、図7に示したフローチャートにおけるコメント入力処理は終了され、処理は、ステップS108(図5)に進められる。 When the comment video thus created is registered or discarded, the comment input process in the flowchart shown in FIG. 7 is terminated, and the process proceeds to step S108 (FIG. 5).
ステップS108において、再生は終了か否かが判定される。このステップS108における処理は、視聴者(コメント入力者)により映像の再生の停止が指示されたか否かの判定である。例えば、指示部214(図10)内の停止ボタンが操作されることで、映像の再生の停止は指示される。 In step S108, it is determined whether or not the reproduction is finished. The process in step S108 is a determination as to whether or not the viewer (comment input person) has instructed stop of the video reproduction. For example, when a stop button in the instruction unit 214 (FIG. 10) is operated, an instruction to stop video playback is given.
また、ステップS108における処理は、再生しているビデオを再度まで再生したか否かの判定も行う。ステップS108において、再生は終了ではないと判定された場合、ステップS103に処理は戻され、それ以降の処理が繰り返される。 The process in step S108 also determines whether or not the video being played has been played again. If it is determined in step S108 that the reproduction is not finished, the process returns to step S103, and the subsequent processes are repeated.
一方、ステップS108において、再生は終了である判定された場合、ステップS109に処理が進められ、映像の再生が停止される。 On the other hand, if it is determined in step S108 that the reproduction has ended, the process proceeds to step S109, and the reproduction of the video is stopped.
ステップS110において、コメントビデオの視聴であったか否かが判定される。ステップS110において、コメントビデオの視聴であったと判定された場合、ステップS102に処理が戻され、それ以降の処理が実行される。この場合、コメントビデオの再生が停止された後であるため、コメントビデオに遷移する前のビデオ、例えば、ターゲットビデオが選択された状態で、プレイヤーの初期化が行われる。 In step S110, it is determined whether or not the comment video has been viewed. If it is determined in step S110 that the comment video has been viewed, the process returns to step S102, and the subsequent processes are executed. In this case, since the playback of the comment video is stopped, the player is initialized with the video before the transition to the comment video, for example, the target video selected.
一方、ステップS110において、コメントビデオの視聴ではないと判定された場合、換言すれば、戻るビデオがない場合、コンテンツの再生は終了される。 On the other hand, if it is determined in step S110 that the comment video is not viewed, in other words, if there is no video to return, the reproduction of the content is terminated.
このように、本技術によると、所定のコンテンツ(ターゲットビデオ)を視聴しながら、コメントを付けることができる。また再生時には、コメントが付けられたコンテンツを、コメントと合わせて視聴することができる。 As described above, according to the present technology, it is possible to add a comment while viewing predetermined content (target video). Also, during playback, the content with a comment can be viewed together with the comment.
上記した実施の形態においては、コメントが付けられている再生位置が再生されているときには、コメント視聴ボタン212が表示され、そのコメント視聴ボタン212が操作されたときに、コメントが再生されるとしたが、このような視聴者からの指示を必要とせずに、コメントが再生されるようにしても良い。
In the above-described embodiment, the
すなわち、コメントが付けられている再生位置に来た時点で、その付けられているコメントが再生されるようにしても良い。 In other words, when a comment is attached to the playback position, the attached comment may be played back.
このように、本技術によれば、受講者1が実際に行った処理、上記した例では、介護に対して、指導者4からの指導(コメント)が加えられるため、個々の受講者1に合ったコンテンツを提供できる。個々の受講者1に合ったコンテンツで学習を行うことで、受講者1の修得度を上げることが可能となる。
In this way, according to the present technology, since the instruction (comment) from the instructor 4 is added to the processing actually performed by the
またコンテンツの視聴は、受講者1の都合の良いときに行えるため、また複数回視聴することができるため、時間や場所に制約を受けずに自由に学習を行うことができ、この点からも受講者1の修得度を上げることが可能となる。
In addition, since the content can be viewed at the convenience of the
また受講者1からも、質問などのコメントを加えることが可能なため、またその質問に対する返答を指導者4はさらに加えることが可能とされている。すなわち受講者1と指導者4との間で、動画像を送り合うことができ、コミュニケーションをとることが可能なシステムを提供することができる。
In addition, since it is possible to add a comment such as a question from the
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。 In addition, the effect described in this specification is an illustration to the last, and is not limited, Moreover, there may exist another effect.
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
11,21,41 情報処理装置, 201 表示部, 202 マイクロフォン, 203 カメラ, 211 戻るボタン, 212 コメント視聴ボタン, 213 コメント入力ボタン, 214 指示部, 215 シークバー, 216 音量調整バー, 311 ウィンドウ, 312 指示部, 313 音量調整ボタン 11, 21, 41 Information processing apparatus, 201 display unit, 202 microphone, 203 camera, 211 return button, 212 comment viewing button, 213 comment input button, 214 instruction unit, 215 seek bar, 216 volume adjustment bar, 311 window, 312 instruction , 313 Volume adjustment button
Claims (19)
再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する生成部と
を備え、
前記生成部は、
前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成する
情報処理装置。 A playback unit for playing back the target video;
A generator for generating a comment video of a comment added by an input person on the target video being played back,
The generator is
An information processing apparatus that synthesizes an image of the target video and an image of the input person, and generates the comment video obtained by synthesizing the voice of the target video and the voice of the input person.
前記入力者の音声を集音する集音部と
をさらに備え、
前記生成部は、前記撮像部で撮像された前記入力者の画像と、前記ターゲットビデオの画像を合成し、前記集音部で集音された前記入力者の音声と、前記ターゲットビデオの音声を合成する
請求項1に記載の情報処理装置。 An imaging unit for imaging the input person;
A sound collecting unit for collecting the voice of the input person,
The generating unit synthesizes the image of the input person captured by the imaging unit and the image of the target video, and combines the sound of the input person collected by the sound collecting unit and the sound of the target video. The information processing apparatus according to claim 1.
請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the image of the input person captured by the imaging unit is displayed on a part of the image of the target video.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the generation unit combines an image input by the input person with an image of the target video.
請求項4に記載の情報処理装置。 The information processing apparatus according to claim 4, wherein a frame of a window that displays the image of the input person and the image input by the input person are displayed in the same color.
請求項5に記載の情報処理装置。 6. The information processing apparatus according to claim 5, wherein when the input person gives an instruction to enlarge, reduce, or move the frame of the window while the comment is being input, the display of the window is updated based on the instruction.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein when the input person is instructed to change the volume of the target video while inputting the comment, the volume of the target video is changed based on the instruction.
請求項1に記載の情報処理装置。 2. The information according to claim 1, wherein when the input person instructs to play, stop, pause, rewind, forward, or seek the target video while inputting the comment, the processing based on the instruction is executed. Processing equipment.
請求項1に記載の情報処理装置。 The display of the window is updated based on the instruction when the input person is instructed to enlarge, reduce, or move the window in which the target video is displayed while inputting the comment. Information processing device.
請求項5に記載の情報処理装置。 The information processing apparatus according to claim 5, wherein a frame of a window that displays an image of the first input person and a frame of a window that displays the image of the second input person are displayed in different colors.
請求項4に記載の情報処理装置。 The information processing apparatus according to claim 4, wherein the image input by the first input person and the image input by the second input person are displayed in different colors.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein a button for instructing start of playback of the comment video is displayed when the playback time at which the comment is added is reached while the target video is being played back.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein a button for returning to playback of the target video is displayed during playback of the comment video.
請求項1に記載の情報処理装置。 2. The information processing apparatus according to claim 1, wherein, when the playback time when the comment is added is reached during playback of the target video, playback of the comment video is started.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the generation unit generates a comment video of a comment added from an input person to the comment video being played back.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the target video is a video of a state in which a predetermined person is performing a predetermined work.
前記入力者は、前記受講者を指導する指導者である
請求項1に記載の情報処理装置。 The target video is a video taken by a student taking a predetermined lecture,
The information processing apparatus according to claim 1, wherein the input person is a leader who teaches the student.
再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する
ステップを含み、
前記生成は、
前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む
情報処理方法。 Play the target video,
Generating a comment video of comments added from the input person to the target video being played,
The generation is
An information processing method comprising the steps of: synthesizing an image of the target video and an image of the input person, and generating the comment video by synthesizing the audio of the target video and the voice of the input person.
再生されている前記ターゲットビデオに、入力者から追加されたコメントのコメントビデオを生成する
ステップを含み、
前記生成は、
前記ターゲットビデオの画像と前記入力者の画像を合成し、前記ターゲットビデオの音声と前記入力者の音声を合成した前記コメントビデオを生成するステップを含む
処理をコンピュータに実行させるためのプログラム。 Play the target video,
Generating a comment video of comments added from the input person to the target video being played,
The generation is
The program for making a computer perform the process including the step which synthesize | combines the image of the said target video, and the image of the said input person, and produces | generates the said comment video which synthesize | combined the audio | voice of the said target video and the said input person.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016111563A JP6818310B2 (en) | 2016-06-03 | 2016-06-03 | Information processing equipment, information processing methods, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016111563A JP6818310B2 (en) | 2016-06-03 | 2016-06-03 | Information processing equipment, information processing methods, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017219573A true JP2017219573A (en) | 2017-12-14 |
JP6818310B2 JP6818310B2 (en) | 2021-01-20 |
Family
ID=60656033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016111563A Active JP6818310B2 (en) | 2016-06-03 | 2016-06-03 | Information processing equipment, information processing methods, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6818310B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019205163A (en) * | 2018-05-22 | 2019-11-28 | 東光電気工事株式会社 | Image processing apparatus, program, and image processing method |
WO2021004362A1 (en) * | 2019-07-10 | 2021-01-14 | 阿里巴巴集团控股有限公司 | Audio data processing method and apparatus, and electronic device |
TWI741550B (en) * | 2020-03-31 | 2021-10-01 | 國立雲林科技大學 | Method for bookmark frame generation, and video player device with automatic generation of bookmark and user interface thereof |
KR102347173B1 (en) * | 2021-06-02 | 2022-01-03 | 재단법인 사랑글로벌아카데미 | System and method for creating customized gospel content and method for sharing customized gospel content using the same |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003164669A (en) * | 2001-11-29 | 2003-06-10 | Konami Computer Entertainment Yokyo Inc | Network game system, game apparatus and program |
JP2005070532A (en) * | 2003-08-26 | 2005-03-17 | Hitachi Ltd | Remote interactive educational system |
JP2006023506A (en) * | 2004-07-07 | 2006-01-26 | Tokai Univ | Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program |
JP2007274090A (en) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | Content reproducing apparatus, method, and program |
JP2014158620A (en) * | 2013-02-20 | 2014-09-04 | Square Enix Co Ltd | Game system, control method, program, and recording medium |
WO2014189812A2 (en) * | 2013-05-20 | 2014-11-27 | Microsoft Corporation | Ink to text representation conversion |
-
2016
- 2016-06-03 JP JP2016111563A patent/JP6818310B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003164669A (en) * | 2001-11-29 | 2003-06-10 | Konami Computer Entertainment Yokyo Inc | Network game system, game apparatus and program |
JP2005070532A (en) * | 2003-08-26 | 2005-03-17 | Hitachi Ltd | Remote interactive educational system |
JP2006023506A (en) * | 2004-07-07 | 2006-01-26 | Tokai Univ | Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program |
JP2007274090A (en) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | Content reproducing apparatus, method, and program |
JP2014158620A (en) * | 2013-02-20 | 2014-09-04 | Square Enix Co Ltd | Game system, control method, program, and recording medium |
WO2014189812A2 (en) * | 2013-05-20 | 2014-11-27 | Microsoft Corporation | Ink to text representation conversion |
Non-Patent Citations (4)
Title |
---|
"[2015年6月6日・巨人×ソフトバンク] 川島慶三選手の2度に渡る見事なカットプレー・赤星氏解説", YOUTUBE [ONLINE] [VIDEO], JPN7020001677, 27 August 2015 (2015-08-27), ISSN: 0004290403 * |
"使い方講座 iMovie version 10.0.4 動画の合成(ワイプ・重ね・両表示)", YOUTUBE [ONLINE] [VIDEO], JPN7019001875, 17 July 2014 (2014-07-17), ISSN: 0004053912 * |
こんなに簡単なの!?「IMOVIE」で誰にでもできる「動画編集」おしえます!, JPN6019021801, ISSN: 0004206546 * |
動画・写真・音声合成アプリ「MAGICWAN」IOS版、APP STOREで提供開始, JPN6019021794, ISSN: 0004053913 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019205163A (en) * | 2018-05-22 | 2019-11-28 | 東光電気工事株式会社 | Image processing apparatus, program, and image processing method |
WO2021004362A1 (en) * | 2019-07-10 | 2021-01-14 | 阿里巴巴集团控股有限公司 | Audio data processing method and apparatus, and electronic device |
CN112287129A (en) * | 2019-07-10 | 2021-01-29 | 阿里巴巴集团控股有限公司 | Audio data processing method and device and electronic equipment |
TWI741550B (en) * | 2020-03-31 | 2021-10-01 | 國立雲林科技大學 | Method for bookmark frame generation, and video player device with automatic generation of bookmark and user interface thereof |
KR102347173B1 (en) * | 2021-06-02 | 2022-01-03 | 재단법인 사랑글로벌아카데미 | System and method for creating customized gospel content and method for sharing customized gospel content using the same |
Also Published As
Publication number | Publication date |
---|---|
JP6818310B2 (en) | 2021-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6818310B2 (en) | Information processing equipment, information processing methods, and programs | |
JP2014082582A (en) | Viewing device, content provision device, viewing program, and content provision program | |
JP6295494B2 (en) | Terminal device, comment distribution system, and program | |
CN109151565A (en) | Play method, apparatus, electronic equipment and the storage medium of voice | |
KR100901111B1 (en) | Live-Image Providing System Using Contents of 3D Virtual Space | |
TW202341038A (en) | Computer-readable storage medium, terminal, and server | |
JP2021006894A (en) | Content distribution server, content generation device, education terminal, content distribution program and education program | |
Bulut | Digital performance: The use of new media technologies in the performing arts | |
KR20200028830A (en) | Real-time computer graphics video broadcasting service system | |
CN114846808B (en) | Content distribution system, content distribution method, and storage medium | |
CN109872400B (en) | Panoramic virtual reality scene generation method | |
JP2008032787A (en) | Language learning system and program for language learning system | |
Mulvany | Because the Night-Immersive Theatre for Digital Audiences: Mapping the affordances of immersive theatre to digital interactions using game engines | |
JP2017199058A (en) | Recognition device, image content presentation system, program | |
KR20170085781A (en) | System for providing and booking virtual reality video based on wire and wireless communication network | |
JP2021005058A (en) | Remote education system | |
WO2023130715A1 (en) | Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
JP5777233B1 (en) | Movie generation apparatus and movie generation method | |
US20240236401A9 (en) | Terminal and non-transitory computer-readable medium | |
US20240137599A1 (en) | Terminal and non-transitory computer-readable medium | |
JP5509287B2 (en) | Reproduction display device, reproduction display program, reproduction display method, and image processing server | |
JP7497002B1 (en) | Systems and methods for streaming - Patents.com | |
WO2024142674A1 (en) | Content generation device, content generation method, program, and recording medium | |
WO2022176633A1 (en) | Video editing device, video editing method, and computer program | |
KR101816446B1 (en) | Image processing system for processing 3d contents displyed on the flat display and applied telepresence, and method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160603 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180220 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180710 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190422 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190422 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191120 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200427 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200427 |
|
C876 | Explanation why request for accelerated appeal examination is justified |
Free format text: JAPANESE INTERMEDIATE CODE: C876 Effective date: 20200427 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200518 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200519 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200626 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200630 |
|
C305 | Report on accelerated appeal examination |
Free format text: JAPANESE INTERMEDIATE CODE: C305 Effective date: 20200706 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200707 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200818 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200929 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20201109 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201117 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201215 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6818310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |