JP2018013879A - Digest picture acquisition device, digest picture acquisition method and program - Google Patents
Digest picture acquisition device, digest picture acquisition method and program Download PDFInfo
- Publication number
- JP2018013879A JP2018013879A JP2016141801A JP2016141801A JP2018013879A JP 2018013879 A JP2018013879 A JP 2018013879A JP 2016141801 A JP2016141801 A JP 2016141801A JP 2016141801 A JP2016141801 A JP 2016141801A JP 2018013879 A JP2018013879 A JP 2018013879A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- change information
- partial
- digest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、映像からダイジェスト映像を取得するダイジェスト映像取得装置等に関するものである。 The present invention relates to a digest video acquisition device for acquiring a digest video from a video.
従来、検索要求を満足するダイジェストを同定し、当該ダイジェストをユーザに提示する映像検索ダイジェスト生成装置があった(特許文献1参照)。かかる装置において、映像を入力し、映像コンテンツ記憶手段に格納し、映像コンテンツ記憶手段から映像を読み出して解析し、キーワードを抽出し、検索ダイジェスト記憶手段に格納し、映像コンテンツ記憶手段から映像を読み出して、該映像を分割した区間のダイジェストを生成するための情報である要約情報として検索ダイジェスト記憶手段に格納する。そして、かかる装置は、ユーザから指定された検索語に対応するキーワードを検索ダイジェスト記憶手段から取得し、該キーワードに対応する要約情報を該検索ダイジェスト記憶手段から取得し、映像コンテンツ記憶手段から該要約情報の区分の映像をダイジェストとして取得して該ユーザの表示手段に出力する装置である。 Conventionally, there has been a video search digest generation device that identifies a digest that satisfies a search request and presents the digest to a user (see Patent Document 1). In such an apparatus, video is input, stored in video content storage means, video is read from video content storage means, analyzed, keywords are extracted, stored in search digest storage means, and video is read from video content storage means Then, it is stored in the search digest storage means as summary information that is information for generating a digest of the section into which the video is divided. Then, such an apparatus acquires a keyword corresponding to the search term designated by the user from the search digest storage unit, acquires summary information corresponding to the keyword from the search digest storage unit, and acquires the summary from the video content storage unit. It is a device that acquires a video of information classification as a digest and outputs it to the display means of the user.
しかし、従来技術においては、映像から一部を抽出した適切なダイジェスト映像を取得することが困難であった。 However, in the prior art, it has been difficult to acquire an appropriate digest video obtained by extracting a part from the video.
本第一の発明のダイジェスト映像取得装置は、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であるフレーム間変化情報を取得する変化情報取得部と、フレーム間変化情報を用いて、映像の一部である1または2以上の部分映像を取得する部分映像取得部と、部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部とを具備するダイジェスト映像取得装置である。 The digest video acquisition device according to the first aspect of the present invention includes a change information acquisition unit that acquires inter-frame change information that is information indicating a change between two or more frames of two or more frames constituting a video, A partial video acquisition unit that acquires one or more partial videos that are part of the video using the change information; and a storage unit that stores a digest video having one or more partial videos acquired by the partial video acquisition unit; Is a digest video acquisition device.
かかる構成により、フレーム間の変化を示すフレーム間変化情報を用いてダイジェスト映像を取得するため、適切なダイジェスト映像を取得できる。 With such a configuration, since the digest video is acquired using the inter-frame change information indicating the change between frames, an appropriate digest video can be acquired.
また、本第二の発明のダイジェスト映像取得装置は、第一の発明に対して、部分映像取得部は、フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得するダイジェスト映像取得装置である。 Further, the digest video acquisition device of the second aspect of the present invention, in contrast to the first aspect, when the partial video acquisition unit is information indicating a change that is large enough that the inter-frame change information satisfies a predetermined condition, A digest video acquisition device that acquires one or more partial videos including a frame corresponding to inter-frame change information.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
また、本第三の発明のダイジェスト映像取得装置は、第一または第二の発明に対して、変化情報取得部は、2つのフレーム間の変化に関する2以上の特徴量を取得し、2以上の特徴量を用いて、フレーム間変化情報を取得するダイジェスト映像取得装置である。 In the digest video acquisition device according to the third aspect of the present invention, the change information acquisition unit acquires two or more feature amounts related to a change between two frames, in comparison with the first or second aspect. This is a digest video acquisition device that acquires inter-frame change information using feature amounts.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
また、本第四の発明のダイジェスト映像取得装置は、第一から第三いずれか1つの発明に対して、部分映像の数である部分映像数を受け付ける受付部をさらに具備し、部分映像取得部は、部分映像数の部分映像を取得するダイジェスト映像取得装置である。 The digest video acquisition device according to the fourth aspect of the present invention further includes a reception unit that receives the number of partial videos, which is the number of partial videos, for any one of the first to third inventions, and the partial video acquisition unit Is a digest video acquisition device that acquires partial videos corresponding to the number of partial videos.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
また、本第五の発明のダイジェスト映像取得装置は、第一記載から第三いずれか1つの発明に対して、部分映像の開始フレームを選択するための第一選択条件が格納される選択条件格納部をさらに具備し、部分映像取得部は、第一選択条件に合致する1以上のフレームを選択するフレーム選択手段と、フレーム選択手段が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する部分映像取得手段とを具備するダイジェスト映像取得装置である。 The digest video acquisition device according to the fifth aspect of the present invention is a selection condition storage for storing a first selection condition for selecting a start frame of a partial video for any one of the first to third aspects of the invention. The partial video acquisition unit includes a frame selection unit that selects one or more frames that match the first selection condition, and one or more frames that use one or more frames selected by the frame selection unit as a start frame. A digest video acquisition device comprising partial video acquisition means for acquiring a partial video.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
また、本第六の発明のダイジェスト映像取得装置は、第五の発明に対して、部分映像取得手段は、開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得するダイジェスト映像取得装置である。 The digest video acquisition device of the sixth aspect of the present invention is the fifth aspect of the invention, wherein the partial video acquisition means includes two or more scenes from the start frame and the next start frame or video end frame. It is a digest video acquisition device that acquires a partial video having a length corresponding to the length of a scene.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
また、本第七の発明のダイジェスト映像取得装置は、第五の発明に対して、部分映像取得手段は、開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、一定長の部分映像を取得するダイジェスト映像取得装置である。 The digest video acquisition device according to the seventh aspect of the present invention is the fifth aspect of the invention, wherein the partial video acquisition means includes two or more scenes from the start frame and the next start frame or video end frame. This is a digest video acquisition device that acquires a partial video of a certain length.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
また、本第八の発明のダイジェスト映像取得装置は、第五から第七いずれか1つの発明に対して、選択条件格納部は、部分映像の終了フレームを選択するための第二選択条件をも格納し、部分映像取得手段は、第二選択条件に合致する1以上のフレームを選択し、開始フレームから選択した終了フレームまでの部分映像を取得するダイジェスト映像取得装置である。 Further, in the digest video acquisition device of the eighth invention, the selection condition storage unit has a second selection condition for selecting an end frame of the partial video, for any one of the fifth to seventh inventions. The storing and partial video acquisition means is a digest video acquisition device that selects one or more frames that match the second selection condition and acquires partial videos from the start frame to the selected end frame.
かかる構成により、適切なダイジェスト映像を取得できる。 With this configuration, an appropriate digest video can be acquired.
本発明によるダイジェスト映像取得装置によれば、フレーム間変化情報を用いてダイジェスト映像を取得するため、適切なダイジェスト映像を取得できる。 According to the digest video acquisition apparatus according to the present invention, an appropriate digest video can be acquired because the digest video is acquired using the inter-frame change information.
以下、ダイジェスト映像取得装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, embodiments of a digest video acquisition device and the like will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.
(実施の形態1)
本実施の形態において、映像のフレーム間の変化情報であるフレーム間変化情報を取得し、当該フレーム間変化情報を用いて、映像の一部からなるダイジェスト映像を取得するダイジェスト映像取得装置について説明する。
(Embodiment 1)
In this embodiment, a digest video acquisition device that acquires inter-frame change information that is change information between frames of a video and acquires a digest video that is a part of the video using the inter-frame change information will be described. .
また、本実施の形態において、フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報に対応するフレームをシーンの開始フレームとして、映像の一部を取得し、当該映像の一部を含むダイジェスト映像を取得するダイジェスト映像取得装置について説明する。 Further, in the present embodiment, a part of the video is acquired by using a frame corresponding to information indicating a change large enough that the inter-frame change information satisfies a predetermined condition as a start frame of the scene, and a part of the video is acquired. A digest video acquisition device that acquires a digest video including the above will be described.
また、本実施の形態において、フレーム間の変化に関する2以上の特徴量から、フレーム間ごとに一のフレーム間変化情報を取得し、当該フレーム間変化情報を用いて、映像の一部からなるダイジェスト映像を取得するダイジェスト映像取得装置について説明する。 In the present embodiment, one frame-to-frame change information is acquired for each frame from two or more feature quantities related to the change between frames, and a digest consisting of a part of the video is used using the inter-frame change information. A digest video acquisition device for acquiring video will be described.
また、本実施の形態において、映像の分割数N(Nは2以上の自然数)を受け付け、当該分割数Nの数のシーンを検出し、2以上のシーンごとに部分映像を取得し、当該2以上の部分映像を連結したダイジェスト映像を取得するダイジェスト映像取得装置について説明する。 Further, in the present embodiment, the division number N (N is a natural number of 2 or more) of video is received, the number of divisions N is detected, partial video is obtained for every two or more scenes, and the 2 A digest video acquisition device that acquires a digest video obtained by connecting the above partial videos will be described.
また、本実施の形態において、予め決められた条件に合致するフレームをシーンの開始フレームとして、映像の一部を取得し、当該映像の一部を含むダイジェスト映像を取得するダイジェスト映像取得装置について説明する。 Also, in the present embodiment, a digest video acquisition device that acquires a part of a video by using a frame that matches a predetermined condition as a start frame of a scene and acquires a digest video including the part of the video will be described. To do.
また、本実施の形態において、シーンの長さに応じた長さの部分映像を各シーンから取得し、ダイジェスト映像を構成するダイジェスト映像取得装置について説明する。 Also, in the present embodiment, a digest video acquisition device that acquires a partial video having a length corresponding to the length of the scene from each scene and forms a digest video will be described.
また、本実施の形態において、シーンの長さとは無関係に、一定長の部分映像を各シーンから取得し、ダイジェスト映像を構成するダイジェスト映像取得装置について説明する。 Also, in the present embodiment, a digest video acquisition device that acquires a partial video of a certain length from each scene regardless of the length of the scene and constitutes the digest video will be described.
さらに、本実施の形態において、予め決められた条件を満たす終了フレームを決定し、開始フレームからかかる終了フレームまでの部分映像を取得し、ダイジェスト映像を構成するダイジェスト映像取得装置について説明する。 Furthermore, in the present embodiment, a digest video acquisition device that determines an end frame that satisfies a predetermined condition, acquires a partial video from the start frame to the end frame, and constitutes a digest video will be described.
図1は、本実施の形態におけるダイジェスト映像取得装置1のブロック図である。
FIG. 1 is a block diagram of a digest
ダイジェスト映像取得装置1は、格納部11、受付部12、処理部13、および送信部14を備える。格納部11は、映像格納部111、選択条件格納部112、およびダイジェスト映像格納部113を備える。
The digest
処理部13は、変化情報取得部131、部分映像取得部132、および蓄積部133を備える。
The
部分映像取得部132は、フレーム選択手段1321、および部分映像取得手段1322を備える。
The partial
格納部11は、各種の情報が格納される。各種の情報とは、例えば、ダイジェスト映像が作成される元になる映像、後述する選択条件、ダイジェスト映像等である。 The storage unit 11 stores various types of information. The various information includes, for example, a video from which a digest video is created, a selection condition described later, a digest video, and the like.
映像格納部111は、2以上のフレームを有する映像が格納される。この映像は、ダイジェスト映像が作成される元になる映像である。この映像に、音声が対応付いて含まれていても良いことは言うまでもない。
The
選択条件格納部112は、部分映像の開始フレームを選択するための第一選択条件が格納される。第一選択条件は、後述するフレーム間変化情報をパラメータとする条件である。第一選択条件は、例えば、フレーム間変化情報が閾値以上であるフレーム間の変化後のフレームを開始フレームとして選択すること、フレーム間変化情報の値が上位Nに対応するフレーム間の変化後のフレームを開始フレームとして選択すること、フレーム間変化情報が閾値以上であるフレーム間の変化後のフレームからX(Xは1以上の自然数)フレーム後のフレームを開始フレームとして選択すること、フレーム間変化情報の値が上位Nに対応するフレーム間の変化後のフレームからX(Xは1以上の自然数)フレーム後のフレームを開始フレームとして選択すること等である。
The selection
選択条件格納部112は、部分映像の終了フレームを選択するための第二選択条件をも格納していることは好適である。第二選択条件は、例えば、部分映像の時間に関する条件である。第二選択条件は、例えば、開始フレームから、シーンの長さをパラメータとする増加関数により算出される時間後、またはフシーンの長さをパラメータとする増加関数により算出されるフレーム数後のフレームを終了フレームとして選択することである。第二選択条件は、例えば、開始フレームから定数時間後のフレームを終了フレームとして選択すること、開始フレームから定数だけ後のフレームを終了フレームとして選択することである。
It is preferable that the selection
なお、第一選択条件、および第二選択条件の表現は問わない。第一選択条件、および第二選択条件は、例えば、論理式、プログラム等である。 The expression of the first selection condition and the second selection condition is not limited. The first selection condition and the second selection condition are, for example, a logical expression and a program.
ダイジェスト映像格納部113は、処理部13が取得したダイジェスト映像が格納される。
The digest
受付部12は、各種の指示や映像を受け付ける。各種の指示や映像とは、例えば、開始指示、部分映像数、ダイジェスト映像送信指示等である。開始指示とは、ダイジェスト映像の作成を開始する指示である。また、部分映像数とは、ダイジェスト映像を構成する部分映像の数である。ダイジェスト映像送信指示とは、ダイジェスト映像の送信の指示であり、映像またはダイジェスト映像を識別する映像識別子を有する。ダイジェスト映像送信指示は、通常、ユーザの端末装置(図示しない)から受信される。
The receiving
ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。 Here, reception means reception of information input from an input device such as a keyboard, mouse, touch panel, reception of information transmitted via a wired or wireless communication line, recording on an optical disk, magnetic disk, semiconductor memory, or the like. It is a concept including reception of information read from a medium.
各種の指示や映像の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。受付部12は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The input means for various instructions and images may be anything such as a keyboard, mouse, or menu screen. The receiving
処理部13は、各種の処理を行う。各種の処理とは、例えば、変化情報取得部131、部分映像取得部132、蓄積部133、フレーム選択手段1321、部分映像取得手段1322等が行う処理である。
The
変化情報取得部131は、映像格納部111の映像からフレーム間変化情報を取得する。フレーム間変化情報は、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報である。
The change
変化情報取得部131は、例えば、2つのフレーム間の変化に関する1または2以上の特徴量を取得し、当該1または2以上の特徴量を用いて、フレーム間変化情報を取得しても良い。かかる場合、フレーム間変化情報は、例えば、0から9までの自然数で示される。なお、フレーム間変化情報は、ここでは、数値が大きくなるほど、変化が大きいことを示す。なお、1以上の特徴量は、例えば、DC成分、輝度、色値、色差ヒストグラム相関などである。
For example, the change
変化情報取得部131は、例えば、上述したフレーム間変化情報を取得する第一から第三の処理を行い、第一フレーム間変化情報、第二フレーム間変化情報、第三フレーム間変化情報を取得する。そして、変化情報取得部131は、第一フレーム間変化情報、第二フレーム間変化情報、第三フレーム間変化情報を用いてフレーム間変化情報を取得する。なお、第一フレーム間変化情報、第二フレーム間変化情報、第三フレーム間変化情報は、それぞれが大きい値である(変化が大きい)ほど、フレーム間変化情報が大きい値(例えば、9に近づく)を採る。なお、2つのフレーム間からフレーム間変化情報を取得する場合、フレーム微分値をフレーム間変化情報として取得する、と言える。
For example, the change
変化情報取得部131は、3以上のフレームの組を取得し、3以上のフレームの組からフレーム間変化情報を取得しても良い。変化情報取得部131は、例えば、3つのフレームの組の中の前2つのフレーム間のフレーム微分値と、後2つのフレーム間のフレーム微分値とを取得し、2つのフレーム微分値の差異からフレーム間変化情報を取得しても良い。なお、変化情報取得部131は、通常、2つのフレーム微分値の差異をパラメータとする増加関数により、フレーム間変化情報を取得する。
The change
さらに具体的には、変化情報取得部131は、例えば、以下のように動作する。まず、変化情報取得部131は、映像の最初からフレーム間変化情報を取得する対象となる2つのフレームの組を、順次、選択する。次に、変化情報取得部131は、選択したフレームの間のフレーム間変化情報を取得する。
More specifically, the change
なお、フレーム間変化情報は、例えば、2つのフレームである画像の類似度をパラメータとする減少関数(例えば、逆数)により取得される。また、フレーム間変化情報は、例えば、以下の第一から第四のいずれかの処理により算出される。 Note that the inter-frame change information is acquired by, for example, a decreasing function (for example, an inverse number) using the similarity between two frames as a parameter. In addition, the interframe change information is calculated, for example, by one of the following first to fourth processes.
フレーム間変化情報の第一の取得処理は、ピクセル毎比較処理である。ピクセル毎比較処理とは、2つの各フレームの空間上の同一ピクセルの色値(例えば、RGBの値)の差であえる色値差を取得する。2つの各フレーム(フレーム1とフレーム2)の同一位置上のピクセルの色値がそれぞれ(r1,g1,b1)、(r2,g2,b2)であるとした場合、色値差(d)は、数式1で示される。
The first acquisition process of inter-frame change information is a pixel-by-pixel comparison process. In the pixel-by-pixel comparison process, a color value difference that is a difference between color values (for example, RGB values) of the same pixel in the space of two frames is acquired. If the color values of the pixels at the same position in each of the two frames (
そして、変化情報取得部131は、例えば、複数のピクセル間の色値差の平均値をフレーム間変化情報として取得する。また、変化情報取得部131は、例えば、当該色値差の平均値が大きいほど、大きい値となるフレーム間変化情報を取得しても良い。つまり、変化情報取得部131は、色値差の平均値をパラメータとする増加関数により、フレーム間変化情報を取得しても良い。なお、ピクセル毎比較処理により得られたフレーム間変化情報を第一フレーム間変化情報と言う。
Then, the change
フレーム間変化情報の第二の取得処理は、ピクセル比較処理である。ピクセル比較処理とは、2つの各フレーム(フレーム1とフレーム2)の同一位置上のピクセルの色値差(d)を算出し、色値差(d)が閾値以上または閾値より大きい場合、エラーピクセルと判断し、エラーピクセルの数を取得する処理である。つまり、変化情報取得部131は、エラーピクセルの数をフレーム間変化情報として取得する。変化情報取得部131は、エラーピクセルの数が多いほど、大きい値となるフレーム間変化情報を取得しても良い。つまり、変化情報取得部131は、エラーピクセルの数をパラメータとする増加関数により、フレーム間変化情報を取得しても良い。なお、ピクセル比較処理により得られたフレーム間変化情報を第二フレーム間変化情報と言う。
The second acquisition process of interframe change information is a pixel comparison process. Pixel comparison processing calculates the color value difference (d) of pixels at the same position in two frames (
フレーム間変化情報の第三の取得処理は、カラーヒストグラム比較処理である。なお、カラーヒストグラムとは、画像中に各色が何ピクセルあるか数えて作成した棒グラフである。カラーヒストグラム比較処理は、例えば、2つのフレームの各色の数の差異の合計または各色の数の差異の平均値や中央値等をフレーム間変化情報として取得する処理である。また、変化情報取得部131は、例えば、2つのフレームの各色の数の差異の合計または各色の数の差異の平均値や中央値等が大きい、大きい値となるフレーム間変化情報を取得しても良い。つまり、変化情報取得部131は、2つのフレームの各色の数の差異の合計または各色の数の差異の平均値や中央値等をパラメータとする増加関数により、フレーム間変化情報を取得しても良い。なお、カラーヒストグラム比較処理により得られたフレーム間変化情報を第三フレーム間変化情報と言う。
The third acquisition process of inter-frame change information is a color histogram comparison process. The color histogram is a bar graph created by counting how many pixels each color is in the image. The color histogram comparison process is a process for obtaining, for example, the total difference in the number of colors in two frames or the average value or median value of the difference in the number of colors as inter-frame change information. In addition, the change
また、変化情報取得部131は、上記の処理において、例えば、正規化されたフレーム間変化情報(例えば、0から9の整数のうちのいずれか)を取得しても良い。
Further, the change
フレーム間変化情報の第四の取得処理は、分割領域比較処理である。分割領域比較処理とは、以下のような処理である。つまり、変化情報取得部131は、2つの各フレーム(フレーム1とフレーム2)を2以上の領域に分割し、2以上の分割領域を得る。そして、変化情報取得部131は、2つの各フレームの同一の分割領域に対して、分割領域間の変換の度合いを示す情報である分割領域変化情報を、2以上の各分割領域ごとに取得する。そして、変化情報取得部131は、2以上の各分割領域の2以上の分割領域変化情報を用いて、フレーム間変化情報を取得する。分割領域比較処理において、変化情報取得部131は、2以上の各分割領域に対して、上述したピクセル毎比較処理により分割領域変化情報を取得しても良いし、ピクセル比較処理により分割領域変化情報を取得しても良いし、2つの各分割領域における1以上の特徴量の差異から分割領域変化情報を取得しても良い。
The fourth acquisition process of inter-frame change information is a divided area comparison process. The divided area comparison process is the following process. That is, the change
部分映像取得部132は、フレーム間変化情報を用いて、映像から1または2以上の部分映像を取得する。なお、部分映像は映像の一部である。ここで部分映像を取得する処理は、部分映像の開始フレームと終了フレームを特定する処理でも良い。また、具体的には、部分映像取得部132は、フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、当該フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得する。フレーム間変化情報に対応するフレームとは、通常、フレーム間変化情報の算出対象となった2以上のフレームである。フレーム間変化情報に対応するフレームは、通常、フレーム間変化情報の算出対象となった2以上のフレームのうちの、時間的に最後のフレームである。ただし、フレーム間変化情報に対応するフレームは、フレーム間変化情報の算出対象となった2以上のフレームのうちのいずれかを基準として、時間的に後のフレーム(例えば、3フレーム後のフレーム、10フレーム後のフレーム等)でも良い。
The partial
部分映像取得部132は、受付部12で受け付けられた部分映像数の部分映像を取得しても良い。なお、部分映像取得部132が取得する部分映像の長さ(例えば、時間、フレーム数)は予め決められていても良いし、動的に変わっても良い。
The partial
フレーム選択手段1321は、第一選択条件に合致する1以上のフレームを選択する。フレーム選択手段1321が取得した1以上の各フレームは、部分映像の開始フレームである。なお、第一選択条件は、例えば、フレーム間変化情報が閾値以上または閾値より大きいことである。また、第一選択条件は、例えば、フレーム間変化情報の上位N(Nは部分映像数、または部分映像数−1であり、自然数である。)であることである。
The
部分映像取得手段1322は、フレーム選択手段1321が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する。
The partial
部分映像取得手段1322は、2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得しても良い。シーンとは、開始フレームと次の開始フレームまでフレーム群、または開始フレームと映像の終了フレームとまでのフレーム群である。
The partial
部分映像取得手段1322は、2以上の各シーンから、一定長の部分映像を取得しても良い。一定長を特定する情報は、格納部11に格納されている。
The partial
部分映像取得手段1322は、第二選択条件に合致する1以上のフレームを終了フレームとして選択し、開始フレームから選択した終了フレームまでの部分映像を取得する。なお、第二選択条件は、例えば、開始フレームからMフレーム後のフレームを終了フレームとして選択することである。また、第二選択条件は、例えば、開始フレームが含まれるシーンの長さに応じた部分映像の長さの決定し、開始フレームから当該部分映像の長さに対応するフレームを終了フレームとして選択することである。
The partial
蓄積部133は、部分映像取得部132が取得した1以上の部分映像を有するダイジェスト映像を蓄積する。蓄積部133は、部分映像取得部132が取得した2以上の部分映像を連結して、ダイジェスト映像を生成し、当該ダイジェスト映像を蓄積しても良い。ここで、蓄積とは、通常、格納部11への格納であるが、外部の装置に蓄積することでも良い。また、ダイジェスト映像を蓄積することは、映像の開始フレームおよび終了フレームに対応付けて、フラグを付加し、当該フラグを用いて、ダイジェスト映像が再生できる状況を構成することでも良い。なお、ここでのフラグとは、例えば、後述する開始フラグ、または終了フラグである。
The
送信部14は、ダイジェスト映像を図示しない端末装置に送信する。送信部14は、部分映像取得部132が取得した1以上の部分映像を端末装置に送信しても良い。送信部14は、例えば、受付部12がダイジェスト映像送信指示を受け付けた場合に、当該ダイジェスト映像送信指示に対応するダイジェスト映像を端末装置に送信する。なお、この端末装置は、ダイジェスト映像送信指示を送信した装置である。
The
格納部11、映像格納部111、選択条件格納部112、ダイジェスト映像格納部113は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
The storage unit 11, the
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。 The process in which information is stored in the storage unit 11 or the like is not limited. For example, information may be stored in the storage unit 11 or the like via a recording medium, information transmitted via a communication line or the like may be stored in the storage unit 11 or the like, Alternatively, information input via the input device may be stored in the storage unit 11 or the like.
処理部13、変化情報取得部131、部分映像取得部132、蓄積部133、フレーム選択手段1321、部分映像取得手段1322は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
The
送信部14は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
The
次に、ダイジェスト映像取得装置1の動作について、図2のフローチャートを用いて説明する。
Next, operation | movement of the digest
(ステップS201)受付部12は、開始指示を受け付けたか否かを判断する。開始指示を受け付けた場合はステップS202に行き、開始指示を受け付けない場合はステップS212に行く。
(Step S201) The receiving
(ステップS202)変化情報取得部131は、カウンタiに1を代入する。
(Step S202) The change
(ステップS203)変化情報取得部131は、映像格納部111の映像の中に、i番目の組が存在するか否かを判断する。i番目の組が存在する場合はステップS204に行き、i番目の組が存在しない場合はステップS206に行く。なお、i番目の組とは、フレーム間変化情報を取得する対象の2以上のフレームである。例えば、i番目の組とは、フレーム間変化情報を取得する対象の2つの連続するフレームである。
(Step S203) The change
(ステップS204)変化情報取得部131は、i番目の組のフレーム群に対して、フレーム間変化情報を取得する。なお、フレーム間変化情報取得処理について、図3、図4のフローチャートを用いて説明する。
(Step S204) The change
(ステップS205)変化情報取得部131は、カウンタiを1、インクリメントする。ステップS203に戻る。
(Step S205) The change
(ステップS206)フレーム選択手段1321は、第一選択条件に合致する1または2以上の開始フレームを選択する。第一選択条件は、例えば、フレーム間変化情報が閾値以上または閾値より大きい(変化が激しい)フレームである。なお、当該開始フレームは、通常、i番目の組のフレーム群のうちの最後のフレームである。
(Step S206) The
(ステップS207)部分映像取得手段1322は、カウンタjに1を代入する。 (Step S207) The partial video acquisition means 1322 assigns 1 to the counter j.
(ステップS208)部分映像取得手段1322は、j番目の開始フレームが存在するか否かを判断する。j番目の開始フレームが存在する場合はステップS209に行き、j番目の開始フレームが存在しない場合はステップS211に行く。
(Step S208) The partial
(ステップS209)部分映像取得手段1322は、j番目の開始フレームに対応する終了フレームであり、第二選択条件に合致する終了フレームを決定する。なお、この終了フレームは、(j+1)番目の開始フレームより時間的に前のフレームである。また、部分映像取得手段1322が終了フレームを決定する処理は、例えば、終了フレームの識別子(例えば、フレーム番号)を取得すること、終了フレームの識別子(例えば、フレーム番号)を開始フレームの識別子に対応付けて蓄積すること、終了フレームに終了フレームであることを示すフラグを付加すること等である。終了フレームを決定する処理の内容は問わない。
(Step S209) The partial
(ステップS210)部分映像取得手段1322は、カウンタjを1、インクリメントする。ステップS208に戻る。
(Step S210) The partial
(ステップS211)蓄積部133は、部分映像取得部132が取得した1以上の部分映像を有するダイジェスト映像を蓄積する。ステップS201に戻る。なお、蓄積部133は、例えば、開始フレームから終了フレームまでのフレーム群を切り出し、部分映像を取得し、取得した2以上の部分映像を連結してダイジェスト映像を生成し、当該ダイジェスト映像を蓄積しても良い。また、蓄積部133は、フレーム選択手段1321が取得した開始フレームの識別子と、部分映像取得手段1322が取得した終了フレームの識別子との組を、格納部11に蓄積しても良い。また、蓄積部133は、フレーム選択手段1321が取得した開始フレームの識別子に対応する開始フレームに、開始フレームである旨のフラグを付加し、かつ部分映像取得手段1322が取得した終了フレームの識別子に対応する終了フレームに、終了フレームである旨のフラグを付加するなどしても良い。つまり、蓄積部133がダイジェスト映像を蓄積する処理は、ダイジェスト映像を取得できるようにする処理であれば良い。
(Step S211) The
(ステップS212)受付部12は、ダイジェスト映像送信指示を図示しない端末装置から受信したか否かを判断する。ダイジェスト映像送信指示を受信した場合はステップS213に行き、受信しなかった場合はステップS201に戻る。
(Step S212) The accepting
(ステップS213)処理部13は、ステップS212で受信されたダイジェスト映像送信指示に対応するダイジェスト映像を取得する。
(Step S213) The
(ステップS214)送信部14は、ステップS213で取得されたダイジェスト映像を図示しない端末装置に送信する。ステップS201に戻る。
(Step S214) The
なお、図2のフローチャートにおいて、例えば、フレーム間変化情報取得処理の対象となるフレームの組は、2フレームであり、時間的に連続する2つのフレームである、とする。
しても良い。
In the flowchart of FIG. 2, for example, it is assumed that the set of frames to be subjected to the inter-frame change information acquisition process is two frames and two frames that are temporally continuous.
You may do it.
また、図2のフローチャートにおいて、部分映像取得手段1322は、映像の最初のフレームを、部分映像の開始フレームとし、第二選択条件に合致する終了フレームを決定しても良い。
In the flowchart of FIG. 2, the partial
さらに、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 2, the processing is ended by powering off or interruption of processing end.
次に、ステップS204のフレーム間変化情報取得処理の第一の例について、図3のフローチャートを用いて説明する。図3のフローチャートにおいて、フレーム間変化情報の取得処理は、上述したピクセル比較処理を例として説明する。また、本フローチャートにおいて、フレーム間変化情報の取得処理の対象の2つの時間的に連続するフレームをフレーム1、フレーム2ということとする。また、映像中において、フレーム1の次にフレーム2が存在する、とする。
Next, a first example of the inter-frame change information acquisition process in step S204 will be described using the flowchart of FIG. In the flowchart of FIG. 3, the inter-frame change information acquisition process will be described using the above-described pixel comparison process as an example. Also, in this flowchart, two temporally continuous frames that are targets of the inter-frame change information acquisition process are referred to as
(ステップS301)変化情報取得部131は、カウンタiに1を代入する。また、変化情報取得部131は、変数「エラー数」に0を代入する。
(Step S301) The change
(ステップS302)変化情報取得部131は、フレーム1またはフレーム2にi番目のピクセルが存在するか否かを判断する。i番目のピクセルが存在する場合はステップS303に行き、i番目のピクセルが存在しない場合はステップS309に行く。なお、変化情報取得部131は、例えば、フレーム1またはフレーム2のピクセルを順に走査し、i番目のピクセルを取得する。
(Step S302) The change
(ステップS303)変化情報取得部131は、フレーム1のi番目のピクセルの色値を取得する。
(Step S303) The change
(ステップS304)変化情報取得部131は、フレーム2のi番目のピクセルの色値を取得する。なお、フレーム1のi番目のピクセルのフレーム内の座標位置とフレーム2のi番目のピクセルのフレーム内の座標位置とは同じである。
(Step S304) The change
(ステップS305)変化情報取得部131は、ステップS303およびステップS304で取得した2つの色値から、距離を算出する。かかる算出方法は、上述した数式1である。
(Step S305) The change
(ステップS306)変化情報取得部131は、ステップS305で取得した距離が閾値以上であるか否かを判断する。距離が閾値以上であればステップS307に行き、距離が閾値未満であればステップS308に行く。
(Step S306) The change
(ステップS307)変化情報取得部131は、変数「エラー数」に1を加える。
(Step S307) The change
(ステップS308)変化情報取得部131は、カウンタiを1、インクリメントする。
(Step S308) The change
(ステップS309)変化情報取得部131は、フレーム間変化情報に変数「エラー数」の値を代入する。
(Step S309) The change
なお、図3のフローチャートにおいて、ピクセルの色値を用いて、フレーム間変化情報を取得した。しかし、図3のフローチャートにおいて、ピクセルの他の特徴量(属性値と言っても良い)を用いて、2つのピクセル間の距離(差異と言っても良い)を算出し、かかる距離を用いて、フレーム間変化情報を取得しても良い。なお、ピクセルの他の特徴量とは、例えば、輝度、明度である。 In the flowchart of FIG. 3, the inter-frame change information is acquired using the color value of the pixel. However, in the flowchart of FIG. 3, the distance between two pixels (which may be referred to as a difference) is calculated using another feature amount (which may be referred to as an attribute value) of the pixel, and the distance is used. Inter-frame change information may be acquired. In addition, the other feature amount of the pixel is, for example, luminance and brightness.
次に、ステップS204のフレーム間変化情報取得処理の第二の例について、図4のフローチャートを用いて説明する。図4のフローチャートにおいて、フレーム間変化情報の取得処理は、上述した分割領域比較処理を例として説明する。また、本フローチャートにおいて、フレーム間変化情報の取得処理の対象の2つの連続するフレームをフレーム1、フレーム2ということとする。また、映像中において、フレーム1の次にフレーム2が存在する、とする。
Next, a second example of the inter-frame change information acquisition process in step S204 will be described using the flowchart of FIG. In the flowchart of FIG. 4, the inter-frame change information acquisition process is described using the above-described divided area comparison process as an example. Also, in this flowchart, two consecutive frames to be subjected to the inter-frame change information acquisition process are referred to as “
(ステップS401)変化情報取得部131は、カウンタiに1を代入する。
(Step S401) The change
(ステップS402)変化情報取得部131は、フレーム1またはフレーム2にi番目の分割領域が存在するか否かを判断する。i番目の分割領域が存在する場合はステップS403に行き、i番目の分割領域が存在しない場合はステップS408に行く。なお、格納部11に、2以上の各分割領域を特定する分割領域特定(例えば、領域の左上座標と右下座標)が格納されている。そして、変化情報取得部131は、格納部11の分割領域特定情報を順に取得していき、i番目の分割領域が存在するか否か(i番目の分割領域特定情報が格納部11に存在するか否か)を判断する。
(Step S402) The change
(ステップS403)変化情報取得部131は、フレーム1のi番目の分割領域の1以上の特徴量を取得する。なお、1以上の特徴量は、例えば、i番目の分割領域の各ピクセルの色値の平均値、i番目の分割領域の各ピクセルの輝度の平均値、i番目の分割領域の色ヒストグラムの情報等である。また、変化情報取得部131は、例えば、i番目の分割領域特定情報を格納部11から取得する。そして、変化情報取得部131は、例えば、当該分割領域特定情報が示す領域の画像から1以上の特徴量を取得する。
(Step S403) The change
(ステップS404)変化情報取得部131は、フレーム2のi番目の分割領域の1以上の特徴量を取得する。
(Step S404) The change
(ステップS405)変化情報取得部131は、ステップS403で取得した1以上の特徴量とステップS404で取得した1以上の特徴量とを用いて、各特徴量の差を取得する。つまり、例えば、変化情報取得部131は、ステップS403で取得したフレーム1の色値の平均値とテップS404で取得したフレーム2の色値の平均値との差異を取得し、かつフレーム1の輝度の平均値とフレーム2の輝度の平均値との差異を取得する。
(Step S405) The change
(ステップS406)変化情報取得部131は、ステップS405で取得した1以上の差の情報から、i番目の分割領域の分割領域変化情報を取得する。変化情報取得部131は、ステップS405で取得した1以上の差の情報が大きな差を示す情報であるほど、i番目の分割領域の分割領域変化情報が大きな情報となるように、分割領域変化情報を取得する。
(Step S406) The change
(ステップS407)変化情報取得部131は、カウンタiを1、インクリメントする。ステップS402に戻る。
(Step S407) The change
(ステップS408)変化情報取得部131は、ステップS406で取得した2以上の各分割領域の分割領域変化情報を用いて、フレーム間変化情報を取得する。上位処理にリターンする。ここで、変化情報取得部131は、2以上の分割領域変化情報の平均値や中央値をフレーム間変化情報として取得しても良いし、2以上の分割領域変化情報の最大値をフレーム間変化情報として取得しても良い。つまり、分割領域変化情報が大きな値を示す場合ほど、大きな値のフレーム間変化情報を取得すれば良い。
(Step S408) The change
以下、本実施の形態におけるダイジェスト映像取得装置1の具体的な動作について説明する。
Hereinafter, a specific operation of the digest
今、映像格納部111に一の映像が格納されている。そして、ユーザは、ダイジェスト映像取得装置1に、部分映像数「5」を有する開始指示を入力した、とする。なお、一の映像は、例えば、フレーム番号0からフレーム番号17999の18000フレームを有する映像である、とする。
Now, one video is stored in the
次に、受付部12は、開始指示を受け付ける。そして、変化情報取得部131は、フレーム番号0に対応付けて、フレーム間変化情報「−1」を格納部11に付加する。
Next, the
そして、次に、変化情報取得部131は、映像格納部111の映像の中のフレーム番号0とフレーム番号1を取得する。そして、変化情報取得部131は、フレーム番号0からフレーム番号1への変換の度合いを示すフレーム間変化情報を、例えば、上述した分割領域比較処理により取得する。ここでは、変化情報取得部131は、フレーム番号0とフレーム番号1の各分割領域の分割領域変化情報を取得し、当該各分割領域の分割領域変化情報を用いて、正規化したフレーム間変化情報「1」を取得した、とする。そして、変化情報取得部131は、フレーム番号1に対応付けて、フレーム間変化情報「1」を格納部11に付加する。なお、変化情報取得部131は、「0」から「9」のいずれかの整数のフレーム間変化情報を取得する、とする。
Next, the change
同様に、変化情報取得部131は、フレーム番号1とフレーム番号2との間のフレーム間変化情報「2」を取得した、とする。そして、変化情報取得部131は、フレーム番号2に対応付けて、フレーム間変化情報「2」を格納部11に蓄積する。
Similarly, it is assumed that the change
また、変化情報取得部131は、フレーム番号2とフレーム番号3との間のフレーム間変化情報「7」を取得した、とする。そして、変化情報取得部131は、フレーム番号3に対応付けて、フレーム間変化情報「7」を格納部11に蓄積する。
In addition, it is assumed that the change
変化情報取得部131は、以上の処理を、映像の最終フレームまで行う。そして、変化情報取得部131は、図5に示す概念のフレーム間変化情報を算出した、とする。また、変化情報取得部131は、図6に示すフレーム間変化情報管理表の「ID」「フレーム番号」「フレーム間変化情報」の情報を蓄積した、とする。なお、フレーム間変化情報管理表は、「ID」「フレーム番号」「フレーム間変化情報」「開始フレームフラグ」「終了フレームフラグ」を有するレコードをフレーム数だけ保持している。「開始フレームフラグ」は開始フレームか否かを示すフラグであり、「終了フレームフラグ」は終了フレームか否かを示すフラグである。
The change
次に、フレーム選択手段1321は、フレーム間変化情報の値が上位5つの開始フレームを選択する。ここで、フレーム選択手段1321は、開始フレームとして、フレーム間変化情報の値が「9」のフレーム番号「6」「2517」「4510」「8321」「12548」を選択した、とする。そして、フレーム選択手段1321は、開始フレームのフレーム番号に対応付けて、開始フラグ「1」を蓄積する。なお、フレーム選択手段1321は、開始フレーム以外のフレーム番号には、開始フラグ「0」を蓄積する、とする。なお、開始フラグ「1」は開始フラグであることを示し、開始フラグ「0」は開始フラグでないことを示す。また、同一のフレーム間変化情報に対応するすべてのフレームを開始フレームとして採用すると、部分映像数を超える部分映像を取得する場合、フレーム選択手段1321は、極力、間が均等になるように、開始フラグを選択することは好適である。
Next, the
次に、部分映像取得手段1322は、各開始フレームごとに、例えば、以下のように終了フレームを決定する。部分映像取得手段1322は、例えば、シーンの長さに応じた長さの部分映像となるように、終了フレームを決定する。部分映像取得手段1322は、例えば、1番目の部分映像のフレーム数「2517−6+1=2512」、2番目の部分映像のフレーム数「4510−2517+1=1994」、3番目の部分映像のフレーム数「8321−4510+1=3812」、4番目の部分映像のフレーム数「12548−8321+1=4228」、5番目の部分映像のフレーム数「最終のフレーム番号(例えば、177999−12548+1=5452」を得る。そして、部分映像取得手段1322は、例えば、概ね「2512:1994:3812:4228:5452」の比に、部分映像の長さがなるように、終了フレームを決定する。例えば、部分映像取得手段1322は、開始フレーム「6」に対応する終了フレームとしてフレーム番号「508」を得る。そして、部分映像取得手段1322は、フレーム番号「508」に対応付けて終了フレームフラグ「1」を書き込む。また、例えば、部分映像取得手段1322は、開始フレーム「2517」に対応する終了フレームとしてフレーム番号「2916」を得る。そして、部分映像取得手段1322は、フレーム番号「2916」に対応付けて終了フレームフラグ「1」を書き込む。また、例えば、部分映像取得手段1322は、開始フレーム「4510」に対応する終了フレームとしてフレーム番号「5272」を得る。そして、部分映像取得手段1322は、フレーム番号「5272」に対応付けて終了フレームフラグ「1」を書き込む。また、例えば、部分映像取得手段1322は、開始フレーム「8321」に対応する終了フレームとしてフレーム番号「9167」を得る。そして、部分映像取得手段1322は、フレーム番号「9167」に対応付けて終了フレームフラグ「1」を書き込む。また、映像の最終フレームに対応付けて終了フレームフラグ「1」を書き込む。なお、終了フレームではないフレームに対しては、終了フレームフラグ「0」が書き込まれる、とする。
Next, the partial
なお、部分映像取得手段1322は、上記で算出した終了フレームのフレーム番号に対応するフレーム間変化情報が閾値以上の場合、当該フレーム番号の前または後であり、フレーム間変化情報が示す変化の傾向が予め決められた変化より少ないフレームを終了フレームとして選択することは好適である。
If the inter-frame change information corresponding to the frame number of the end frame calculated above is equal to or greater than the threshold, the partial
また、上記の場合、ダイジェスト映像のフレーム数(再生時間でも良い)が予め格納部11に格納されている、とする。また、ダイジェスト映像のフレーム数(再生時間でも良い)がユーザにより指定されても良い。 In the above case, it is assumed that the number of frames of the digest video (or the playback time) is stored in the storage unit 11 in advance. In addition, the number of frames (or playback time) of the digest video may be designated by the user.
そして、次に、蓄積部133は、図6の開始フレームフラグ「1」に対応するフレームから、次の終了フレーム「1」に対応するフレームまでの映像を部分映像として取得する。次に、蓄積部133は、取得した5つの部分映像を連結し、ダイジェスト映像を構成し、当該ダイジェスト映像をダイジェスト映像格納部113に蓄積する。
Then, the
以上のダイジェスト映像の生成処理の後、ダイジェスト映像取得装置1は、ユーザの端末装置から、ダイジェスト映像送信指示を受信した、とする。
After the above digest video generation processing, the digest
次に、処理部13は、受信されたダイジェスト映像送信指示に対応するダイジェスト映像を取得する。ここで、処理部13は、ダイジェスト映像格納部113からダイジェスト映像を読み出しても良いし、図6の管理表を用いて、映像格納部111の映像からダイジェスト映像を構成しても良い。
Next, the
次に、送信部14は、取得されたダイジェスト映像を、ダイジェスト映像送信指示を送信した端末装置に送信する。
Next, the
以上、本実施の形態によれば、フレーム間変化情報を用いてダイジェスト映像を取得するため、適切なダイジェスト映像を取得できる。 As described above, according to the present embodiment, since a digest video is acquired using inter-frame change information, an appropriate digest video can be acquired.
なお、本実施の形態において、部分映像取得部132が取得する2つの部分映像が、映像の中で連続していても良い。つまり、部分映像の終了フレームの次のフレームが、次の部分映像の開始フレームであっても良い。
In the present embodiment, two partial videos acquired by the partial
また、本実施の形態の具体例において、部分映像数を用いて、部分映像を取得した。つまり、上記具体例において、第一選択条件は、「フレーム間変化情報の値が上位Nに対応するフレーム間の変化後のフレームを開始フレームとして選択すること」であった。しかし、上述したように、第一選択条件は、「フレーム間変化情報が閾値以上または閾値より大きいフレーム間の変化後のフレームを開始フレームとして選択すること」等の他の条件でも良いことは言うまでもない。 In the specific example of the present embodiment, the partial video is acquired using the number of partial videos. That is, in the above specific example, the first selection condition is “select the frame after the change between frames corresponding to the top N as the value of the interframe change information as the start frame”. However, as described above, it goes without saying that the first selection condition may be other conditions such as “select a frame after change between frames whose interframe change information is equal to or greater than a threshold value or greater than the threshold value”. Yes.
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるダイジェスト映像取得装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であるフレーム間変化情報を取得する変化情報取得部と、前記フレーム間変化情報を用いて、前記受付部が受け付けた映像の一部である1または2以上の部分映像を取得する部分映像取得部と、前記部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部として機能させるためのプログラムである。
Further, the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. This also applies to other embodiments in this specification. In addition, the software which implement | achieves the digest image |
また、上記プログラムにおいて、前記部分映像取得部は、前記フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、当該フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。 In the program, the partial video acquisition unit may include one or more frames including the frame corresponding to the inter-frame change information when the inter-frame change information is information indicating a change that is large enough to satisfy a predetermined condition. A program that causes a computer to function as the partial video acquisition is preferable.
また、上記プログラムにおいて、前記変化情報取得部は、2つのフレーム間の変化に関する2以上の特徴量を取得し、当該2以上の特徴量を用いて、フレーム間変化情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the change information acquisition unit acquires two or more feature amounts related to a change between two frames, and acquires inter-frame change information using the two or more feature amounts. It is preferable that the program is a function that functions.
また、上記プログラムにおいて、コンピュータを、部分映像の数である部分映像数を受け付ける受付部としてさらに機能させ、前記部分映像取得部は、前記部分映像数の部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the computer further functions as a reception unit that receives the number of partial videos, which is the number of partial videos, and the partial video acquisition unit functions as a computer that acquires partial videos of the number of partial videos. It is preferable that the program is to be executed.
また、上記プログラムにおいて、前記部分映像取得部は、部分映像の開始フレームを選択するための第一選択条件に合致する1以上のフレームを選択するフレーム選択手段と、前記フレーム選択手段が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する部分映像取得手段とを具備するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the partial video acquisition unit selects a frame selection unit that selects one or more frames that meet a first selection condition for selecting a start frame of the partial video, and the frame selection unit selects the 1 selected by the frame selection unit. A program that causes a computer to function is preferable as including a partial video acquisition unit that acquires one or more partial videos having each of the above frames as a start frame.
また、上記プログラムにおいて、前記部分映像取得手段は、前記開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the partial video acquisition means acquires a partial video having a length corresponding to the length of the scene from two or more scenes from the start frame and the next start frame or video end frame. It is preferable that the program is a program that causes a computer to function.
また、上記プログラムにおいて、前記部分映像取得手段は、前記開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、一定長の部分映像を取得する
ものとして、コンピュータを機能させるプログラムであることは好適である。
In the above program, the partial video acquisition means functions as a computer that acquires a partial video of a certain length from each of two or more scenes from the start frame and the next start frame or video end frame. It is preferable that the program is to be executed.
また、上記プログラムにおいて、前記部分映像取得手段は、部分映像の終了フレームを選択するための第二選択条件に合致する1以上のフレームを選択し、前記開始フレームから前記選択した終了フレームまでの部分映像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the partial video acquisition means selects one or more frames that match a second selection condition for selecting an end frame of the partial video, and a portion from the start frame to the selected end frame. A program that causes a computer to function as the video acquisition is suitable.
また、図7は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のダイジェスト映像取得装置1等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図7は、このコンピュータシステム300の概観図であり、図8は、システム300のブロック図である。
FIG. 7 shows the external appearance of a computer that executes the program described in this specification to realize the digest
図7において、コンピュータシステム300は、CD−ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
In FIG. 7, a
図8において、コンピュータ301は、CD−ROMドライブ3012に加えて、MPU3013と、CD−ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
In FIG. 8, in addition to the CD-
コンピュータシステム300に、上述した実施の形態のダイジェスト映像取得装置1等の機能を実行させるプログラムは、CD−ROM3101に記憶されて、CD−ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD−ROM3101またはネットワークから直接、ロードされても良い。
A program that causes the
プログラムは、コンピュータ301に、上述した実施の形態のダイジェスト映像取得装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
The program does not necessarily include an operating system (OS), a third-party program, or the like that causes the
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。 In the above program, in the step of transmitting information, the step of receiving information, etc., processing performed by hardware, for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware) Processing) is not included.
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。 Further, in each of the above embodiments, it goes without saying that two or more communication units existing in one apparatus may be physically realized by one medium.
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 In each of the above embodiments, each process may be realized by centralized processing by a single device, or may be realized by distributed processing by a plurality of devices.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上のように、本発明にかかるダイジェスト映像取得装置は、映像から一部を抽出した適切なダイジェスト映像を取得できる、という効果を有し、ダイジェスト映像取得装置等として有用である。 As described above, the digest video acquisition device according to the present invention has an effect that an appropriate digest video obtained by extracting a part from the video can be acquired, and is useful as a digest video acquisition device and the like.
1 ダイジェスト映像取得装置
11 格納部
12 受付部
13 処理部
14 送信部
111 映像格納部
112 選択条件格納部
113 ダイジェスト映像格納部
131 変化情報取得部
132 部分映像取得部
133 蓄積部
1321 フレーム選択手段
1322 部分映像取得手段
DESCRIPTION OF
Claims (10)
前記フレーム間変化情報を用いて、前記映像の一部である1または2以上の部分映像を取得する部分映像取得部と、
前記部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部とを具備するダイジェスト映像取得装置。 A change information acquisition unit that acquires inter-frame change information that is information indicating a change between two or more frames of two or more frames constituting a video;
A partial video acquisition unit that acquires one or more partial videos that are part of the video using the inter-frame change information;
A digest video acquisition apparatus comprising: a storage unit that stores a digest video having one or more partial videos acquired by the partial video acquisition unit.
前記フレーム間変化情報が予め決められた条件を満たすほど大きな変化を示す情報である場合、当該フレーム間変化情報に対応するフレームを含む1以上の部分映像を取得する請求項1記載のダイジェスト映像取得装置。 The partial video acquisition unit
2. The digest video acquisition according to claim 1, wherein when the inter-frame change information is information indicating a change that is large enough to satisfy a predetermined condition, one or more partial videos including a frame corresponding to the inter-frame change information are acquired. apparatus.
2つのフレーム間の変化に関する2以上の特徴量を取得し、当該2以上の特徴量を用いて、フレーム間変化情報を取得する請求項1または請求項2記載のダイジェスト映像取得装置。 The change information acquisition unit
The digest video acquisition apparatus according to claim 1, wherein two or more feature amounts related to a change between two frames are acquired, and inter-frame change information is acquired using the two or more feature amounts.
前記部分映像取得部は、
前記部分映像数の部分映像を取得する請求項1から請求項3いずれか一項に記載のダイジェスト映像取得装置。 A reception unit that receives the number of partial videos, which is the number of partial videos;
The partial video acquisition unit
The digest video acquisition device according to any one of claims 1 to 3, wherein the partial video of the number of partial videos is acquired.
前記部分映像取得部は、
前記第一選択条件に合致する1以上のフレームを選択するフレーム選択手段と、
前記フレーム選択手段が選択した1以上の各フレームを開始フレームとする1以上の部分映像を取得する部分映像取得手段とを具備する請求項1記載から請求項3いずれか一項に記載のダイジェスト映像取得装置。 A selection condition storage unit for storing a first selection condition for selecting a start frame of the partial video;
The partial video acquisition unit
Frame selection means for selecting one or more frames that match the first selection condition;
The digest video according to any one of claims 1 to 3, further comprising partial video acquisition means for acquiring one or more partial videos having one or more frames selected by the frame selection means as start frames. Acquisition device.
前記開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、シーンの長さに応じた長さの部分映像を取得する請求項5記載のダイジェスト映像取得装置。 The partial video acquisition means includes
The digest video acquisition apparatus according to claim 5, wherein a partial video having a length corresponding to a length of a scene is acquired from each of two or more scenes from the start frame to a next start frame or an end frame of the video.
前記開始フレームと次の開始フレームまたは映像の終了フレームとまでの2以上の各シーンから、一定長の部分映像を取得する請求項5記載のダイジェスト映像取得装置。 The partial video acquisition means includes
The digest video acquisition apparatus according to claim 5, wherein a partial video having a predetermined length is acquired from each of two or more scenes from the start frame to a next start frame or an end frame of the video.
部分映像の終了フレームを選択するための第二選択条件をも格納し、
前記部分映像取得手段は、
前記第二選択条件に合致する1以上のフレームを選択し、前記開始フレームから前記選択した終了フレームまでの部分映像を取得する請求項5から請求項7いずれか一項に記載のダイジェスト映像取得装置。 The selection condition storage unit
The second selection condition for selecting the end frame of the partial video is also stored,
The partial video acquisition means includes
The digest video acquisition device according to any one of claims 5 to 7, wherein one or more frames that match the second selection condition are selected, and a partial video from the start frame to the selected end frame is acquired. .
前記変化情報取得部が、映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であるフレーム間変化情報を取得する変化情報取得ステップと、
前記部分映像取得部が、前記フレーム間変化情報を用いて、前記映像の一部である1または2以上の部分映像を取得する部分映像取得ステップと、
前記蓄積部が、前記部分映像取得ステップで取得された1以上の部分映像を有するダイジェスト映像を蓄積する蓄積ステップとを具備するダイジェスト映像取得方法。 A digest video acquisition method realized by a change information acquisition unit, a partial video acquisition unit, and a storage unit,
A change information acquisition step in which the change information acquisition unit acquires inter-frame change information, which is information indicating a change between two or more frames of two or more frames constituting a video;
A partial video acquisition step in which the partial video acquisition unit acquires one or more partial videos that are part of the video using the inter-frame change information;
A digest video acquisition method comprising: a storage step in which the storage unit stores a digest video having one or more partial videos acquired in the partial video acquisition step.
映像を構成する2以上のフレームのうちの2以上のフレーム間の変化を示す情報であるフレーム間変化情報を取得する変化情報取得部と、
前記フレーム間変化情報を用いて、前記受付部が受け付けた映像の一部である1または2以上の部分映像を取得する部分映像取得部と、
前記部分映像取得部が取得した1以上の部分映像を有するダイジェスト映像を蓄積する蓄積部として機能させるためのプログラム。 Computer
A change information acquisition unit that acquires inter-frame change information that is information indicating a change between two or more frames of two or more frames constituting a video;
Using the inter-frame change information, a partial video acquisition unit that acquires one or more partial videos that are part of the video received by the reception unit;
A program for functioning as a storage unit for storing a digest video having one or more partial videos acquired by the partial video acquisition unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016141801A JP6878718B2 (en) | 2016-07-19 | 2016-07-19 | Digest video acquisition device, digest video acquisition method, and program |
PCT/JP2017/025691 WO2018016434A1 (en) | 2016-07-19 | 2017-07-14 | Digest video acquisition device, digest video acquisition method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016141801A JP6878718B2 (en) | 2016-07-19 | 2016-07-19 | Digest video acquisition device, digest video acquisition method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018013879A true JP2018013879A (en) | 2018-01-25 |
JP6878718B2 JP6878718B2 (en) | 2021-06-02 |
Family
ID=60993021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016141801A Active JP6878718B2 (en) | 2016-07-19 | 2016-07-19 | Digest video acquisition device, digest video acquisition method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6878718B2 (en) |
WO (1) | WO2018016434A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019216364A (en) * | 2018-06-13 | 2019-12-19 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
US10917487B2 (en) | 2019-01-14 | 2021-02-09 | International Business Machines Corporation | Generating notification digest based on user presence |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000235638A (en) * | 1999-02-15 | 2000-08-29 | Canon Inc | Image processing system and image processing method |
JP2003101937A (en) * | 2001-09-26 | 2003-04-04 | Ricoh Co Ltd | Video recording and reproducing device and video distribution system |
JP2004126811A (en) * | 2002-09-30 | 2004-04-22 | Toshiba Corp | Content information editing device, and editing program for the same |
JP2007039994A (en) * | 2005-08-03 | 2007-02-15 | Asahi Glass Biru Kenzai Engineering Kk | Laminated plate member bearing structure and laminated plate member bearing method |
JP2007158671A (en) * | 2005-12-05 | 2007-06-21 | Sony Corp | Moving video recording and reproducing device, moving video recording and reproducing method, program of moving video recording and reproducing method, and record medium recorded with program of moving video recording and reproducing method |
WO2007122541A2 (en) * | 2006-04-20 | 2007-11-01 | Nxp B.V. | Data summarization system and method for summarizing a data stream |
JP2013239797A (en) * | 2012-05-11 | 2013-11-28 | Canon Inc | Image processing device |
JP2014030260A (en) * | 2010-02-10 | 2014-02-13 | Panasonic Corp | Video-image extraction device, program and recording medium |
JP2015103217A (en) * | 2013-11-28 | 2015-06-04 | ソニー株式会社 | Image processing device and image processing method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007039994A1 (en) * | 2005-09-30 | 2007-04-12 | Pioneer Corporation | Digest generating device, and program therefor |
-
2016
- 2016-07-19 JP JP2016141801A patent/JP6878718B2/en active Active
-
2017
- 2017-07-14 WO PCT/JP2017/025691 patent/WO2018016434A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000235638A (en) * | 1999-02-15 | 2000-08-29 | Canon Inc | Image processing system and image processing method |
JP2003101937A (en) * | 2001-09-26 | 2003-04-04 | Ricoh Co Ltd | Video recording and reproducing device and video distribution system |
JP2004126811A (en) * | 2002-09-30 | 2004-04-22 | Toshiba Corp | Content information editing device, and editing program for the same |
JP2007039994A (en) * | 2005-08-03 | 2007-02-15 | Asahi Glass Biru Kenzai Engineering Kk | Laminated plate member bearing structure and laminated plate member bearing method |
JP2007158671A (en) * | 2005-12-05 | 2007-06-21 | Sony Corp | Moving video recording and reproducing device, moving video recording and reproducing method, program of moving video recording and reproducing method, and record medium recorded with program of moving video recording and reproducing method |
WO2007122541A2 (en) * | 2006-04-20 | 2007-11-01 | Nxp B.V. | Data summarization system and method for summarizing a data stream |
JP2014030260A (en) * | 2010-02-10 | 2014-02-13 | Panasonic Corp | Video-image extraction device, program and recording medium |
JP2013239797A (en) * | 2012-05-11 | 2013-11-28 | Canon Inc | Image processing device |
JP2015103217A (en) * | 2013-11-28 | 2015-06-04 | ソニー株式会社 | Image processing device and image processing method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019216364A (en) * | 2018-06-13 | 2019-12-19 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
JP7166796B2 (en) | 2018-06-13 | 2022-11-08 | キヤノン株式会社 | Information processing device, information processing method, and program |
US10917487B2 (en) | 2019-01-14 | 2021-02-09 | International Business Machines Corporation | Generating notification digest based on user presence |
Also Published As
Publication number | Publication date |
---|---|
JP6878718B2 (en) | 2021-06-02 |
WO2018016434A1 (en) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10956749B2 (en) | Methods, systems, and media for generating a summarized video with video thumbnails | |
CN107534796B (en) | Video processing system and digital video distribution system | |
US7251790B1 (en) | Media browsing system displaying thumbnails images based on preferences of plurality of users and placing the thumbnails images at a scene change | |
JP6624958B2 (en) | Communication device, communication system, communication control method, and computer program | |
US20150117540A1 (en) | Coding apparatus, decoding apparatus, coding data, coding method, decoding method, and program | |
US10997694B2 (en) | Method to generate additional level of detail when zooming in on an image | |
JP5424930B2 (en) | Image editing apparatus, control method thereof, and program | |
WO2023160617A9 (en) | Video frame interpolation processing method, video frame interpolation processing device, and readable storage medium | |
WO2018016434A1 (en) | Digest video acquisition device, digest video acquisition method, and recording medium | |
US9875521B2 (en) | Image output apparatus, image output method, and program | |
CN107318021B (en) | Data processing method and system for remote display | |
JP2006039753A (en) | Image processing apparatus and image processing method | |
US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video | |
CN110996173B (en) | Image data processing method and device and storage medium | |
CN113891136A (en) | Video playing method and device, electronic equipment and storage medium | |
JP2008263657A (en) | Image processor, thumbnail moving image creation method and thumbnail moving image creation program | |
US10706891B2 (en) | Video image processing apparatus and processing method | |
CN113949926A (en) | Video frame insertion method, storage medium and terminal equipment | |
JP6623905B2 (en) | Server device, information processing method and program | |
US20070098277A1 (en) | Transmitting apparatus, image processing system, image processing method, program, and recording medium | |
CN117176979B (en) | Method, device, equipment and storage medium for extracting content frames of multi-source heterogeneous video | |
JP2011066483A (en) | Apparatus, method and program for preparing moving picture thumbnail | |
JP2005004770A (en) | Movie video detecting method and apparatus using grouping | |
JP5944205B2 (en) | Signal processing apparatus, signal processing method, and program | |
CN117714696A (en) | Video code rate calculation method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6878718 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |