JP2019201339A - Information processor, information processing method, information processing program, and content distribution system - Google Patents

Information processor, information processing method, information processing program, and content distribution system Download PDF

Info

Publication number
JP2019201339A
JP2019201339A JP2018095141A JP2018095141A JP2019201339A JP 2019201339 A JP2019201339 A JP 2019201339A JP 2018095141 A JP2018095141 A JP 2018095141A JP 2018095141 A JP2018095141 A JP 2018095141A JP 2019201339 A JP2019201339 A JP 2019201339A
Authority
JP
Japan
Prior art keywords
cooking
recipe
unit
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018095141A
Other languages
Japanese (ja)
Other versions
JP6416429B1 (en
Inventor
千晶 新里
Chiaki Niizato
千晶 新里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cookpad Inc
Original Assignee
Cookpad Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cookpad Inc filed Critical Cookpad Inc
Priority to JP2018095141A priority Critical patent/JP6416429B1/en
Application granted granted Critical
Publication of JP6416429B1 publication Critical patent/JP6416429B1/en
Publication of JP2019201339A publication Critical patent/JP2019201339A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To perform time division of cooking images into chapters corresponding to recipe processes.SOLUTION: An information processor for performing time division of cooking images obtained by capturing a cooking procedure according to recipe information into chapters corresponding to multiple recipe processes of the recipe information comprises: an image acquisition unit which acquires a cooking image; a read unit which reads recipe information corresponding to the cooking image; an extraction unit which extracts prescribed terms included in each recipe process of the recipe information on the basis of the read recipe information; an identification unit which identifies an object appearing in the cooking image; a comparison unit which compares a result of the identification from of the identification unit with the extracted prescribed terms; and a division unit which, on the basis of the comparison by the comparison unit, divides a scene of the identified object in the cooking image into chapters corresponding to each recipe process.SELECTED DRAWING: Figure 1

Description

本開示は、情報処理装置、情報処理方法、情報処理プログラム及びコンテンツ配信システムに関する。   The present disclosure relates to an information processing apparatus, an information processing method, an information processing program, and a content distribution system.

近年、インターネットで配信される料理コンテンツを視聴しながら料理を行う人が増えている。例えば、特許文献1には、インターネットを利用して料理動画を閲覧しながら料理を行うことができる料理ナビゲーションシステムが開示されている。   In recent years, an increasing number of people cook while watching cooking content distributed over the Internet. For example, Patent Literature 1 discloses a cooking navigation system that can cook while browsing cooking videos using the Internet.

特開2001−67414号公報JP 2001-67414 A

レシピ工程に従った一連の調理作業の実演を収録した料理コンテンツを視聴する場合、ユーザ(視聴者)は必要に応じて面倒な操作をしなければならない。すなわち、調理作業の実演収録は、ある時間連続するものであるため、見たいレシピ工程があるときは、視聴者は料理コンテンツの送りまたは戻し操作を行って、所望のレシピ工程のシーンを探す必要がある。   When viewing cooking content that includes a series of cooking work demonstrations according to the recipe process, the user (viewer) must perform troublesome operations as necessary. In other words, since the demonstration recording of the cooking operation is continuous for a certain period of time, when there is a recipe process that the viewer wants to see, the viewer needs to search for the scene of the desired recipe process by sending or returning the cooking content. There is.

このため、料理コンテンツがチャプタに分割されているとユーザにとって有用であるが、調理映像を収録した後に、手動でレシピ工程に対応させてチャプタ分割を設定すると煩雑で時間がかかってしまう。   For this reason, it is useful for the user if the cooking content is divided into chapters. However, if the chapter division is manually set corresponding to the recipe process after the cooking video is recorded, it is complicated and takes time.

そこで、本開示は、このような事情に鑑み、調理映像をレシピ工程に対応させてチャプタに時間分割する情報処理装置、情報処理方法、情報処理プログラム及びコンテンツ配信システムを提供することを目的とする。   Therefore, in view of such circumstances, it is an object of the present disclosure to provide an information processing device, an information processing method, an information processing program, and a content distribution system that time-divide a cooking video into chapters corresponding to a recipe process. .

上記目的を達成するため、本開示に係る情報処理装置は、レシピ情報に従った調理作業を撮影した調理映像を、レシピ情報の複数のレシピ工程に対応させてチャプタに時間分割する情報処理装置であって、調理映像を取得する映像取得部と、調理映像に対応するレシピ情報を読み込む読込部と、読み込んだレシピ情報に基づき、レシピ情報の各レシピ工程に含まれる所定の用語を抽出する抽出部と、調理映像に映るオブジェクトを識別する識別部と、識別部の識別結果と、抽出された所定の用語とを比較する比較部と、比較部の比較に基づき、各レシピ工程と対応させて調理映像の識別されたオブジェクトのシーンをチャプタ分割する分割部と、を備える。   In order to achieve the above object, an information processing apparatus according to the present disclosure is an information processing apparatus that time-divides a cooking video obtained by photographing cooking work according to recipe information into chapters corresponding to a plurality of recipe processes of recipe information. There are a video acquisition unit for acquiring a cooking video, a reading unit for reading recipe information corresponding to the cooking video, and an extraction unit for extracting a predetermined term included in each recipe process of the recipe information based on the read recipe information And an identification unit for identifying an object appearing in the cooking video, a comparison unit for comparing the identification result of the identification unit and the extracted predetermined term, and cooking in correspondence with each recipe step based on the comparison of the comparison unit A dividing unit that divides the scene of the identified object of the video into chapters.

また、上記目的を達成するため、本開示に係る情報処理方法は、レシピ情報に従った調理作業を撮影した調理映像を、レシピ情報の複数のレシピ工程に対応させてチャプタに時間分割する情報処理方法であって、調理映像を取得するステップと、調理映像に対応するレシピ情報を読み込むステップと、読み込んだレシピ情報に基づき、レシピ情報の各レシピ工程に含まれる所定の用語を抽出するステップと、調理映像に映るオブジェクトを識別するステップと、オブジェクトの識別結果と、抽出された所定の用語とを比較するステップと、比較に基づき、各レシピ工程と対応させて調理映像の識別されたオブジェクトのシーンをチャプタ分割するステップと、を備える。   In order to achieve the above object, an information processing method according to the present disclosure is an information processing that time-divides a cooking video obtained by photographing a cooking operation according to recipe information into chapters corresponding to a plurality of recipe steps of the recipe information. A method for obtaining a cooking video, a step for reading recipe information corresponding to the cooking video, a step for extracting a predetermined term included in each recipe process of the recipe information based on the read recipe information, A step of identifying an object appearing in a cooking video, a step of comparing an object identification result with an extracted predetermined term, and a scene of the identified object of the cooking video corresponding to each recipe process based on the comparison And chapter dividing.

また、上記目的を達成するため、本開示に係る情報処理プログラムは、上述の情報処理方法をコンピュータに実行させる。   In order to achieve the above object, an information processing program according to the present disclosure causes a computer to execute the above information processing method.

また、上記目的を達成するため、本開示に係るコンテンツ配信システムは、調理映像を複数のレシピ工程に対応させてチャプタに時間分割する情報処理装置と、情報処理装置が調理映像を配信する視聴者端末と、から構成されるコンテンツ配信システムであって、情報処理装置は、調理映像に対応するレシピ情報を読み込む読込部と、読み込んだレシピ情報に基づき、レシピ情報の各レシピ工程に含まれる所定の用語を抽出する抽出部と、調理映像に映るオブジェクトを識別する識別部と、識別部の識別結果と、抽出された所定の用語とを比較する比較部と、比較部の比較に基づき、各レシピ工程と対応させて調理映像の識別されたオブジェクトのシーンをチャプタ分割する分割部と、調理映像を視聴者端末に配信する配信部と、を備え配信部は、視聴者端末から受け付けた指定用語を含むレシピ工程に対応するチャプタの調理映像を配信する。   In order to achieve the above object, a content distribution system according to the present disclosure includes an information processing apparatus that time-divides a cooking video into chapters corresponding to a plurality of recipe processes, and a viewer that the information processing apparatus distributes the cooking video. A content distribution system including a terminal, wherein the information processing apparatus reads a recipe information corresponding to the cooking video, and a predetermined information included in each recipe process of the recipe information based on the read recipe information. Each recipe based on the comparison of the extraction unit for extracting the term, the identification unit for identifying the object shown in the cooking video, the identification result of the identification unit, and the extracted predetermined term, and the comparison unit Distribution comprising: a dividing unit that divides a scene of the identified object of the cooking video in correspondence with the process; and a distribution unit that distributes the cooking video to the viewer terminal Delivers the cooking image of the chapter corresponding to the recipe step including a specified term that has been received from a viewer terminal.

本開示によれば、調理映像をレシピ工程に対応させてチャプタに時間分割することができる。これにより、ユーザは、所望のレシピ工程に対応した調理映像を視聴することができる。   According to the present disclosure, a cooking video can be time-divided into chapters corresponding to a recipe process. Thereby, the user can view the cooking image corresponding to the desired recipe process.

コンテンツ配信システム1の構成図である。1 is a configuration diagram of a content distribution system 1. FIG. レシピ情報の一例を示す図である。It is a figure which shows an example of recipe information. コンテンツ配信サーバ100の処理の流れの一例を示すフローチャートである。5 is a flowchart illustrating an example of a processing flow of the content distribution server 100. 調理映像とレシピ工程との対応関係を説明する図である。It is a figure explaining the correspondence of a cooking picture and a recipe process. 図4のフレームの画像例を示す図である。It is a figure which shows the example of an image of the flame | frame of FIG. 配信される調理映像の一例を示す図である。It is a figure which shows an example of the cooking image delivered. コンテンツ配信サーバ100のハードウェア構成を示すブロック図である。2 is a block diagram showing a hardware configuration of a content distribution server 100. FIG.

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。   Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In all the drawings for explaining the embodiments, common constituent elements are denoted by the same reference numerals, and repeated explanation is omitted. The following embodiments do not unduly limit the contents of the present disclosure described in the claims. In addition, all the components shown in the embodiments are not necessarily essential components of the present disclosure.

本実施形態に係るコンテンツ配信システムは、調理映像をレシピ工程に対応させてチャプタに時間分割し、料理コンテンツとして視聴者に配信するシステムである。コンテンツの視聴者は、所望のレシピ工程に対応した調理映像を視聴することができる。   The content distribution system according to the present embodiment is a system that time-divides cooking videos into chapters corresponding to recipe processes and distributes them as cooking contents to viewers. A viewer of content can view a cooking video corresponding to a desired recipe process.

図1は、コンテンツ配信システム1の構成図である。図1を参照して、コンテンツ配信システム1の概要および構成について説明する。   FIG. 1 is a configuration diagram of the content distribution system 1. With reference to FIG. 1, the outline | summary and structure of the content delivery system 1 are demonstrated.

コンテンツ配信システム1は、コンテンツ配信サーバ100と、視聴者端末200と、を備え、ネットワークNWを介して通信可能に接続される。ネットワークNWは、WAN(World Area Network)、LAN(Local Area Network)等から構成される。なお、視聴者端末200は、図1に示す台数に限らず、複数台がネットワークNWを介してコンテンツ配信サーバ100に接続されていてもよい。   The content distribution system 1 includes a content distribution server 100 and a viewer terminal 200, and is communicably connected via a network NW. The network NW includes a WAN (World Area Network), a LAN (Local Area Network), and the like. The number of viewer terminals 200 is not limited to the number shown in FIG. 1, and a plurality of viewer terminals 200 may be connected to the content distribution server 100 via the network NW.

調理作業の実演を収録するキッチンスタジオでは、調理者であるタレントTがレシピ情報のレシピ工程に従って調理を行う。コンテンツ配信サーバ100は、カメラ141が撮影したタレントTの一連の調理作業の映像に基づいたコンテンツ(調理映像)を、視聴者端末200に配信する。   In the kitchen studio that records the demonstration of the cooking work, the talent T, who is the cook, performs cooking according to the recipe process of the recipe information. The content distribution server 100 distributes content (cooked video) based on a series of cooking videos of the talent T taken by the camera 141 to the viewer terminal 200.

視聴者端末200は、コンテンツを視聴する視聴者が使用する端末であって、例えば、スマートフォンやタブレット等の携帯端末や、PC(Personal Computer)等の情報処理端末である。視聴者端末200は、汎用端末に、コンテンツ配信アプリケーションをインストールして実現することができる。   The viewer terminal 200 is a terminal used by a viewer who views content, and is, for example, a portable terminal such as a smartphone or a tablet, or an information processing terminal such as a PC (Personal Computer). The viewer terminal 200 can be realized by installing a content distribution application on a general-purpose terminal.

(コンテンツ配信サーバ100の構成)
コンテンツ配信サーバ100は、情報処理装置に相当し、通信部110と、記憶部120と、制御部130と、を備える。
(Configuration of content distribution server 100)
The content distribution server 100 corresponds to an information processing apparatus, and includes a communication unit 110, a storage unit 120, and a control unit 130.

通信部110は、配信部に相当し、視聴者端末200とネットワークNWを介して通信を行うための通信インターフェイスである。通信部110は、調理映像を料理コンテンツとして視聴者端末200に配信する。また、通信部110は、視聴者端末200から受け付けた指定用語を含むレシピ工程に対応するチャプタの調理映像を配信してもよい。   The communication unit 110 corresponds to a distribution unit, and is a communication interface for communicating with the viewer terminal 200 via the network NW. The communication unit 110 delivers the cooking video to the viewer terminal 200 as cooking content. Moreover, the communication part 110 may deliver the cooking image of the chapter corresponding to the recipe process including the designated term received from the viewer terminal 200.

記憶部120は、レシピ情報を記憶する。レシピ情報は、調理作業の手順を示すレシピ工程を少なくとも含む。また、レシピ工程は、「キャベツ」、「人参」、「バター」等の食材の名称、「包丁」、「フライパン」、「鍋」等の調理作業で用いられる調理器具を示す用語、「炒める」、「煮る」、「切る」等の調理作業を示す用語等を含む。   The storage unit 120 stores recipe information. The recipe information includes at least a recipe process indicating a procedure of cooking work. In addition, the recipe process includes the names of ingredients such as “cabbage”, “carrot”, “butter”, a term indicating cooking utensils used in cooking operations such as “knives”, “frying pans”, “pans”, “fry” , “Simmer”, “cut”, and other terms indicating cooking operations.

なお、レシピ情報には、調理に必要な材料・調理器具の情報、料理やレシピ工程に対応した調理作業の様子を撮影した料理画像を含んでもよい。また、記憶部120に記憶されるレシピ情報は、ネットワークNWを介して視聴者端末200から投稿されたレシピであってもよいし、コンテンツ配信システム1を運営する事業者が登録したレシピであってもよい。   Note that the recipe information may include information on ingredients and cooking utensils necessary for cooking, and a cooking image that captures cooking and the state of cooking work corresponding to the recipe process. Moreover, the recipe information memorize | stored in the memory | storage part 120 may be the recipe posted from the viewer terminal 200 via the network NW, and is the recipe which the provider who manages the content delivery system 1 registered. Also good.

図2は、レシピ情報の一例を示す図である。図2を参照して、レシピ情報の一例について説明する。   FIG. 2 is a diagram illustrating an example of recipe information. An example of recipe information will be described with reference to FIG.

レシピ情報20は、料理画像21と、材料情報22と、レシピ工程23とから構成される。料理画像21は、レシピ情報20が示す料理を撮影した画像であり、図2の例では、スノーボールクッキーの画像である。材料情報22は、レシピ情報20が示す料理に必要な材料に関する情報である。   The recipe information 20 includes a cooking image 21, material information 22, and a recipe process 23. The dish image 21 is an image of the dish indicated by the recipe information 20, and is an image of a snowball cookie in the example of FIG. The material information 22 is information related to ingredients necessary for cooking indicated by the recipe information 20.

レシピ工程23は、レシピ情報20が示す料理、すなわちスノーボールクッキーの調理作業の手順である工程1〜5を示す。レシピ工程は、「バター」、「薄力粉」等の食材の名称、「混ぜる」、「並べる」等の調理作業を示す用語や、「泡立て器」、「ゴムベラ」等の調理作業で用いられる調理器具を示す用語を含む。   The recipe process 23 shows the process 1-5 which is the procedure of the cooking which the recipe information 20 shows, ie, a snowball cookie. The recipe process includes the names of ingredients such as “butter” and “soft flour”, terms indicating cooking operations such as “mixing” and “arrangement”, and cooking utensils used in cooking operations such as “whather” and “rubbera” Including the terminology.

図1に戻って、制御部130について説明する。制御部130は、映像取得部131と、読込部132と、抽出部133と、識別部134と、比較部135と、分割部136とを含む。   Returning to FIG. 1, the controller 130 will be described. The control unit 130 includes a video acquisition unit 131, a reading unit 132, an extraction unit 133, an identification unit 134, a comparison unit 135, and a division unit 136.

映像取得部131は、撮影装置であるカメラ141が撮影した、レシピ情報に従った調理作業の調理映像を取得する。具体的には、調理者であるタレントTの、レシピ情報に従った一連の調理作業の実演を撮影した映像を取得する。例えば、タレントTは、料理が完成するまでの各レシピ工程を行う。   The video acquisition unit 131 acquires a cooking video of the cooking work according to the recipe information, which is captured by the camera 141 that is a photographing device. Specifically, an image obtained by photographing a series of cooking operations according to recipe information of the talent T who is the cook is acquired. For example, the talent T performs each recipe process until cooking is completed.

キッチンスタジオには、カメラ141が設置されている。カメラ141は、タレントTの手元や、正面姿勢など、撮影範囲を変えて撮影することができる。なお、正面姿勢とは、タレントTの表情や動作、調理作業の様子が分かるような姿勢である。   A camera 141 is installed in the kitchen studio. The camera 141 can shoot by changing the shooting range such as the hand of the talent T and the front posture. The front posture is a posture in which the expression and movement of the talent T and the state of cooking work can be understood.

また、キッチンスタジオには複数のカメラが設置されていてもよい。例えば、オーブンや電子レンジ内を撮影範囲とするカメラや、コンロを撮影範囲とするカメラが設置されていてもよいし、複数の人数で調理する場合は、それぞれの正面姿勢や手元を撮影範囲とするカメラが設置されてもよい。そして、複数のカメラで撮影された調理映像を一つの調理映像に編集して映像取得部131に取得させてもよい。また、キッチンスタジオ内のタレントTの音声や調理の音は、図示しないマイクによって収音される。   A plurality of cameras may be installed in the kitchen studio. For example, a camera with a shooting range in the oven or microwave oven, or a camera with a stove as the shooting range may be installed, and when cooking with multiple people, each front posture and hand are set as the shooting range. A camera may be installed. And the cooking video image | photographed with the some camera may be edited into one cooking video, and you may make the video acquisition part 131 acquire. Further, the sound of the talent T and the cooking sound in the kitchen studio are collected by a microphone (not shown).

読込部132は、記憶部120からレシピ情報を読み込む。具体的には、タレントTが行っている調理作業に対応するレシピ情報を読み込む。   The reading unit 132 reads recipe information from the storage unit 120. Specifically, recipe information corresponding to the cooking work performed by the talent T is read.

抽出部133は、読込部132が読み込んだレシピ情報から、各レシピ工程に含まれる所定の用語を抽出する。ここで、所定の用語とは、食材の名称、調理作業で用いられる調理器具の名称、および/または、調理作業を示す用語である。なお、抽出部133は、レシピ工程から複数の食材の名称、複数の調理器具の名称、複数の調理作業を示す用語を抽出してもよい。   The extraction unit 133 extracts predetermined terms included in each recipe process from the recipe information read by the reading unit 132. Here, the predetermined term is a term indicating the name of the food, the name of the cooking utensil used in the cooking operation, and / or the cooking operation. In addition, the extraction part 133 may extract the term which shows the name of several foodstuffs, the name of several cooking utensils, and several cooking work from a recipe process.

調理作業で用いられる調理器具の名称は、例えば、「包丁」、「フライパン」、「鍋」、「ヘラ」、「泡立て器」等であるが、「電子レンジ」、「オーブン」等の調理機械名を含んでもよい。   The names of the cooking utensils used in the cooking operation are, for example, “knives”, “frying pans”, “pots”, “scalars”, “frothers”, etc., but cooking machines such as “microwave ovens”, “ovens” etc. The name may be included.

また、調理作業を示す用語は、例えば、「炒める」、「煮る」、「蒸す」、「切る」、「混ぜる」、「洗う」等の調理者が行う作業を表す用語である。   Moreover, the term which shows cooking operation | movement is a term showing the operation | work which a chef performs, such as "stir fry", "boil", "steam", "cut", "mix", and "wash".

識別部134は、映像取得部131から取得した調理映像に映るオブジェクトを識別する。例えば、調理映像のフレームについて所定の単位領域で切り出し、単位領域内にあるオブジェクトの輪郭等の特徴量を抽出する。特徴量と、食材や調理器具とが予め関連付けられたデータベース(不図示)を用いて、抽出した特徴量と関連付けられた食材や調理器具を検索する。また、予め食材や調理器具のテンプレート画像を用意しておき、テンプレート画像とフレーム画像とを比較することで、食材や調理器具を検索するようにしてもよい。   The identification unit 134 identifies an object shown in the cooking video acquired from the video acquisition unit 131. For example, a frame of a cooking video is cut out in a predetermined unit region, and a feature amount such as an outline of an object in the unit region is extracted. Using a database (not shown) in which the feature quantity is associated with the ingredients and cooking utensils in advance, the ingredients and cooking utensils associated with the extracted feature quantities are searched. Alternatively, a template image of food or cooking utensil may be prepared in advance, and the food image or cooking utensil may be searched by comparing the template image and the frame image.

また、識別部134は、調理映像に映る調理作業を識別する。具体的には、調理映像に映るオブジェクトを識別し、識別したオブジェクトに基づいて調理作業の内容を判断する。例えば、あるフレームについて、「包丁」、「まな板」、「ピーマン」、「手」等がオブジェクトとして識別された場合、「切る」調理作業であると判断する。また、「フライパン」、「木べら」、「キャベツ」、「豚肉」等がオブジェクトとして識別された場合、「炒める」調理作業であると判断する。すなわち、識別されたオブジェクトの組み合わせによって、調理作業を判断する。オブジェクトの組み合わせと、それに対応する調理作業とは、予めコンテンツ配信システム1を運営する事業者によって登録されていてよい。なお、食材や調理器具、調理作業の識別方法は、これに限定されることなく、周知の画像認識技術等を適用することができる。   Moreover, the identification part 134 identifies the cooking operation reflected in the cooking video. Specifically, the object shown in the cooking video is identified, and the content of the cooking operation is determined based on the identified object. For example, when “knife”, “chopping board”, “green pepper”, “hand”, etc. are identified as objects for a certain frame, it is determined that the cooking operation is “cut”. If “frying pan”, “kibera”, “cabbage”, “pork”, etc. are identified as objects, it is determined that the cooking operation is “stir fry”. That is, the cooking operation is determined by the combination of the identified objects. The combination of objects and the corresponding cooking operation may be registered in advance by a business operator that operates the content distribution system 1. In addition, the identification method of a foodstuff, a cooking utensil, and cooking work is not limited to this, A well-known image recognition technique etc. can be applied.

比較部135は、識別部134から出力された識別結果と、抽出部133が抽出した所定の用語とをフレームごとに比較する。具体的には、識別部134が識別した、フレーム内の食材、調理器具等のオブジェクト、調理作業の内容と、抽出部133が抽出した各レシピ工程に含まれる用語とを比較する。例えば、識別結果と抽出した用語とがどの程度一致しているかを示す一致度を算出し、どのレシピ工程との一致度が高いかを判定する。そして、比較した結果、比較対象のフレームと、一致度が高かったレシピ工程とを対応させる。   The comparison unit 135 compares the identification result output from the identification unit 134 with the predetermined term extracted by the extraction unit 133 for each frame. Specifically, the object in the frame identified by the identification unit 134, the contents of the cooking utensil, the contents of the cooking operation, and the terms included in each recipe process extracted by the extraction unit 133 are compared. For example, the degree of coincidence indicating how much the identification result matches the extracted term is calculated, and it is determined which recipe process has the high degree of coincidence. Then, as a result of the comparison, the frame to be compared is associated with the recipe process having a high degree of coincidence.

また、調理映像は、レシピ工程に従った調理作業の映像であるから、各フレームは、時間軸にしたがって、レシピ工程順に並んでいる。したがって、比較部135は、例えば、調理映像の先頭フレームから順に、レシピ工程順に比較して、対応するレシピ工程を判定することができる。   Moreover, since the cooking video is a video of cooking work according to the recipe process, the frames are arranged in the order of the recipe process along the time axis. Therefore, for example, the comparison unit 135 can determine the corresponding recipe process by comparing the recipe image in order from the first frame of the cooking video.

分割部136は、比較部135の比較に基づき、各レシピ工程と対応させて調理映像の識別されたオブジェクトのシーンをチャプタ分割する。具体的には、比較部135の比較により、各フレームとレシピ工程とは対応付けられているので、分割部136は、対応付けられたレシピ工程が次のレシピ工程に変わるタイミングでチャプタ分割する。   Based on the comparison by the comparison unit 135, the dividing unit 136 divides the scene of the identified object of the cooking video in accordance with each recipe step. Specifically, since each frame and the recipe process are associated with each other by the comparison of the comparison unit 135, the dividing unit 136 divides the chapter at a timing when the associated recipe process is changed to the next recipe process.

また、分割部136は、比較部135の比較結果に加え、調理映像のフレーム内の特徴量の変化や差分も参照してチャプタ分割するようにしてもよい。すなわち、レシピ工程における調理作業の内容は、「混ぜる」、「切る」、「炒める」等のように、映像の類似性が少ないので、ある工程から次の工程に変わる場合、フレームの内容が大きく変化すると考えられる。そこで、分割部136は、比較部135の比較結果によってレシピ工程が変化すると考えられる時点付近のフレームを抽出してその特徴量の変化や差分を求め、その変化量や差分が所定の閾値を超えた場合に、その両フレーム間でチャプタ分割するようにしてもよい。   In addition to the comparison result of the comparison unit 135, the division unit 136 may also divide chapters with reference to the change or difference in the feature amount in the frame of the cooking video. In other words, the content of the cooking process in the recipe process is less similar to the image, such as “mix”, “cut”, “sauté”, etc., so the content of the frame is large when changing from one process to the next. It will change. Therefore, the dividing unit 136 extracts a frame near the time point at which the recipe process is considered to change according to the comparison result of the comparing unit 135 to obtain a change or difference in the feature amount, and the change amount or difference exceeds a predetermined threshold value. In such a case, chapter division may be performed between the two frames.

また、分割部136は、分割したチャプタと、比較部135の比較によって各フレームに対応付けられたレシピ工程とを対応付け、記憶部120に記憶させる。この際、抽出部133によって抽出された、各レシピ工程に含まれる所定の用語も各チャプタと対応付けて記憶させてもよい。   Further, the dividing unit 136 associates the divided chapters with the recipe process associated with each frame by the comparison by the comparison unit 135 and causes the storage unit 120 to store them. At this time, a predetermined term included in each recipe process extracted by the extraction unit 133 may also be stored in association with each chapter.

(コンテンツ配信サーバ100の処理の流れ)
図3は、コンテンツ配信サーバ100の処理の流れの一例を示すフローチャートである。
図4は、調理映像とレシピ工程との対応関係を説明する図である。図5は、図4のフレームの画像例を示す図である。図3〜図5を参照して、コンテンツ配信サーバ100の処理の流れについて説明する。なお、図4において、フレーム31〜35は、調理映像のフレーム画像であり、レシピ工程1〜5は、図2のレシピ情報に対応している。
(Processing flow of content distribution server 100)
FIG. 3 is a flowchart showing an example of the processing flow of the content distribution server 100.
FIG. 4 is a diagram for explaining the correspondence between the cooking video and the recipe process. FIG. 5 is a diagram illustrating an example of an image of the frame in FIG. The processing flow of the content distribution server 100 will be described with reference to FIGS. In FIG. 4, frames 31 to 35 are frame images of cooking videos, and recipe steps 1 to 5 correspond to the recipe information of FIG.

図3のステップS301において、映像取得部131は、レシピ情報に従った調理作業を撮影するカメラ141から調理映像を取得する。   In step S301 of FIG. 3, the video acquisition unit 131 acquires a cooking video from the camera 141 that captures the cooking work according to the recipe information.

ステップS302において、読込部132は、カメラ141が撮影する調理作業に対応するレシピ情報を記憶部120から読み込む。   In step S <b> 302, the reading unit 132 reads recipe information corresponding to the cooking operation photographed by the camera 141 from the storage unit 120.

ステップS303において、抽出部133は、読み込んだレシピ工程から、各レシピ工程に含まれる、食材の名称、調理作業で用いられる調理器具の名称、調理作業を示す用語を抽出する。例えば、図4のレシピ工程1において、「ボウル」、「バター」、「入れ」、レシピ工程2において、「粉砂糖」、「加え」、「泡立て器」、「混ぜる」を抽出する。   In step S303, the extraction unit 133 extracts the names of ingredients, the names of cooking utensils used in the cooking work, and the terms indicating the cooking work included in each recipe process from the read recipe process. For example, in the recipe process 1 of FIG. 4, “bowl”, “butter”, “put”, and in the recipe process 2, “powdered sugar”, “add”, “whather”, and “mix” are extracted.

ステップS304において、識別部134は、調理映像の先頭フレームからオブジェクトの識別を行う。例えば、図4及び図5の例を参照すると、時刻t1のフレーム31において、「ボウル」と「バター」が識別される。同様に、時刻t(t1<t<t2)のフレーム(不図示)では、「ボウル」と「バター」が識別される。   In step S304, the identification unit 134 identifies an object from the top frame of the cooking video. For example, referring to the examples of FIGS. 4 and 5, “bowl” and “butter” are identified in the frame 31 at time t1. Similarly, in a frame (not shown) at time t (t1 <t <t2), “bowl” and “butter” are identified.

次に、時刻t2のフレーム32において、「ボウル」、「バター」、「粉砂糖」、「泡立て器」が識別される。同様に、時刻t(t2<t<t3)のフレーム(不図示)では、「ボウル」、「バター」、「粉砂糖」、「泡立て器」が識別される。なお、時刻t(t2≦t<t3)のフレームでは、識別されたオブジェクトの組み合わせから、調理作業の内容として「混ぜる」が識別される。   Next, in the frame 32 at time t2, “bowl”, “butter”, “powdered sugar”, and “frother” are identified. Similarly, in a frame (not shown) at time t (t2 <t <t3), “bowl”, “butter”, “powdered sugar”, and “frother” are identified. In the frame at time t (t2 ≦ t <t3), “mix” is identified as the content of the cooking operation from the identified combination of objects.

時刻t3のフレーム33において、「ゴムベラ」、「ボウル」、「人物」が識別される。また、時刻t(t3<t<t4)のフレーム(不図示)では、「生地」も識別され、識別されたオブジェクトの組み合わせから、調理作業の内容として「混ぜる」、「丸める」が識別される。   In the frame 33 at time t3, “rubber spatula”, “bowl”, and “person” are identified. Further, in the frame (not shown) at time t (t3 <t <t4), “dough” is also identified, and “mixing” and “rounding” are identified as the contents of the cooking operation from the combination of the identified objects. .

時刻t4のフレーム34において、「天板」、「生地」が識別される。また、時刻t(t4<t<t5)のフレーム(不図示)では、「オーブン」や「人物」等が識別される。時刻t5のフレーム35において、「クッキー」、「お皿」が識別される。   In the frame 34 at time t4, “top” and “fabric” are identified. Further, in the frame (not shown) at time t (t4 <t <t5), “oven”, “person”, and the like are identified. In the frame 35 at time t5, “cookie” and “dish” are identified.

ステップS305において、比較部135は、識別部134の識別結果と、抽出部133が抽出した所定の用語とをフレームごとに比較する。図4及び図5の例を参照すると、フレーム31において、識別部134は、「ボウル」と「バター」を識別している。抽出部133は、レシピ工程1から「ボウル」、「バター」、「入れ」を抽出している。比較部135は、調理映像の先頭フレームであるフレーム31について、レシピ工程の最初から順に識別したオブジェクトと、抽出した用語とを比較し、一致度を算出する。この例では、フレーム31は、最初の工程であるレシピ工程1に対応すると判定される。比較部135は、フレームについて順次比較し、時刻t(t1<t<t2)のフレームは、レシピ工程1に対応すると判定される。   In step S305, the comparison unit 135 compares the identification result of the identification unit 134 with the predetermined term extracted by the extraction unit 133 for each frame. 4 and 5, in the frame 31, the identification unit 134 identifies “bowl” and “butter”. The extraction unit 133 extracts “bowl”, “butter”, and “put” from the recipe process 1. The comparison unit 135 compares the object identified in order from the beginning of the recipe process with the extracted term for the frame 31 that is the first frame of the cooking video, and calculates the degree of coincidence. In this example, it is determined that the frame 31 corresponds to the recipe process 1 which is the first process. The comparison unit 135 sequentially compares the frames, and determines that the frame at time t (t1 <t <t2) corresponds to the recipe process 1.

同様にして、時刻t(t2≦t<t3)のフレームはレシピ工程2に、時刻t(t3≦t<t4)のフレームはレシピ工程3に、時刻t(t4≦t<t5)のフレームはレシピ工程4に、時刻t(t5≦t<調理映像の最後まで)のフレームはレシピ工程5に対応付けられる。   Similarly, the frame at time t (t2 ≦ t <t3) is in the recipe step 2, the frame at time t (t3 ≦ t <t4) is in the recipe step 3, and the frame at time t (t4 ≦ t <t5) is In the recipe process 4, the frame at time t (t5 ≦ t <until the end of the cooking video) is associated with the recipe process 5.

ステップS306において、分割部136は、調理映像を先頭フレームから読込み、比較部135の比較、すなわち、対応付けられたレシピ工程を参照して、レシピ工程が次に進んだタイミングでチャプタ分割を行う。図4の例では、時刻t(t1≦t<t2)のフレームはレシピ工程1に対応付けられているが、時刻t2のフレーム32にはレシピ工程2が対応付けられている。したがって、対応付けられたレシピ工程が切り替わるフレーム32を先頭チャプタとしてチャプタ分割する。この際、フレームの特徴量等も参照して、レシピ工程の切り替わりを判定し、チャプタ分割を行ってもよい。また、調理者が発する言葉(例えば、「次に」等)を音声認識により検知し、レシピ工程の切り替わりを判定してもよい。   In step S306, the dividing unit 136 reads the cooking video from the first frame, compares the comparison unit 135, that is, refers to the associated recipe process, and performs chapter division at the timing when the recipe process has proceeded next. In the example of FIG. 4, the frame at time t (t1 ≦ t <t2) is associated with the recipe process 1, but the recipe process 2 is associated with the frame 32 at time t2. Therefore, the frame 32 in which the associated recipe process is switched is divided into chapters as the first chapter. At this time, the switching of the recipe process may be determined with reference to the feature amount of the frame and the like, and the chapter division may be performed. Moreover, words (for example, “next” etc.) uttered by the cook may be detected by voice recognition to determine the switching of the recipe process.

なお、識別部134、比較部135は、所定間隔ごとのフレームについて識別、比較するようにしてもよい。これは、調理映像は一連の調理作業を収録しており、各レシピ工程が切り替わる箇所(フレーム)に対する区分箇所の誤差の発生が致命的な問題になることはなく、調理映像をおおよそのレシピ工程ごとに区分することができれば十分有用であると考えられるためである。これにより、制御部130における処理量を軽減させることができる。   Note that the identification unit 134 and the comparison unit 135 may identify and compare frames at predetermined intervals. This is because the cooking video contains a series of cooking operations, and the occurrence of an error in the location where the recipe process is switched (frame) does not become a fatal problem. This is because it is considered that it is sufficiently useful if it can be classified for each. Thereby, the processing amount in the control part 130 can be reduced.

分割部136は、チャプタ分割した調理映像を、記憶部120に記憶させる。この際、抽出部133によって抽出された、各レシピ工程に含まれる所定の用語も各チャプタと対応付けて記憶させる。   The dividing unit 136 causes the storage unit 120 to store the chapter-divided cooking video. At this time, a predetermined term included in each recipe process extracted by the extraction unit 133 is also stored in association with each chapter.

ステップS307において、通信部110は、チャプタ分割された調理映像を視聴者端末200に配信する。これにより、視聴者端末200において、視聴者は、所望のレシピ工程に対応したチャプタから視聴することができる。   In step S <b> 307, the communication unit 110 distributes the chapter-divided cooking video to the viewer terminal 200. Thereby, in the viewer terminal 200, the viewer can view from a chapter corresponding to a desired recipe process.

また、通信部110は、調理映像全体を配信する代わりに、視聴者端末200から指定されたチャプタの調理映像のみを配信してもよい。また、通信部110は、視聴者端末200から受け付けた指定用語を含むレシピ工程についてのチャプタ映像を配信するようにしてもよい。これにより、視聴者は自身が難しいと考える調理作業について、視聴者がレシピ工程を閲覧して選択・指定をするのではなく、見たい内容を示す用語を指定するだけでその箇所についてレシピ工程を視聴することができる。これにより、レシピ工程全てを閲覧して指定する視聴者の手間を軽減することができる。   Moreover, the communication part 110 may distribute only the cooking video of the chapter designated from the viewer terminal 200 instead of distributing the whole cooking video. Moreover, you may make it the communication part 110 deliver the chapter image | video about the recipe process containing the designated term received from the viewer terminal 200. FIG. As a result, the viewer does not browse the recipe process and select / specify the cooking process that the viewer considers difficult, but simply designates a term indicating the content he / she wants to view, and the recipe process is performed for that part. Can watch. Thereby, the trouble of the viewer who browses and designates all recipe processes can be reduced.

図6は、配信される調理映像の一例を示す図である。視聴者端末200の画面61には、調理映像とともに、対応するレシピ工程62が強調表示される。また、レシピ工程62の次の工程であるレシピ工程63も表示されている。これにより、視聴者は、次のレシピ工程を意識しながら調理映像を視聴することができる。また、視聴者は、レシピ工程63を、例えばタップ等により選択指示することで、レシピ工程63に対応するチャプタの映像を画面61に表示させることができる。これにより、視聴者はレシピ工程63の映像を即時に視聴することができる。   FIG. 6 is a diagram illustrating an example of a cooking video to be distributed. The corresponding recipe process 62 is highlighted on the screen 61 of the viewer terminal 200 together with the cooking video. A recipe process 63 that is the next process of the recipe process 62 is also displayed. Thereby, the viewer can view the cooking video while being aware of the next recipe process. In addition, the viewer can display the chapter video corresponding to the recipe process 63 on the screen 61 by selecting and instructing the recipe process 63 with, for example, a tap. Thereby, the viewer can view the video of the recipe process 63 immediately.

また、レシピ工程全てを時系列で表示させ、現在画面に表示されている調理映像がどの工程か分かるように強調表示させてもよい。これにより、視聴者は、レシピ工程全体の中で、現在表示されているレシピ工程がどの時間位置にあるかが把握できるようになる。   Alternatively, all recipe processes may be displayed in chronological order and highlighted so that the cooking video currently displayed on the screen can be identified. As a result, the viewer can grasp at which time position the currently displayed recipe process is located in the entire recipe process.

(ハードウェア構成図)
図7は、コンテンツ配信サーバ100のハードウェア構成を示すブロック図である。コンテンツ配信サーバ100は、コンピュータ701に実装される。コンピュータ701は、CPU702と、主記憶装置703と、補助記憶装置704と、インターフェイス705と、を備える。
(Hardware configuration diagram)
FIG. 7 is a block diagram illustrating a hardware configuration of the content distribution server 100. The content distribution server 100 is mounted on the computer 701. The computer 701 includes a CPU 702, a main storage device 703, an auxiliary storage device 704, and an interface 705.

コンテンツ配信サーバ100の各構成要素の動作は、プログラムの形式で補助記憶装置704に記憶されている。CPU702は、プログラムを補助記憶装置704から読み出して主記憶装置703に展開し、当該プログラムに従って上記処理を実行する。また、CPU702は、プログラムに従って、記憶領域を主記憶装置703に確保する。当該プログラムは、具体的には、コンピュータ701に、レシピ工程に対応させてチャプタに時間分割した調理映像を配信するためのコンテンツ配信プログラムである。   The operation of each component of the content distribution server 100 is stored in the auxiliary storage device 704 in the form of a program. The CPU 702 reads the program from the auxiliary storage device 704, develops it in the main storage device 703, and executes the above processing according to the program. Further, the CPU 702 secures a storage area in the main storage device 703 according to the program. Specifically, the program is a content distribution program for distributing a cooking video time-divided into chapters corresponding to the recipe process to the computer 701.

なお、補助記憶装置704は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インターフェイス705を介して接続される磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ701に配信される場合、配信を受けたコンピュータ701が当該プログラムを主記憶装置703に展開し、処理を実行しても良い。   The auxiliary storage device 704 is an example of a tangible medium that is not temporary. Other examples of the tangible medium that is not temporary include a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory connected via the interface 705. When this program is distributed to the computer 701 via a network, the computer 701 that has received the distribution may develop the program in the main storage device 703 and execute the processing.

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置704に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であっても良い。なお、図7に示したハードウェア構成は、視聴者端末200も同様の構成としてもよい。視聴者端末200の各構成要素の動作も、上述のコンテンツ配信サーバ100と同様に、補助記憶装置に記憶されたプログラムに従ったCPUにより実現する。   The program may be for realizing a part of the functions described above. Further, the program may be a so-called difference file (difference program) that realizes the above-described function in combination with another program already stored in the auxiliary storage device 704. Note that the hardware configuration shown in FIG. 7 may be the same for the viewer terminal 200. The operation of each component of the viewer terminal 200 is also realized by a CPU according to a program stored in the auxiliary storage device, similar to the content distribution server 100 described above.

(効果の説明)
本実施形態に係るコンテンツ配信システムでは、調理映像をレシピ工程に対応させてチャプタに時間分割する。これにより、ユーザ(視聴者)は、所望のレシピ工程に対応した調理映像を視聴することができる。
(Explanation of effect)
In the content distribution system according to the present embodiment, the cooking video is time-divided into chapters corresponding to the recipe process. Thereby, the user (viewer) can view the cooking video corresponding to the desired recipe process.

また、本実施形態に係るコンテンツ配信システムでは、レシピ工程に含まれる、食材や調理器具、調理作業内容を示す用語と、フレーム内の識別されたオブジェクトとの比較に基づいてレシピ工程の対応関係を判定しているので、調理映像とレシピ工程とを容易に対応付けることができる。   Further, in the content distribution system according to the present embodiment, the correspondence between the recipe process is based on a comparison between the terms indicating ingredients, cooking utensils, and cooking work content included in the recipe process and the identified object in the frame. Since it determines, a cooking image | video and a recipe process can be matched easily.

また、コンテンツ配信システムは、視聴者端末から受け付けた指定用語を含むレシピ工程についてのチャプタ映像を配信する。これにより、ユーザが見たい映像について、ユーザ自身がレシピ工程を閲覧してレシピ工程の選択・指定をするのではなく、見たい調理作業等の内容を示す用語を指定するだけでその箇所についてレシピ工程を視聴することができる。これにより、レシピ工程全てを閲覧してレシピ工程を指定するユーザの手間を軽減することができる。   In addition, the content distribution system distributes chapter videos for the recipe process including the specified term received from the viewer terminal. As a result, for the video that the user wants to watch, the user does not browse the recipe process and select / designate the recipe process, but simply specifies a term indicating the contents of the cooking work or the like to be viewed. You can watch the process. Thereby, the trouble of the user who browses all the recipe processes and designates the recipe process can be reduced.

本実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。   The present embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the invention described in the claims and equivalents thereof, as long as they are included in the scope and gist of the invention.

1 コンテンツ配信システム、100 コンテンツ配信サーバ、110 通信部、120 記憶部、130 制御部、131 映像取得部、132 読込部、133 抽出部、134 識別部、135 比較部、136 分割部、141 カメラ、701 コンピュータ、702 CPU、703 主記憶装置、704 補助記憶装置、705 インターフェイス

1 content distribution system, 100 content distribution server, 110 communication unit, 120 storage unit, 130 control unit, 131 video acquisition unit, 132 reading unit, 133 extraction unit, 134 identification unit, 135 comparison unit, 136 dividing unit, 141 camera, 701 Computer, 702 CPU, 703 Main storage device, 704 Auxiliary storage device, 705 interface

上記目的を達成するため、本開示に係る情報処理装置は、レシピ情報に従った調理作業を撮影した調理映像を、レシピ情報の複数のレシピ工程に対応させてチャプタに時間分割する情報処理装置であって、調理映像を取得する映像取得部と、調理映像に対応するレシピ情報を読み込む読込部と、読み込んだレシピ情報に基づき、レシピ情報の各レシピ工程に含まれる所定の用語を抽出する抽出部と、調理映像に映るオブジェクトを識別する識別部と、識別部の識別結果と、抽出された所定の用語とを比較し、レシピ工程と調理映像とを対応付ける比較部と、調理映像を、対応付けられたレシピ工程が次のレシピ工程に変わるタイミングでチャプタ分割する分割部と、を備える。 In order to achieve the above object, an information processing apparatus according to the present disclosure is an information processing apparatus that time-divides a cooking video obtained by photographing cooking work according to recipe information into chapters corresponding to a plurality of recipe processes of recipe information. There are a video acquisition unit for acquiring a cooking video, a reading unit for reading recipe information corresponding to the cooking video, and an extraction unit for extracting a predetermined term included in each recipe process of the recipe information based on the read recipe information The identification unit for identifying the object shown in the cooking video, the identification result of the identification unit and the extracted predetermined term, and the comparison unit for associating the recipe process and the cooking video with the cooking video A dividing unit that divides chapters at a timing at which the recipe process is changed to the next recipe process .

また、上記目的を達成するため、本開示に係る情報処理方法は、レシピ情報に従った調理作業を撮影した調理映像を、レシピ情報の複数のレシピ工程に対応させてチャプタに時間分割する情報処理方法であって、調理映像を取得するステップと、調理映像に対応するレシピ情報を読み込むステップと、読み込んだレシピ情報に基づき、レシピ情報の各レシピ工程に含まれる所定の用語を抽出するステップと、調理映像に映るオブジェクトを識別するステップと、オブジェクトの識別結果と、抽出された所定の用語とを比較し、レシピ工程と調理映像とを対応付けるステップと、調理映像を、対応付けられたレシピ工程が次のレシピ工程に変わるタイミングでチャプタ分割するステップと、を備える。 In addition, in order to achieve the above object, an information processing method according to the present disclosure is an information processing that time-divides a cooking video obtained by photographing a cooking operation according to recipe information into chapters corresponding to a plurality of recipe steps of the recipe information. A method for obtaining a cooking video, a step for reading recipe information corresponding to the cooking video, a step for extracting a predetermined term included in each recipe process of the recipe information based on the read recipe information, identifying an object appearing in cooking video, the identification result of the object, is extracted by comparing the predetermined terms, the steps for associating the recipe step cooking video, cooking video, the associated recipe steps Dividing the chapter at the timing of changing to the next recipe process .

また、上記目的を達成するため、本開示に係るコンテンツ配信システムは、調理映像を複数のレシピ工程に対応させてチャプタに時間分割する情報処理装置と、情報処理装置が調理映像を配信する視聴者端末と、から構成されるコンテンツ配信システムであって、情報処理装置は、調理映像に対応するレシピ情報を読み込む読込部と、読み込んだレシピ情報に基づき、レシピ情報の各レシピ工程に含まれる所定の用語を抽出する抽出部と、調理映像に映るオブジェクトを識別する識別部と、識別部の識別結果と、抽出された所定の用語とを比較し、レシピ工程と調理映像とを対応付ける比較部と、調理映像を、対応付けられたレシピ工程が次のレシピ工程に変わるタイミングでチャプタ分割する分割部と、調理映像を視聴者端末に配信する配信部と、を備え配信部は、視聴者端末から受け付けた指定用語を含むレシピ工程に対応するチャプタの調理映像を配信する。 In order to achieve the above object, a content distribution system according to the present disclosure includes an information processing apparatus that time-divides a cooking video into chapters corresponding to a plurality of recipe processes, and a viewer that the information processing apparatus distributes the cooking video. A content distribution system including a terminal, wherein the information processing apparatus reads a recipe information corresponding to the cooking video, and a predetermined information included in each recipe process of the recipe information based on the read recipe information. An extraction unit for extracting terms, an identification unit for identifying an object shown in a cooking video, a comparison result for comparing the identification result of the identification unit with the extracted predetermined term, and associating the recipe process with the cooking video ; cooking image, the associated recipe step delivers a dividing unit for chapter division at the timing that varies in the following recipe step, a cooking video to the viewer terminal distribution Distribution unit comprising a part, the delivers cooking image of chapter corresponding to a recipe step including the specified terms received from a viewer terminal.

Claims (9)

レシピ情報に従った調理作業を撮影した調理映像を、前記レシピ情報の複数のレシピ工程に対応させてチャプタに時間分割する情報処理装置であって、
前記調理映像を取得する映像取得部と、
前記調理映像に対応する前記レシピ情報を読み込む読込部と、
前記読み込んだレシピ情報に基づき、前記レシピ情報の各レシピ工程に含まれる所定の用語を抽出する抽出部と、
前記調理映像に映るオブジェクトを識別する識別部と、
前記識別部の識別結果と、前記抽出された所定の用語とを比較する比較部と、
前記比較部の比較に基づき、前記各レシピ工程と対応させて前記調理映像の前記識別されたオブジェクトのシーンをチャプタ分割する分割部と、を備える情報処理装置。
An information processing apparatus that time-divides a cooking video obtained by photographing cooking work according to recipe information into chapters corresponding to a plurality of recipe steps of the recipe information,
A video acquisition unit for acquiring the cooking video;
A reading unit for reading the recipe information corresponding to the cooking video;
Based on the read recipe information, an extraction unit that extracts predetermined terms included in each recipe process of the recipe information;
An identification unit for identifying an object shown in the cooking image;
A comparison unit that compares the identification result of the identification unit with the extracted predetermined term;
An information processing apparatus comprising: a division unit that divides a scene of the identified object of the cooking video in accordance with each recipe process based on a comparison of the comparison unit.
前記所定の用語およびオブジェクトは、食材である、請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the predetermined term and the object are food ingredients. 前記所定の用語およびオブジェクトは、調理器具である、請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the predetermined term and the object are cooking utensils. 前記所定の用語およびオブジェクトは、食材および調理器具である、請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the predetermined terms and objects are food materials and cooking utensils. 前記所定の用語は、前記調理作業を示す用語であり、前記識別部は、前記調理映像に映るオブジェクトの識別に基づいて判断した、前記調理映像に映る前記調理作業の内容を、前記識別結果として前記比較部に出力する、請求項1に記載の情報処理装置。   The predetermined term is a term indicating the cooking operation, and the identification unit determines, as the identification result, the content of the cooking operation reflected in the cooking image, which is determined based on the identification of the object reflected in the cooking image. The information processing apparatus according to claim 1, wherein the information processing apparatus outputs the information to the comparison unit. 前記調理映像を視聴者端末に配信する配信部をさらに備え、
前記配信部は、前記視聴者端末から受け付けた指定用語を含むレシピ工程に対応するチャプタの調理映像を前記配信する、請求項1から請求項5のいずれか一項に記載の情報処理装置。
A delivery unit for delivering the cooking video to a viewer terminal;
The information processing apparatus according to claim 1, wherein the distribution unit distributes the cooking image of a chapter corresponding to a recipe process including a specified term received from the viewer terminal.
レシピ情報に従った調理作業を撮影した調理映像を、前記レシピ情報の複数のレシピ工程に対応させてチャプタに時間分割する情報処理方法であって、
前記調理映像を取得するステップと、
前記調理映像に対応する前記レシピ情報を読み込むステップと、
前記読み込んだレシピ情報に基づき、前記レシピ情報の各レシピ工程に含まれる所定の用語を抽出するステップと、
前記調理映像に映るオブジェクトを識別するステップと、
前記オブジェクトの識別結果と、前記抽出された所定の用語とを比較するステップと、
前記比較に基づき、前記各レシピ工程と対応させて前記調理映像の前記識別されたオブジェクトのシーンをチャプタ分割するステップと、を備える情報処理方法。
An information processing method for time-dividing a cooking video obtained by photographing cooking work according to recipe information into chapters corresponding to a plurality of recipe steps of the recipe information,
Obtaining the cooking video;
Reading the recipe information corresponding to the cooking video;
Extracting predetermined terms included in each recipe process of the recipe information based on the read recipe information;
Identifying an object shown in the cooking video;
Comparing the identification result of the object with the extracted predetermined term;
An information processing method comprising: dividing the scene of the identified object of the cooking video into chapters in correspondence with the recipe steps based on the comparison.
請求項7に記載の情報処理方法をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute the information processing method according to claim 7. 調理映像を複数のレシピ工程に対応させてチャプタに時間分割する情報処理装置と、前記情報処理装置が前記調理映像を配信する視聴者端末と、から構成されるコンテンツ配信システムであって、
前記情報処理装置は、
前記調理映像に対応するレシピ情報を読み込む読込部と、
前記読み込んだレシピ情報に基づき、前記レシピ情報の各レシピ工程に含まれる所定の用語を抽出する抽出部と、
前記調理映像に映るオブジェクトを識別する識別部と、
前記識別部の識別結果と、前記抽出された所定の用語とを比較する比較部と、
前記比較部の比較に基づき、前記各レシピ工程と対応させて前記調理映像の前記識別されたオブジェクトのシーンをチャプタ分割する分割部と、
前記調理映像を前記視聴者端末に配信する配信部と、を備え
前記配信部は、前記視聴者端末から受け付けた指定用語を含むレシピ工程に対応するチャプタの調理映像を前記配信する、コンテンツ配信システム。
An information processing apparatus that time-divides cooking video into chapters corresponding to a plurality of recipe processes, and a viewer terminal that distributes the cooking video by the information processing apparatus,
The information processing apparatus includes:
A reading unit for reading recipe information corresponding to the cooking video;
Based on the read recipe information, an extraction unit that extracts predetermined terms included in each recipe process of the recipe information;
An identification unit for identifying an object shown in the cooking image;
A comparison unit that compares the identification result of the identification unit with the extracted predetermined term;
Based on the comparison of the comparison unit, a division unit that divides the scene of the identified object of the cooking video in correspondence with each recipe step, and
A distribution unit that distributes the cooking video to the viewer terminal, wherein the distribution unit distributes the cooking video of a chapter corresponding to a recipe process that includes a designated term received from the viewer terminal. .
JP2018095141A 2018-05-17 2018-05-17 Information processing apparatus, information processing method, information processing program, and content distribution system Active JP6416429B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018095141A JP6416429B1 (en) 2018-05-17 2018-05-17 Information processing apparatus, information processing method, information processing program, and content distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018095141A JP6416429B1 (en) 2018-05-17 2018-05-17 Information processing apparatus, information processing method, information processing program, and content distribution system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018188395A Division JP2019201396A (en) 2018-10-03 2018-10-03 Information processor, information processing method, information processing program, and content distribution system

Publications (2)

Publication Number Publication Date
JP6416429B1 JP6416429B1 (en) 2018-10-31
JP2019201339A true JP2019201339A (en) 2019-11-21

Family

ID=64017145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018095141A Active JP6416429B1 (en) 2018-05-17 2018-05-17 Information processing apparatus, information processing method, information processing program, and content distribution system

Country Status (1)

Country Link
JP (1) JP6416429B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222720A (en) * 2019-05-10 2019-09-10 九阳股份有限公司 A kind of cooking equipment with short video acquisition function
CN110488672B (en) * 2019-06-21 2021-12-07 广东格兰仕集团有限公司 Control method and device of cooking equipment, cooking equipment and storage medium
CN111083537B (en) * 2019-12-30 2022-02-01 纯米科技(上海)股份有限公司 Cooking video generation method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129496A1 (en) * 2005-06-01 2006-12-07 Pioneer Corporation Video delivery device, video delivery method, video delivery program, and recording medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129496A1 (en) * 2005-06-01 2006-12-07 Pioneer Corporation Video delivery device, video delivery method, video delivery program, and recording medium

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIDENORI TSUJI 他4名: "IwaCam: a Multimedeia Processing Platform for Supporting Video-Based Cooking Communication", FUTURE GENERATION COMMUNICATION TECHNOROGY, JPN6018022337, 14 December 2012 (2012-12-14), pages 109 - 116, XP032340884, ISSN: 0003818687, DOI: 10.1109/FGCT.2012.6476591 *
前田 他2名: "レシピテキストからのフローグラフコーパス作成", 電子情報通信学会技術研究報告, vol. 第113巻 第214号, JPN6018022339, 5 September 2013 (2013-09-05), pages 37 - 42, ISSN: 0003818688 *
山肩 他2名: "調理コンテンツの自動作成のためのレシピテキストと調理観測映像の対応付け", 電子情報通信学会論文誌, vol. 第J90-D巻 第10号, JPN6018022335, 1 October 2007 (2007-10-01), pages 2817 - 2829, ISSN: 0003818686 *

Also Published As

Publication number Publication date
JP6416429B1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP6416429B1 (en) Information processing apparatus, information processing method, information processing program, and content distribution system
US9661292B2 (en) Content playback device and content playback method
CN105844445B (en) Information providing method, server, and information providing system
JP6837034B2 (en) Display shelves
CN106647532B (en) Recommendation method and device for cooking equipment
JP2012108282A (en) Electronic apparatus
CN111149098A (en) Cooking system
CN109300346A (en) Smart kitchen systems and teaching method
JP6391078B1 (en) Information processing device, terminal device, display shelf, information processing system, information processing method, and program
JP6416428B1 (en) Content distribution server, content distribution method, content distribution program, and content distribution system
JP2019201396A (en) Information processor, information processing method, information processing program, and content distribution system
CN112019800A (en) Image sharing method and device, range hood and storage medium
US20170118507A1 (en) System and a method for processing video tutorials
JP2017021650A (en) Cooking recipe creation method and program
CN111541868A (en) Cooking state monitoring method, device and system
CN109658200A (en) A kind of dining room information-pushing method and device
WO2016009551A1 (en) Information processing device, information processing method and program
JP2020107096A (en) System, device, method, and program for suggesting menu
JP6319782B1 (en) Video distribution server, video distribution system, video distribution method and program
JP6395965B1 (en) Recipe submission support server, recipe submission support method, recipe submission support program, and recipe submission support system
CN113497971B (en) Method, device, storage medium and terminal for obtaining menu
JP2005250766A (en) Dish order support system
JP2019201395A (en) Content distribution server, content distribution method, content distribution program, and content distribution system
WO2018029779A1 (en) Information processing device, information processing method, program, and storage medium
JP2019185718A (en) Recipe submission support server, recipe submission support method, recipe submission support program, and recipe submission support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180517

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180517

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180710

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181003

R150 Certificate of patent or registration of utility model

Ref document number: 6416429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250