JP2019212217A - Information processing system, information processing device, information processing method and program - Google Patents
Information processing system, information processing device, information processing method and program Download PDFInfo
- Publication number
- JP2019212217A JP2019212217A JP2018110358A JP2018110358A JP2019212217A JP 2019212217 A JP2019212217 A JP 2019212217A JP 2018110358 A JP2018110358 A JP 2018110358A JP 2018110358 A JP2018110358 A JP 2018110358A JP 2019212217 A JP2019212217 A JP 2019212217A
- Authority
- JP
- Japan
- Prior art keywords
- image
- editing
- information processing
- cooking
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000010411 cooking Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims description 14
- 230000003068 static effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- NHDHVHZZCFYRSB-UHFFFAOYSA-N pyriproxyfen Chemical compound C=1C=CC=NC=1OC(C)COC(C=C1)=CC=C1OC1=CC=CC=C1 NHDHVHZZCFYRSB-UHFFFAOYSA-N 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明の実施形態は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。 Embodiments described herein relate generally to an information processing system, an information processing apparatus, an information processing method, and a program.
動画像が持つ情報量は、静止画像や文字などの情報よりも一度に得られる情報量が多い。このため、近年、料理のレシピ(以下「レシピ」という。)を掲載するサイトでは、静止画像を添付したレシピ(以下「静止画像付レシピ」という。)だけでなく、調理工程を撮影した動画像を添付したレシピ(以下「動画像付レシピ」という。)を投稿するユーザーが増えている。動画像付レシピは、調理工程が記録されているため、調理工程の詳細を文章で説明する手間を省くことができ、利便性が高い。 The amount of information that a moving image has is larger than the amount of information that can be obtained at one time than information such as still images and characters. Therefore, in recent years, on sites that post cooking recipes (hereinafter referred to as “recipes”), not only recipes with still images attached (hereinafter referred to as “recipes with still images”), but also moving images taken of the cooking process. An increasing number of users are posting recipes that include the following (hereinafter referred to as “recipes with moving images”). Since the cooking process is recorded in the moving image-added recipe, it is possible to save the trouble of explaining the details of the cooking process in text, and the convenience is high.
特許文献1には、調理工程を撮影した動画像(以下「撮影動画像」という。)と、レシピを構成する情報(以降「レシピ情報」という。)と、音声情報と、を関連付けて保存する技術について記載されている。ここで、レシピ情報共有化システムは、料理工程を画像撮影する撮影手段と、料理レシピの入力手段と、料理工程の画像情報を保存する画像情報記憶手段、入力された料理レシピを階層構造のレシピ記述言語からなる料理レシピ情報として保存するレシピ情報記憶手段、インターネットとの接続手段、レシピ情報記憶手段から所望の料理レシピ情報を呼び出すとともに画像情報記憶手段から料理レシピ情報に関連付けられた画像情報を呼び出すレシピ検索手段を有する家庭内サーバーと、レシピ検索手段が呼び出した所望の料理レシピ情報および画像情報を出力する出力手段と、を、複数の家庭に各々備え、少なくとも撮影手段と入力手段と出力手段とは各家庭の台所に設けられ、各家庭では、インターネットを介して他の家庭の料理レシピ情報を共有することを特徴とする。 In Patent Document 1, a moving image obtained by photographing a cooking process (hereinafter referred to as “captured moving image”), information constituting a recipe (hereinafter referred to as “recipe information”), and audio information are stored in association with each other. The technology is described. Here, the recipe information sharing system includes a photographing means for photographing an image of a cooking process, an input means for a cooking recipe, an image information storage means for storing image information of the cooking process, and the input cooking recipe is a recipe having a hierarchical structure. Recipe information storage means for saving as recipe information in a description language, means for connecting to the Internet, calling desired dish recipe information from the recipe information storage means, and calling image information associated with the dish recipe information from the image information storage means A home server having recipe search means, and output means for outputting desired cooking recipe information and image information called by the recipe search means are provided in each of a plurality of households, and at least photographing means, input means, and output means, Is provided in the kitchen of each home, and in each home, other home cooking recipes via the Internet Characterized in that it share the broadcast.
特許文献2には、複数の静止画像又は動画像を分析し、分析結果に基づいて、画像が順次登場する動画像を生成する技術について記載されている。ここで、電子機器は、取り込まれた複数の画像を分析することによりそれぞれの画像に含まれるオブジェクトを抽出する抽出手段と、前記抽出されたオブジェクトを、選択順序を伴って選択可能に提示する提示手段と、前記提示手段に基づいて選択されたオブジェクトの前記選択順序に従って、選択されたオブジェクトを含む複数の画像が順次登場する映像を生成する生成手段と、を具備する。 Patent Document 2 describes a technique for analyzing a plurality of still images or moving images and generating a moving image in which images appear sequentially based on the analysis result. Here, the electronic device analyzes a plurality of captured images to extract an object included in each image, and presents the extracted objects to be selectable with a selection order. Means, and generating means for generating a video in which a plurality of images including the selected object appear sequentially according to the selection order of the objects selected based on the presenting means.
しかしながら、動画像付レシピの作成は、動画像の撮影及び編集の際、専門的な技術又は知識を要する場合がある。このため、ユーザーの入力情報がない場合、動画像付レシピを投稿したいユーザーが動画像を作成及び編集できない場合や、通常のレシピ投稿と比べ、投稿に手間がかかる場合があった。 However, creation of a recipe with moving images may require specialized techniques or knowledge when shooting and editing moving images. For this reason, when there is no user input information, a user who wants to post a recipe with a moving image cannot create or edit a moving image, or it may take time to post compared to a normal recipe posting.
本発明が解決しようとする課題は、調理工程を撮影した動画像の編集の手間を削減することができる情報処理装置、情報処理方法及びプログラムを提供することである。 The problem to be solved by the present invention is to provide an information processing apparatus, an information processing method, and a program capable of reducing the trouble of editing a moving image obtained by photographing a cooking process.
上述した課題を解決するために、本発明の一態様は、調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得部と、前記第一画像に基づいて、前記第二画像を編集する画像編集部と、を備える情報処理システムである。 In order to solve the above-described problem, one aspect of the present invention is a first image that shows at least one of a first still image or a first moving image related to cooking, and a second image that shows a moving image in which a cooking scene is captured. And an image editing unit that edits the second image based on the first image.
また、本発明の一態様は、調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得部と、前記第一画像に基づいて、前記第二画像を編集する画像編集部と、を備える情報処理装置である。 One embodiment of the present invention is an image acquisition for acquiring a first image indicating at least one of a first still image or a first moving image related to cooking, and a second image indicating a moving image in which a cooking scene is captured. And an image editing unit that edits the second image based on the first image.
また、本発明の一態様は、1又は複数の情報処理装置が、調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得ステップと、前記第一画像に基づいて、前記第二画像を編集する画像編集ステップと、を有する、情報処理方法である。 In one embodiment of the present invention, one or a plurality of information processing apparatuses includes a first image indicating at least one of a first still image and a first moving image related to cooking, and a moving image in which a cooking scene is captured. An image processing method comprising: an image acquisition step for acquiring two images; and an image editing step for editing the second image based on the first image.
また、本発明の一態様は、1又は複数のコンピューターに、調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得ステップと、前記第一画像に基づいて、前記第二画像を編集する画像編集ステップと、を実行させるためのプログラムである。 In one embodiment of the present invention, a first image indicating at least one of a first still image or a first moving image related to cooking and a second image indicating a moving image in which a cooking scene is photographed are displayed on one or a plurality of computers. And an image editing step for editing the second image based on the first image.
実施形態の情報処理装置は、画像取得部と、抽出部と、を備える。画像取得部は、調理に関する第一画像(動画でもよい)と、調理風景が撮影された動画像と、を取得する。抽出部は、前記静止画像に基づいて、前記動画像に含まれる第二画像を抽出する。 The information processing apparatus according to the embodiment includes an image acquisition unit and an extraction unit. An image acquisition part acquires the 1st image (a moving image may be sufficient) regarding cooking, and the moving image by which the cooking scenery was image | photographed. The extraction unit extracts a second image included in the moving image based on the still image.
以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施形態)
図1は、本発明の実施形態に係る情報処理システム1の構成を示すブロック図である。
情報処理システム1は、1又は複数の端末装置10と、サーバー20と、情報処理装置50とを備える。図1に示す例では、端末装置10の数は、N(Nは、1以上の整数)個である。N個の端末装置10は、互いに共通の構成を有し、端末装置10−1〜10−Nとして個々に区別される。
(Embodiment)
FIG. 1 is a block diagram showing a configuration of an information processing system 1 according to an embodiment of the present invention.
The information processing system 1 includes one or more
なお、本実施形態では、情報処理システム1の1つの具体例の構成を示しているだけであって、必ずしもサーバー20が必要であるなどと限定するものではない。例えば、サーバー20及び情報処理装置50が同一筐体内で実装されてもよいし、端末装置10及び情報処理装置50が同一筐体内で実装されてもよい。以下の説明では、情報処理システム1の具体例として、図1の構成を用いて説明する。
In the present embodiment, only the configuration of one specific example of the information processing system 1 is shown, and the
端末装置10−1〜10−N、サーバー20及び情報処理装置50は、それぞれ有線又は無線のネットワークNWを介して通信可能に接続される。ネットワークNWは、その一部にインターネット、公衆無線ネットワークなどの広域ネットワークを含んで構成されてもよいし、構内ネットワーク(LAN:Local Area Network)を含んで構成されてもよい。
The terminal devices 10-1 to 10-N, the
なお、本明細書では、端末装置10−1〜10−Nにおいて、共通の事項を説明する場合など、個々の端末装置10−1〜10−Nを区別しない場合には、単に端末装置10と呼ぶ。
In addition, in this specification, when not distinguishing each terminal device 10-1 to 10-N, such as the case where common matters are described in the terminal devices 10-1 to 10-N, the
サーバー20は、例えば、レシピサイトのサーバーである。端末装置10は、携帯機器やPC(パーソナルコンピューター)等であり、例えば、レシピサイトを表示閲覧する。また、例えば、端末装置10は、カメラなどの画像取得装置を有し、動画像及び静止画像を撮影し、レシピサイトにレシピ情報と共に投稿する。
The
サーバー20は、各端末装置10から投稿されたレシピ情報をデータベースとして記憶する。ここで、レシピ情報は、調理方法を表し、例えば、ユーザーID(レシピを作成(投稿)した人又はレシピで料理を作った人を表す)、レシピ名(料理名)、調理工程、材料、調理器具等が含まれている。サーバー20は、各端末装置10からの要求に基づいて、レシピ情報(レシピ情報の一覧を含む。以下、同じ)の一部又は全部を、各端末装置10へ提供する。各端末装置10は、提供されたレシピ情報を表示する。
The
情報処理装置50は、料理の静止画像及び動画像の少なくとも一方に基づいて、端末装置10で撮影された動画像を編集する。情報処理装置50は、レシピ情報に基づいて、静止画像及び動画像の少なくとも一方を抽出し、動画像を自動的に編集する。
The
図2は、本発明の実施形態に係る情報処理装置50の構成を示すブロック図である。
情報処理装置50は、画像取得部51、抽出部52、画像選択部53、画像編集部54及び記憶部55を備える。
FIG. 2 is a block diagram showing a configuration of the
The
画像取得部51は、レシピ情報を取得する。画像取得部51は、静止画像付レシピ又は動画像付レシピの少なくとも一つのレシピ情報から静止画像又は動画像を表す画像(以下「第一画像」という。)を取得する。画像取得部51は、端末装置10から撮影動画像を取得する。
The
例えば、まず、画像取得部51は、サーバー20からレシピ情報を取得する。次に、画像取得部51は、レシピ情報が、静止画像又は動画像の少なくとも一つの画像情報を持つか否か判定する。画像情報は、静止画像付レシピ及び動画像付レシピの少なくとも一方に含まれる静止画像又は動画像を示す情報である。画像情報を持たない場合、画像取得部51は、再度別のレシピ情報を取得し、静止画像又は動画像の少なくとも一つの画像情報を持つか否か判定する。画像情報を持つ場合、画像取得部51は、取得した画像情報を第一画像として抽出部52へ送る。また、画像取得部51は、端末装置10から取得した撮影動画像を第二画像として取得する。画像取得部51は、取得した第二画像を抽出部52へ送る。なお、以下の説明では、撮影動画像は、第二画像の一態様として説明する。
For example, first, the
なお、画像取得部51が取得する第一画像及び第二画像は、情報処理装置50の記憶部55に記憶されていてもよいし、ネットワークNWなどを介して外部の装置から取得されてもよい。また、画像取得部51は、第一画像及び第二画像を、後述する記憶部55へ保存してもよい。
Note that the first image and the second image acquired by the
抽出部52は、画像取得部51から受け取った第一画像及び第二画像から特徴量を抽出する。特徴量は、ピクセルの輝度に基づいて算出される輝度特徴量や、連続するエッジ情報に基づいて算出されるエッジ特徴量などが存在するが、抽出部52で使用する特徴量に関しては限定しない。例えば、抽出方法として、画像が持つ特徴量を検出する手法として、SIFT(Scale-Invariant Feature Transform)特徴量やSURF(Speeded Up Robust Features)特徴量、HOG(Histograms of Oriented Gradients)特徴量などの手法を用いてもよい。例えば、抽出方法として、機械学習やディープラーニングなどの手法を用いてもよい。また、例えば、抽出する際に使用する特徴量の情報は、学習済みモデル、予測モデル、リレーショナルデータベース、統計的手法による分類結果(クラスタリング等)、関数等であっても良い。
The
特徴量の一例として、SIFT特徴量の抽出方法を説明する。はじめに、抽出部52は、SIFT特徴量を抽出するため、画像情報からスケール及び特徴点を検出する。スケールは、平滑化ガウシアンの標準偏差である。そして、抽出部52は、検出した特徴点の向きを検出し、特徴ベクトルとして抽出する。なお、抽出部52は、第一画像及び第二画像から特徴量を抽出できればよいため、本実施形態では、特徴量の抽出方法や特徴量の種類は、限定しない。
As an example of the feature amount, a SIFT feature amount extraction method will be described. First, the
抽出部52は、任意の抽出方法を用いて、第一画像及び第二画像の特徴量をそれぞれ第一特徴量、第二特徴量として抽出する。抽出部52は、第一特徴量及び第二特徴量を画像編集部54へ送る。なお、抽出部52が抽出した第一特徴量及び第二特徴量は、情報処理装置50の記憶部55に記憶されていてもよいし、ネットワークNWなどを介して外部の装置に記憶されてもよい。
The
画像選択部53は、ユーザーから、編集点や画像の選択などの入力を受け付ける。画像選択部53は、ユーザーからの入力に基づいて動画像を編集するための情報を示す編集情報を画像編集部54へ送る。なお、ユーザーからの入力がなかった場合、画像選択部53は、編集情報を「指定無し」として、画像編集部54へ送る。
The
画像編集部54は、抽出部52が抽出した第一特徴量及び第二特徴量と、画像選択部53から受け取った編集情報と、に基づいて、撮影動画像を編集する。まず、画像編集部54は、第一特徴量に基づいて、特徴量の閾値を設定する。画像編集部54は、設定した閾値に基づいて、第一画像及び第二画像が類似しているか否か判定する。
The
画像編集部54は、第一特徴量に基づいて、第二特徴量が閾値を超えている場合、第一画像及び第二画像が類似していると判定する。第二特徴量が閾値を超えていない場合、画像編集部54は、第一画像及び第二画像が類似していないと判定する。このとき、画像編集部54は、第二特徴量が閾値と交わった点を編集点として設定する。判定方法に関しては、図3で具体的に説明する。
Based on the first feature amount, the
画像編集部54は、第二特徴量が閾値を超え続けている区間の映像を第一画像及び第二画像の類似区間として編集する。画像編集部54は、類似区間を等倍速で編集する。画像編集部54は、類似していない区間の映像を倍速又は削除を用いて編集する。また、画像選択部53から編集情報を受け取った場合、画像編集部54は、編集情報に基づいて、閾値を設定し、第二画像を編集する。画像編集部54は、第二画像を編集した動画像(以下「編集済動画像」という。)を生成し、記憶部55に渡す。
The
記憶部55は、画像編集部54から受け取った編集済動画像を記憶する。なお、記憶部55は、抽出部52が抽出した第一特徴量及び第二特徴量を記憶してもよいし、第一画像及び第二画像を記憶してもよい。
The
図3は、同実施形態に係る撮影動画像及び第二特徴量の二次元グラフを示す図である。図3では、時間経過に基づいて、撮影動画像M1の動画像がコマ送りされている。画像編集部54は、第一特徴量に基づいて設定した特徴量の閾値を、第二特徴量グラフG1が超過するか否かを判定する。画像編集部54は、第二特徴量グラフG1と閾値が交わる点に編集点を付与する。図3では、画像編集部54は、編集点に基づいて、第二特徴量が閾値を超過する区間を等倍速区間、閾値以下の区間を倍速区間として編集を行う。
FIG. 3 is a diagram illustrating a captured moving image and a two-dimensional graph of the second feature amount according to the embodiment. In FIG. 3, the moving image of the captured moving image M1 is frame-advanced based on the passage of time. The
第二特徴量グラフG1は、撮影動画像M1の第二特徴量を時系列に沿って表したグラフである。第二特徴量が閾値を超過した場合、画像編集部54は、閾値を超過した編集点から再度閾値以下になる編集点までの区間を類似区間として第二画像M1に設定する。また、画像編集部54は、閾値を超過した点を開始編集点、再度閾値以下になる点を終了編集点として設定する。このため、図3の例では、開始編集点が3回、終了編集点が3回設定され、それぞれの区間が類似区間として設定される。
The second feature amount graph G1 is a graph that represents the second feature amount of the captured moving image M1 in time series. When the second feature amount exceeds the threshold value, the
次に、画像編集部54は、閾値を超過した類似区間を等倍速区間、超過していない区間を倍速区間として設定する。なお、本実施形態では、例として、開始編集点を超過した際に再生速度を変更したが、類似区間は、ズームによる場面の強調や音量の増加などの変更を行ってもよい。また、画像編集部54は、類似区間から、静止画像を抽出し、調理工程のサムネイル画像として設定する。具体的には図4を用いて説明する。
Next, the
図4は、同実施形態に係る動画像情報から抽出した静止画像を示す図である。
画像編集部54は、第二画像M2の類似区間に基づいて、動画のサムネイルとなる静止画像(以下「サムネイル」という。)を抽出する。図4では、類似区間を第一類似区間、第二類似区間及び第三類似区間として説明する。まず、画像編集部54は、第一類似区間の動画像から、開始編集点又は終了編集点の静止画像の少なくとも一方をサムネイルP1として抽出する。同様に、画像編集部54は、第二類似区間及び第三類似区間の動画像からサムネイルP2及びサムネイルP3を抽出する。なお、サムネイルは、第二特徴量が閾値を超過していればよいため、編集点の静止画像でなくとも、類似区間における静止画像であれば、どの静止画像を抽出してもよい。
FIG. 4 is a diagram showing a still image extracted from the moving image information according to the embodiment.
The
図5は、同実施形態に係る情報処理システム1の処理の流れを示すフローチャートである。
(ステップS100)画像取得部51は、レシピのデータベースからレシピ情報を取得する。その後、情報処理システム1は、ステップS102に処理を進める。
FIG. 5 is a flowchart showing a process flow of the information processing system 1 according to the embodiment.
(Step S100) The
(ステップS102)画像取得部51は、レシピ情報が静止画像又は動画像の少なくとも一つの画像を持つか判定する。
(ステップS102−NO)レシピ情報に画像が含まれない場合、第一画像を取得するため、情報処理システム1は、再度ステップS100から処理を行う。
(ステップS102−YES)レシピ情報が少なくとも一つの画像が含まれる場合、情報処理システム1は、ステップS104に処理を進める。
(Step S102) The
(Step S <b> 102 -NO) If the image is not included in the recipe information, the information processing system 1 performs the process from Step S <b> 100 again in order to acquire the first image.
(Step S102—YES) When the recipe information includes at least one image, the information processing system 1 advances the process to Step S104.
(ステップS104)画像取得部51は、取得した静止画像付レシピ又は動画像付レシピの少なくとも一つのレシピ情報から静止画像又は動画像の少なくとも一つの画像情報を第一画像として取得する。その後、情報処理システム1は、ステップS106に処理を進める。
(Step S104) The
(ステップS106)抽出部52は、第一画像から第一特徴量を抽出する。その後、情報処理システム1は、ステップS108に処理を進める。
(Step S106) The
(ステップS108)画像取得部51は、端末装置10で撮影された撮影動画像を第二画像として取得する。その後、情報処理システム1は、ステップS110に処理を進める。
(Step S108) The
(ステップS110)抽出部52は、第二画像から第二特徴量を抽出する。その後、情報処理システム1は、ステップS112に処理を進める。
(Step S110) The
(ステップS112)画像編集部54は、抽出部52で抽出した第一特徴量に基づいて閾値を設定する。画像編集部54は、設定した閾値と、第二特徴量とに基づいて、第二画像が第一画像に類似しているか否か判定する。
(ステップS112−NO)第二画像が第一画像に類似していない場合、第一画像を取得するため、情報処理システム1は、再度ステップS100から処理を行う。
(ステップS112−YES)第一画像及び第二画像が類似している場合、情報処理システム1は、ステップS114に処理を進める。
(Step S <b> 112) The
(Step S112—NO) If the second image is not similar to the first image, the information processing system 1 performs the process from Step S100 again to acquire the first image.
(Step S112—YES) When the first image and the second image are similar, the information processing system 1 advances the processing to Step S114.
(ステップS114)画像編集部54は、閾値及び第二特徴量に基づいて、閾値と特徴量が交わる点に開始編集点又は終了編集点を付与する。その後、情報処理システム1は、ステップS116に処理を進める。
(Step S114) Based on the threshold value and the second feature value, the
(ステップS116)画像選択部53は、ユーザーからの編集指示を受け付け、編集情報として、編集に使用する静止画像(サムネイル)が選択されたか否か判定する。
(ステップS116−YES)ユーザーからの編集指示がなかった場合、画像選択部53は、ユーザーが指示した編集情報を「指定無し」として画像編集部54に送る。その後、情報処理システム1は、ステップS118に処理を進める。
(ステップS116−NO)ユーザーからの入力があった場合、画像選択部53は、ユーザーが指示した編集情報を画像編集部54に送る。その後、情報処理システム1は、ステップS120に処理を進める。
(Step S116) The
(Step S116—YES) When there is no editing instruction from the user, the
(Step S116—NO) When there is an input from the user, the
(ステップS118)画像編集部54は、終了編集点から開始編集点までの区間の削除又は早回し(倍速)編集を行う。その後、情報処理システム1は、ステップS120に処理を進める。
(Step S118) The
(ステップS120)画像編集部54は、画像選択部53から受け取った編集情報に基づいて、第二画像を編集し、編集済動画像を生成する。その後、情報処理システム1は、ステップS122に処理を進める。
(Step S120) The
(ステップS122)画像編集部54は、編集済動画像を記憶部55へ保存する。記憶部55は、画像編集部54から受け取った編集済動画像を記憶する。
(Step S122) The
このように構成された情報処理システム1によれば、レシピ情報及び撮影動画像に基づいて、撮影動画像に編集点を付与し、編集することができる。そのため、調理工程を撮影した動画像の編集の手間を削減することができる。 According to the information processing system 1 configured as described above, an edit point can be given to a captured moving image and edited based on the recipe information and the captured moving image. Therefore, it is possible to reduce the trouble of editing a moving image obtained by photographing the cooking process.
[変形例]
図6は、同実施形態に係る撮影済動画像に含まれる情報の一例を示すデータ構成図である。
画像取得部51は、画像編集部54が生成した編集済動画像と、料理のデータベースに基づいて、レシピ情報を自動で生成してもよい。例えば、画像取得部51は、動画像情報からレシピ情報に関係する任意のデータを抽出する。
[Modification]
FIG. 6 is a data configuration diagram illustrating an example of information included in the captured moving image according to the embodiment.
The
図6では、例として、食材、調理工程、コツ・ポイント及び調理時間を、編集済動画像と、料理のデータベースとに基づいて取得している。例えば、画像取得部51は、食材や調理器具が表示される場面に基づいて、食材、調理器具を取得してもよい。例えば、画像取得部51は、動画像の情報の動画像の再生速度やズームの場面に基づいて、調理工程、コツ・ポイント及び調理時間を取得してもよい。例えば、画像取得部51は、動画像の再生速度が等倍速となる類似区間の調理工程、動画像のズームの場面をコツ・ポイントとして取得してもよい。
In FIG. 6, as an example, the ingredients, the cooking process, the tips, and the cooking time are acquired based on the edited moving image and the cooking database. For example, the
以上説明した少なくともひとつの実施形態によれば、情報処理システム1は、画像取得部51及び画像編集部54を備えることにより、調理工程を撮影した動画像の編集の手間を削減することが可能になる。
According to at least one embodiment described above, the information processing system 1 includes the
なお、上述した実施形態における情報処理システム1の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録してもよい。また、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。記憶装置は、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM、DVD−ROM、USBメモリー等の可搬媒体も含む。さらに「コンピューター読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものでもよい。具体的には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線等である。また、「コンピューター読み取り可能な記録媒体」は、一定時間プログラムを保持しているものも含んでも良い。具体的には、サーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー等である。また上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、上記プログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 In addition, you may make it implement | achieve at least one part of the function of the information processing system 1 in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium. The program recorded on the recording medium may be read by a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a hard disk built in the computer system. The storage device also includes a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, a DVD-ROM, and a USB memory. Further, the “computer-readable recording medium” may be one that dynamically holds a program for a short time. Specifically, it is a communication line or the like when transmitting a program via a network such as the Internet or a communication line such as a telephone line. Further, the “computer-readable recording medium” may include those that hold a program for a certain period of time. Specifically, a volatile memory or the like inside a computer system serving as a server or a client. The program may be for realizing a part of the functions described above. Furthermore, the program may be a program that can realize the above-described functions in combination with a program already recorded in the computer system.
本発明の実施形態を説明したが、本実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。本実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although the embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The present embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. This embodiment and its modifications are included in the scope of the present invention and the gist thereof, and are also included in the invention described in the claims and the equivalents thereof.
1…情報処理システム、10…端末装置、20…サーバー、50…情報処理装置、51…画像取得部、52…抽出部、53…画像選択部、54…画像編集部、55…記憶部 DESCRIPTION OF SYMBOLS 1 ... Information processing system, 10 ... Terminal device, 20 ... Server, 50 ... Information processing device, 51 ... Image acquisition part, 52 ... Extraction part, 53 ... Image selection part, 54 ... Image editing part, 55 ... Storage part
また、本発明の一態様は、1又は複数の情報処理装置が、調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得ステップと、前記第一画像に基づいて、前記第二画像を編集する画像編集ステップと、を実行する情報処理方法である。 In one embodiment of the present invention, one or a plurality of information processing apparatuses includes a first image indicating at least one of a first still image or a first moving image related to cooking, and a moving image in which a cooking scene is captured. An image processing method for executing an image acquisition step of acquiring two images, and an image editing step of editing the second image based on the first image.
Claims (9)
前記第一画像に基づいて、前記第二画像を編集する画像編集部と、
を備える情報処理システム。 An image acquisition unit for acquiring a first image indicating at least one of the first still image or the first moving image relating to cooking, and a second image indicating a moving image in which the cooking scenery is captured;
An image editing unit for editing the second image based on the first image;
An information processing system comprising:
請求項1に記載の情報処理システム。 The information processing system according to claim 1, wherein the image editing unit extracts at least one candidate of a second still image or a second moving image to be associated with a recipe from the second image based on the first image. .
前記画像編集部は、前記第一画像に基づいて、第二画像から調理工程の各々の調理風景を表す第二静止画像又は第二動画像の少なくとも一方の候補を抽出する
請求項1又は2に記載の情報処理システム。 The image acquisition unit acquires the first image representing each cooking scenery of a plurality of cooking steps,
The image editing unit extracts at least one candidate of a second still image or a second moving image representing each cooking scene of the cooking process from the second image based on the first image. The information processing system described.
前記画像編集部は、前記画像選択部が選択した第一画像に基づいて、前記第二画像を編集する
請求項1から3のいずれか一項に記載の情報処理システム。 An image selection unit that acquires recipe image information that associates the recipe information with the first image, and that selects the first image from the recipe image information based on the acquired recipe information,
The information processing system according to any one of claims 1 to 3, wherein the image editing unit edits the second image based on the first image selected by the image selection unit.
請求項1から4のいずれか一項に記載の情報処理システム。 The image editing unit sets a time point when the first image and the second image are similar to the editing point of the second image, and performs editing (including an editing proposal) to shorten the second image based on the editing point. The information processing system according to any one of claims 1 to 4.
請求項5に記載の情報処理システム。 The information processing system according to claim 5, wherein the image editing unit deletes or deletes an unnecessary video of the second image based on the editing point (including an editing proposal).
前記第一画像に基づいて、前記第二画像を編集する画像編集部と、
を備える情報処理装置。 An image acquisition unit for acquiring a first image indicating at least one of the first still image or the first moving image relating to cooking, and a second image indicating a moving image in which the cooking scenery is captured;
An image editing unit for editing the second image based on the first image;
An information processing apparatus comprising:
調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得ステップと、
前記第一画像に基づいて、前記第二画像を編集する画像編集ステップと、
を有する情報処理方法。 One or more information processing devices
An image acquisition step of acquiring a first image indicating at least one of a first still image or a first moving image relating to cooking, and a second image indicating a moving image in which the cooking scenery is captured;
An image editing step of editing the second image based on the first image;
An information processing method comprising:
調理に関する第一静止画像又は第一動画像の少なくとも一方を示す第一画像と、調理風景が撮影された動画像を示す第二画像と、を取得する画像取得ステップと、
前記第一画像に基づいて、前記第二画像を編集する画像編集ステップと、
を実行させるためのプログラム。 On one or more computers,
An image acquisition step of acquiring a first image indicating at least one of a first still image or a first moving image relating to cooking, and a second image indicating a moving image in which the cooking scenery is captured;
An image editing step of editing the second image based on the first image;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018110358A JP6465328B1 (en) | 2018-06-08 | 2018-06-08 | Information processing system, information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018110358A JP6465328B1 (en) | 2018-06-08 | 2018-06-08 | Information processing system, information processing apparatus, information processing method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018240269A Division JP2019212277A (en) | 2018-12-21 | 2018-12-21 | Information processing system, information processing device, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6465328B1 JP6465328B1 (en) | 2019-02-06 |
JP2019212217A true JP2019212217A (en) | 2019-12-12 |
Family
ID=65270474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018110358A Active JP6465328B1 (en) | 2018-06-08 | 2018-06-08 | Information processing system, information processing apparatus, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6465328B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019212277A (en) * | 2018-12-21 | 2019-12-12 | クックパッド株式会社 | Information processing system, information processing device, information processing method and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020009284A1 (en) * | 2000-07-21 | 2002-01-24 | Noboru Murabayashi | Information signal processing apparatus, information signal processing method, and information signal recording apparatus |
JP2004304337A (en) * | 2003-03-28 | 2004-10-28 | Toshiba Corp | Program picture editor, program picture editing method and program |
JP2005341182A (en) * | 2004-05-26 | 2005-12-08 | Matsushita Electric Works Ltd | Cooking recipe editing and presentating system |
JP2010039877A (en) * | 2008-08-07 | 2010-02-18 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus and program for generating digest content |
-
2018
- 2018-06-08 JP JP2018110358A patent/JP6465328B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020009284A1 (en) * | 2000-07-21 | 2002-01-24 | Noboru Murabayashi | Information signal processing apparatus, information signal processing method, and information signal recording apparatus |
JP2004304337A (en) * | 2003-03-28 | 2004-10-28 | Toshiba Corp | Program picture editor, program picture editing method and program |
JP2005341182A (en) * | 2004-05-26 | 2005-12-08 | Matsushita Electric Works Ltd | Cooking recipe editing and presentating system |
JP2010039877A (en) * | 2008-08-07 | 2010-02-18 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus and program for generating digest content |
Non-Patent Citations (3)
Title |
---|
三浦 宏一、外4名: "動きに基づく料理映像の自動要約", 情報処理学会論文誌, vol. 第44巻,第SIG9(CVIM7)号, JPN6018043843, 15 July 2003 (2003-07-15), JP, pages 21 - 29, ISSN: 0003914628 * |
林 泰宏、外4名: "料理レシピの記述に従った家庭内調理映像の要約", 電子情報通信学会技術研究報告, vol. 第112巻,第475号, JPN6018043842, 4 March 2013 (2013-03-04), JP, pages 121 - 126, ISSN: 0003914627 * |
林 泰宏、外4名: "時間的冗長性の除去による調理履歴映像の要約", 電子情報通信学会技術研究報告, vol. 第112巻,第75号, JPN6018043841, 29 May 2012 (2012-05-29), JP, pages 55 - 60, ISSN: 0003914626 * |
Also Published As
Publication number | Publication date |
---|---|
JP6465328B1 (en) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200314482A1 (en) | Control method and apparatus | |
JP5092000B2 (en) | Video processing apparatus, method, and video processing system | |
JP4895878B2 (en) | Representative color extraction method and representative color extraction apparatus | |
US10430456B2 (en) | Automatic grouping based handling of similar photos | |
WO2020248985A1 (en) | Method and device for image search, computer apparatus, and storage medium | |
US20080205772A1 (en) | Representative image selection based on hierarchical clustering | |
JP5870742B2 (en) | Information processing apparatus, system, and information processing method | |
US10769208B2 (en) | Topical-based media content summarization system and method | |
JP2009110460A (en) | Human image retrieval system | |
JP2006203574A (en) | Image display device | |
JP2011155385A (en) | Electronic device, content transmission method, and program | |
KR102197739B1 (en) | Method for providing actors information | |
KR101718891B1 (en) | Method and apparatus for searching image | |
US20130215144A1 (en) | Display control device and display control method | |
JP6465328B1 (en) | Information processing system, information processing apparatus, information processing method, and program | |
JP2013171599A (en) | Display control device and display control method | |
CN110727810A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
US20230196769A1 (en) | Posting support apparatus, and posting support method | |
JP6793169B2 (en) | Thumbnail output device, thumbnail output method and thumbnail output program | |
JP2019212277A (en) | Information processing system, information processing device, information processing method and program | |
JP6204957B2 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2004023656A (en) | Image processing device, image processing method, and program | |
US11283945B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
CN110866148A (en) | Information processing system, information processing apparatus, and storage medium | |
CN111723278A (en) | Menu recommendation method, device, recommendation system and related equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180620 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6465328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |