JP2006332789A - Video photographing method, apparatus, and program, and storage medium for storing the program - Google Patents

Video photographing method, apparatus, and program, and storage medium for storing the program Download PDF

Info

Publication number
JP2006332789A
JP2006332789A JP2005149865A JP2005149865A JP2006332789A JP 2006332789 A JP2006332789 A JP 2006332789A JP 2005149865 A JP2005149865 A JP 2005149865A JP 2005149865 A JP2005149865 A JP 2005149865A JP 2006332789 A JP2006332789 A JP 2006332789A
Authority
JP
Japan
Prior art keywords
shooting
video
template
storing
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005149865A
Other languages
Japanese (ja)
Inventor
Toshikazu Karitsuka
俊和 狩塚
Satoshi Shimada
聡 嶌田
Hiroshi Konishi
宏志 小西
Masashi Morimoto
正志 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005149865A priority Critical patent/JP2006332789A/en
Publication of JP2006332789A publication Critical patent/JP2006332789A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To allow many unspecified photographers to photograph a video image intended by a creator of a photographing list. <P>SOLUTION: According to this invention, a photographing template including at least a photographing order number, a photographing instruction comment, a meaning label, and a photographing method discrimination parameter is generated, the photographing template is stored to a photographing template storage means, a photographing template selected by a photographer using an input means is acquired from the photographing template storage means, video images are photographed in the order described in the photographing template while properly displaying a photographing method on a display means, and a photographed file is stored in a video storage means. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、映像撮影方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、予め作成しておいた撮影順序、撮影方法、意味ラベル等が定義された撮影テンプレートを選択的に用いて撮影することで、撮影順序、撮影方法が統一された映像を撮影できると同時に、映像に自動的に意味ラベルを付与することを可能とする映像撮影方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。   The present invention relates to a video shooting method and apparatus, a program, and a storage medium storing the program, and in particular, selectively using a shooting template in which a shooting sequence, a shooting method, a semantic label, and the like that are created in advance are defined. A video recording method and apparatus, a program, and a storage medium storing the program capable of shooting a video with a unified shooting order and shooting method and automatically assigning a semantic label to the video. About.

現在のデジタルカメラの技術進歩は著しいものがあり、ますますの小型化と、高機能化が進んでいる。携帯電話等にもCCDカメラの機能が標準搭載され、いかなる人でも手軽に映像を撮影し、映像情報を取得し、発信することが可能となってきている。   The technological progress of the current digital camera is remarkable, and the miniaturization and higher functionality are progressing. A cellular phone or the like is equipped with a CCD camera function as a standard feature, and any person can easily shoot a video, acquire video information, and transmit it.

例えば、保守点検作業の情報共有や、工事現場や作業現場の報告、カタログ作成、体験学習といった教育分野など、デジタルカメラを用いて映像を記録した方が効果的なシーンが数多くある。特に、被写体の動きや音など、時系列に撮影することに意味があるものや、物理的に長い物や大きな物、建物の内部の雰囲気などを撮影する場合、映像で撮影する方が写真を多数撮影するよりも簡便である。また、一つの動画のファイルとして管理できるため、管理性の面でも大変便利である。こういった作業をサポートするシステムとして、特に、撮り忘れを防止する目的として、JOBNavi機能を搭載するデバイスが提案されている。当該デバイスが搭載するJOBNavi機能は、記録すべき被記録対象のカット名を含む撮影リストを撮影リスト入力手段により入力し、撮影リストに含まれるカット名を表示部に表示し、撮影リストのカット名をカットしながら画像や動画の撮影を行う方法である(例えば、非特許文献1参照)。
渡辺俊夫、西沢義志、関和之、輿石隆保:“イメージキャプチャリングデバイス”RDC-i700, Ricoh Technical Report No.26 NOVEMBER 2000 p.147-p152
For example, there are many scenes where it is more effective to record images using a digital camera, such as sharing information on maintenance inspection work, reporting on construction sites and work sites, creating catalogs, and experiential learning. In particular, if you are shooting something that is meaningful in time series, such as the movement or sound of a subject, a physically long object, a large object, an atmosphere inside a building, etc. It is easier than shooting a large number. Also, since it can be managed as a single video file, it is very convenient in terms of manageability. As a system that supports such work, a device equipped with a JOBNavi function has been proposed, particularly for the purpose of preventing forgetting to take a picture. The JOBNavi function installed in the device inputs the shooting list including the cut name of the recording target to be recorded by the shooting list input means, displays the cut name included in the shooting list on the display unit, and the cut name of the shooting list. This is a method of taking an image or a moving image while cutting the image (for example, see Non-Patent Document 1).
Toshio Watanabe, Yoshishi Nishizawa, Kazuyuki Seki, Takao Sugaishi: “Image Capture Device” RDC-i700, Ricoh Technical Report No.26 NOVEMBER 2000 p.147-p152

しかしながら、上記従来の技術において、映像を撮影する場合、撮り忘れは防止できたとしても、撮影リストを受け取って実際に撮影する撮影者が、不特定多数いる場合、そもそも、映像をどのように撮影すればよいのかわからないという問題がある。   However, in the above conventional technology, even if it is possible to prevent forgetting to take a picture, if there are an unspecified number of photographers who actually take a picture after receiving the photography list, how is the picture taken in the first place? There is a problem of not knowing what to do.

また、撮影者の撮影テクニックの個人差が大きいため、撮影リストを作成した作成者が意図した映像を、撮影者が撮影できたかどうかを判定することはできないという問題がある。   In addition, there is a problem in that it is impossible to determine whether or not the photographer has photographed the video intended by the creator who created the photographing list because there are large individual differences in the photographing technique of the photographer.

本発明は、上記の点に鑑みなされたもので、撮影リストの作成者が意図した映像を不特定多数の撮影者が撮影できることが可能な映像撮影方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。   The present invention has been made in view of the above points, and a video recording method and apparatus, a program, and a storage medium storing the program that allow an unspecified number of photographers to shoot videos intended by the creator of the shooting list The purpose is to provide.

図1は、本発明の原理を説明するための図である。   FIG. 1 is a diagram for explaining the principle of the present invention.

本発明(請求項1)は、映像を撮影するための映像撮影システムにおける映像撮影方法であって、
撮影テンプレート作成者により入力手段から入力された情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する撮影テンプレート作成過程(ステップ1)と、
作成された撮影テンプレートを撮影テンプレート記憶手段に記憶するテンプレート保持過程(ステップ2)と、
撮影者により入力手段から選択された撮影テンプレートを撮影テンプレート記憶手段から取得するテンプレート選択過程(ステップ3)と、
撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影過程(ステップ4)と、
撮影された映像ファイルを映像記憶手段に保存する映像ファイル保存過程(ステップ5)と、を行う。
The present invention (Claim 1) is a video shooting method in a video shooting system for shooting a video,
A shooting template creation process (step 1) for creating a shooting template including at least a shooting sequence number, shooting instruction comments, meaning labels, and shooting method determination parameters based on information input from the input means by the shooting template creator;
A template holding process (step 2) for storing the created shooting template in the shooting template storage means;
A template selection step (step 3) for acquiring a shooting template selected from the input means by the photographer from the shooting template storage means;
A video shooting process (step 4) for shooting video while appropriately displaying the shooting method on the display means in the order described in the shooting template;
A video file storage process (step 5) is performed in which the captured video file is stored in the video storage means.

本発明(請求項2)は、映像を撮影するための映像撮影システムにおける映像撮影方法であって、
撮影テンプレート作成者により入力手段から入力された情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する撮影テンプレート作成過程と、
作成された撮影テンプレートを撮影テンプレート記憶手段に記憶するテンプレート保持過程と、
撮影された映像を解析し、撮影テンプレート記憶手段の撮影テンプレートに定義された撮影方法に従っていることを撮影方法判定パラメータを用いてチェックする映像チェック過程と、
適切な映像でない場合には、改善点を表示手段に表示する改善点表示過程と、
撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイル保存過程と、を行う。
The present invention (Claim 2) is a video shooting method in a video shooting system for shooting a video,
A shooting template creation process for creating a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input from the input unit by the shooting template creator;
A template holding process for storing the created shooting template in the shooting template storage means;
A video check process of analyzing the shot video and checking using a shooting method determination parameter that the shooting method defined in the shooting template of the shooting template storage means is followed;
If the video is not appropriate, the improvement display process for displaying the improvement on the display means,
A video file storage process is performed in which the video file of the captured video is stored in the video storage means.

本発明(請求項3)は、映像を撮影するための映像撮影システムにおける映像撮影方法であって、
撮影テンプレート作成者により入力手段から入力された情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する撮影テンプレート作成過程と、
作成された撮影テンプレートを撮影テンプレート記憶手段に記憶するテンプレート保持過程と、
撮影者により入力手段から選択された撮影テンプレートを撮影テンプレート記憶手段から取得するテンプレート選択過程と、
撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影過程と、
撮影された映像を解析し、記憶手段の撮影テンプレートに定義された撮影方法に従っていることを撮影方法判定パラメータを用いてチェックする映像チェック過程と、
適切な映像でない場合には、改善点を表示手段に表示する改善点表示過程と、
撮影された映像ファイルを映像記憶手段に格納する映像ファイル出力過程と、を行う。
The present invention (Claim 3) is a video shooting method in a video shooting system for shooting a video,
A shooting template creation process for creating a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input from the input unit by the shooting template creator;
A template holding process for storing the created shooting template in the shooting template storage means;
A template selection process for obtaining a photographing template selected from the input means by the photographer from the photographing template storage means;
A video shooting process for shooting video while appropriately displaying the shooting method on the display means in the order described in the shooting template;
A video check process of analyzing the shot video and checking using a shooting method determination parameter that the shooting method defined in the shooting template of the storage means is followed;
If the video is not appropriate, the improvement display process for displaying the improvement on the display means,
A video file output process for storing the shot video file in the video storage means;

本発明(請求項4)は、撮影テンプレート記憶手段に格納される撮影テンプレートの撮影方法判定パラメータは、
パラメータとして、カメラワーク、明度、ボケ、時間長、被撮影物体の位置、形のパラメータを少なくとも1つ以上保持し、
映像チェック過程において、
撮影方法判定パラメータを用いて検査する。
In the present invention (Claim 4), the shooting method determination parameter of the shooting template stored in the shooting template storage means is:
As parameters, at least one parameter of camera work, brightness, blur, time length, position of object to be photographed, shape is held,
In the video check process,
Inspection is performed using imaging method determination parameters.

本発明(請求項5)は、撮影テンプレート作成過程において、
予め作成した模範映像を解析することによって、撮影方法判定パラメータを生成する。
In the present invention (Claim 5), in the shooting template creation process,
An imaging method determination parameter is generated by analyzing a model image created in advance.

図2は、本発明の原理構成図である。   FIG. 2 is a principle configuration diagram of the present invention.

本発明(請求項6)は、映像を撮影するための映像撮影装置であって、
撮影テンプレートを記憶する撮影テンプレート記憶手段2と、
撮影テンプレート作成者が入力手段から入力した情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成し、撮影テンプレート記憶手段2に記憶する撮影テンプレート作成手段1と、
撮影者が入力手段から選択した撮影テンプレートを撮影テンプレート記憶手段2から取得し、該撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影手段6と、
撮影された映像ファイルを映像記憶手段10に出力する映像ファイル出力手段9と、を有する。
The present invention (Claim 6) is a video photographing apparatus for photographing a video,
Shooting template storage means 2 for storing shooting templates;
Based on information input from the input means by the shooting template creator, a shooting template including at least a shooting sequence number, shooting instruction comments, meaning labels, and shooting method determination parameters is created and stored in the shooting template storage means 2 Means 1;
A video shooting unit 6 that acquires a shooting template selected by the photographer from the input unit from the shooting template storage unit 2 and shoots video while appropriately displaying the shooting method on the display unit in the order described in the shooting template; ,
Video file output means 9 for outputting the shot video file to the video storage means 10.

本発明(請求項7)は、映像を撮影するための映像撮影装置であって、
撮影テンプレートを記憶する撮影テンプレート記憶手段と、
撮影テンプレート作成者が入力手段から入力した情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成し、撮影テンプレート記憶手段に格納する撮影テンプレート作成手段と、
撮影された映像を解析し、撮影テンプレート記憶手段の撮影テンプレートに定義された撮影方法に従っていることを撮影方法判定パラメータを用いてチェックする映像チェック手段と、
映像チェック手段で適切な映像でないと判定された場合には、改善点を表示手段に表示する改善点表示手段と、
撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイル出力手段と、を有する。
The present invention (Claim 7) is a video photographing apparatus for photographing a video,
Shooting template storage means for storing shooting templates;
A shooting template creation unit that creates a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input by the shooting template creator from the input unit, and stores the shooting template in the shooting template storage unit When,
Video check means for analyzing the shot video and checking using a shooting method determination parameter that the shooting method defined in the shooting template of the shooting template storage means is followed;
If the video check means determines that the video is not appropriate, the improvement point display means for displaying the improvement point on the display means,
Video file output means for saving the video file of the shot video in the video storage means.

本発明(請求項9)は、映像を撮影するための映像撮影装置であって、
撮影テンプレートを記憶する撮影テンプレート記憶手段と、
撮影テンプレート作成者が入力手段から入力した情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成し、撮影テンプレート記憶手段に格納する撮影テンプレート作成手段と、
撮影者が入力手段から選択した撮影テンプレートを撮影テンプレート記憶手段から取得し、該撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影手段と、
撮影された映像を解析し、撮影テンプレート記憶手段の撮影テンプレートに定義された撮影方法に従っていることを撮影方法判定パラメータを用いてチェックする映像チェック手段と、
映像チェック手段において適切な映像でないと判定された場合には、改善点を表示手段に表示する改善点表示手段と、
撮影された映像ファイルを映像記憶手段に格納する映像ファイル出力手段と、を有する。
The present invention (Claim 9) is a video photographing device for photographing a video,
Shooting template storage means for storing shooting templates;
A shooting template creation unit that creates a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input from the input unit by the shooting template creator, and stores the shooting template in the shooting template storage unit When,
A video shooting unit that acquires a shooting template selected by the photographer from the input unit from the shooting template storage unit, and shoots a video while appropriately displaying the shooting method in the order described in the shooting template;
Video check means for analyzing the shot video and checking using a shooting method determination parameter that the shooting method defined in the shooting template of the shooting template storage means is followed;
If the video check means determines that the video is not appropriate, the improvement point display means for displaying the improvement point on the display means;
Video file output means for storing the photographed video file in the video storage means.

本発明(請求項9)は、撮影テンプレート記憶手段に格納される撮影テンプレートの撮影方法判定パラメータとして、カメラワーク、明度、ボケ、時間長、被撮影物体の位置、形のパラメータを少なくとも1つ以上保持し、
映像チェック手段は、
撮影方法判定パラメータを用いて検査する手段を含む。
According to the present invention (claim 9), at least one or more parameters of camera work, brightness, blur, time length, position of object to be photographed, and shape are used as photographing template determination parameters stored in the photographing template storage means. Hold and
Video check means
Means for inspecting using the imaging method determination parameter is included.

本発明(請求項10)は、撮影テンプレート作成手段において、
予め作成した模範映像を解析することによって、撮影方法判定パラメータを生成する手段を含む。
According to the present invention (claim 10), in the photographing template creation means,
Means for generating a shooting method determination parameter by analyzing a model image created in advance is included.

本発明(請求項11)は、記憶手段上に、少なくとも、撮影テンプレートを記憶する撮影テンプレート記憶手段と、撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイルを格納する映像ファイル記憶手段とを有するコンピュータに、
請求項6乃至10記載の映像撮影装置の各手段を実行させる映像撮影プログラムである。
According to the present invention (claim 11), at least a shooting template storage means for storing a shooting template and a video file storage means for storing a video file for storing a video file of a shot video in the video storage means on the storage means. To a computer having
11. A video shooting program for executing each means of the video shooting device according to claim 6.

本発明(請求項12)は、記憶手段上に、少なくとも、撮影テンプレートを記憶する撮影テンプレート記憶手段と、撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイルを格納する映像ファイル記憶手段とを有するコンピュータに、
請求項6乃至10記載の映像撮影装置の各手段を実行させるプログラムを格納した映像撮影プログラムを格納した記憶媒体である。
According to the present invention (claim 12), at least a shooting template storage unit for storing a shooting template and a video file storage unit for storing a video file for storing a video file of a shot video in the video storage unit on the storage unit. To a computer having
11. A storage medium storing a video shooting program storing a program for executing each means of the video shooting device according to claim 6.

本発明によれば、少なくとも撮影順序、撮影指示コメント、意味的なラベル、撮影方法判定パラメータを含む撮影テンプレートに従って、撮影者が映像を撮影し、さらに撮影した映像を自動的にチェックする手段があるため、不特定多数の人物が撮影する場合でも、撮影テンプレートに記載されている、撮影順序、撮影方法で撮影された映像を得ることができる。   According to the present invention, there is a means for a photographer to shoot a video according to a shooting template including at least a shooting order, a shooting instruction comment, a semantic label, and a shooting method determination parameter, and to automatically check the shot video. Therefore, even when an unspecified number of people shoot, it is possible to obtain a video shot by the shooting order and shooting method described in the shooting template.

以下、図面と共に本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

[第1の実施の形態]
図3は、本発明の第1の実施の形態における撮影装置の構成を示す。
[First Embodiment]
FIG. 3 shows the configuration of the photographing apparatus according to the first embodiment of the present invention.

同図に示す撮影装置100は、撮影テンプレート作成部1、撮影テンプレート格納部2、撮影テンプレート取得部3、撮影テンプレート一時保存部4、撮影方法表示部5、映像撮影部6、撮影映像一時保存部7、映像チェック部8、映像出力部9、映像保存部9から構成され、作成者用入力装置200、撮影者用入力装置300、モニタ400と接続されている。   An imaging apparatus 100 shown in the figure includes an imaging template creation unit 1, an imaging template storage unit 2, an imaging template acquisition unit 3, an imaging template temporary storage unit 4, an imaging method display unit 5, an imaging camera unit 6, and an imaging video temporary storage unit. 7, a video check unit 8, a video output unit 9, and a video storage unit 9, which are connected to a creator input device 200, a photographer input device 300, and a monitor 400.

以下に、上記の構成における動作を説明する。   The operation in the above configuration will be described below.

図4は、本発明の第1の実施の形態における概要動作のフローチャートである。   FIG. 4 is a flowchart of an outline operation in the first embodiment of the present invention.

本発明の動作は、「撮影テンプレート作成フェーズ」と、「撮影テンプレートを用いた映像撮影フェーズ」に分けることができる。   The operation of the present invention can be divided into a “shooting template creation phase” and a “video shooting phase using a shooting template”.

撮影テンプレート作成フェーズは、撮影テンプレートを作成する過程(ステップ100)と、複数の撮影テンプレートを保持し管理する過程(ステップ101)からなる。   The shooting template creation phase includes a process of creating a shooting template (step 100) and a process of holding and managing a plurality of shooting templates (step 101).

また、撮影テンプレートを用いた映像撮影フェーズは、最適な撮影テンプレートを選択し、取得する過程(ステップ102)と、撮影テンプレートに従い、撮影方法を撮影者に提示しながら映像を撮影する過程(ステップ103)、撮影された映像が撮影テンプレートに定義された撮影方法に従っているかをチェックする過程(ステップ104)、撮影された映像ファイルを保存する過程(ステップ105)からなる。   The video shooting phase using the shooting template includes a process of selecting and acquiring an optimal shooting template (step 102), and a process of shooting a video while presenting a shooting method to the photographer according to the shooting template (step 103). ), A process of checking whether the shot video is in accordance with the shooting method defined in the shooting template (step 104), and a step of saving the shot video file (step 105).

最初に、「撮影テンプレート作成フェーズ」について説明する。   First, the “photographing template creation phase” will be described.

撮影テンプレート作成フェーズは、撮影テンプレートを作成する過程と、複数の撮影テンプレートを保持し、管理する過程からなる。   The shooting template creation phase includes a process of creating a shooting template and a process of holding and managing a plurality of shooting templates.

撮影テンプレート作成部1において、作成者から「作成開始」のトリガが入力されると、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する。   When a “start of creation” trigger is input from the creator, the shooting template creation unit 1 creates a shooting template including at least a shooting sequence number, shooting instruction comments, meaning labels, and shooting method determination parameters.

本実施の形態では、撮影方法判定パラメータとして、カメラワークパラメータのみを持つこととする。明度については、映像の各画素のRGB値の平均値を用いる手法等が考えられる。また、ボケを示すパラメータとしては、映像の各フレーム画像におけるエッジの数をパラメータとして採用するような方法が考えられる。時間長は、フレーム数や秒単位等の時間長パラメータで定義することができる。また、被撮影者の位置は、x座標、y座標の組み合わせで定義することができる。さらに、被撮影者の形は、大まかに縦と横の大きさのパラメータや、円の中心座標と半径などのパラメータで表現することも可能であるし、被撮影物体の輪郭をベクトルデータ列として保持することも可能である。   In the present embodiment, it is assumed that only the camera work parameter is provided as the imaging method determination parameter. As for the brightness, a method using an average value of RGB values of each pixel of the video can be considered. Further, as a parameter indicating blur, a method of adopting the number of edges in each frame image of a video as a parameter can be considered. The time length can be defined by a time length parameter such as the number of frames or seconds. In addition, the position of the subject can be defined by a combination of the x coordinate and the y coordinate. Furthermore, the shape of the person to be photographed can be roughly expressed by parameters of vertical and horizontal sizes, parameters such as the center coordinates and radius of a circle, and the contour of the object to be photographed as a vector data string. It is also possible to hold it.

本実施の形態では、カメラワークパラメータを算出するのに、ブロックマッチングによるオプティカルフローを用いる。その他の方法として、自然特徴点を抽出し、抽出された自然特徴点のマッチングをとることでオプティカルフローを求める手法としてもよい。   In this embodiment, an optical flow based on block matching is used to calculate camera work parameters. As another method, a method may be used in which an optical flow is obtained by extracting natural feature points and matching the extracted natural feature points.

撮影テンプレート作成部1は、図5(a)に示すような撮影テンプレートを作成し、撮影テンプレート格納部2へ撮影テンプレートを保存する。   The shooting template creation unit 1 creates a shooting template as shown in FIG. 5A and stores the shooting template in the shooting template storage unit 2.

図5(a)において、撮影ステップ番号は、撮影者が撮影していく順番(撮影順序番号)を示している。   In FIG. 5A, the shooting step number indicates the order (shooting order number) in which the photographer takes pictures.

意味ラベルとは、実際に何を撮影しているのかを示す情報である。   The semantic label is information indicating what is actually shot.

撮影指示コメントとは、撮影者に対して撮影を促す際の指示情報を含むコメントである。   The photographing instruction comment is a comment including instruction information for prompting the photographer to photograph.

カメラワークパラメータとは、本実施の形態の撮影判定方法パラメータで、この撮影ステップにおけるカメラワークを示すパラメータである。   The camera work parameter is a shooting determination method parameter of the present embodiment, and is a parameter indicating the camera work in this shooting step.

撮影テンプレート格納部2では、複数の撮影テンプレートを、撮影テンプレート名とそれに対応する情報が格納されている物理アドレスのテーブルによって、複数の撮影テンプレートを格納している。   The shooting template storage unit 2 stores a plurality of shooting templates by a table of physical addresses in which shooting template names and corresponding information are stored.

図5(a)に示すような撮影テンプレートを作成する場合、ひとつひとつ手作業で、数値やテキスト情報を入力していく方法もあるが、特に、本実施の形態で示すカメラワークパラメータのような数値情報を手作業で入力していくことは非常の煩雑である。よって、本実施の形態では、最初に、模範となる映像をオーサリングツール等を用いて作成しておき、その映像を解析することで、より効率的に撮影テンプレートを作成する手法を採用する。   When creating a shooting template as shown in FIG. 5A, there is a method of inputting numerical values and text information manually one by one. In particular, numerical values such as the camera work parameters shown in this embodiment are used. It is very complicated to input information manually. Therefore, in the present embodiment, a method of creating a shooting template more efficiently by first creating a model video using an authoring tool or the like and analyzing the video is employed.

図6は、本発明の第1の実施の形態における撮影テンプレート作成過程のフローチャートである。   FIG. 6 is a flowchart of a photographing template creation process in the first embodiment of the present invention.

ステップ301) テンプレート作成者(以下、作成者と記す)が、模範となる映像を作成する。必要な場合は適当な映像オーサリングツールを用いて編集してもよい。   Step 301) A template creator (hereinafter referred to as a creator) creates a model video. If necessary, editing may be performed using an appropriate video authoring tool.

ステップ302) ステップ301で作成されたテンプレート入力映像が作成者用入力装置200から入力されると、撮影テンプレート作成部1は、当該テンプレート入力映像のカット点を検出する。カット点の検出は、手動で行ってもよいし、特開2003−76699号公報、特開平11−224266号公報に開示されている方法を用いて、映像のフレーム画像の変化点を自動的に求める手法を用いて効率的に行ってよい。以下、カット点により分割された映像をショット映像と定義し、処理の単位とする。   Step 302) When the template input video created in step 301 is input from the creator input device 200, the shooting template creation unit 1 detects a cut point of the template input video. The cut point may be detected manually, or automatically using the method disclosed in Japanese Patent Laid-Open No. 2003-76699 and Japanese Patent Laid-Open No. 11-224266 to detect the change point of the frame image of the video. It may be done efficiently using the desired technique. Hereinafter, the video divided by the cut points is defined as a shot video and is used as a unit of processing.

ステップ303) 映像のショットの総数をNsとする。   Step 303) Let Ns be the total number of video shots.

ステップ304) ループカウンタ(n)を初期化する。   Step 304) Initialize the loop counter (n).

ステップ305) n番目のショットのパラメータを算出する。パラメータとして、このショットを特徴付けるパラメータを抽出する。本実施の形態では、ショット映像の時間の長さと、撮影者の意図が最も反映されるカメラワークのパラメータを、ショット映像のパラメータとして採用する。   Step 305) The parameter of the nth shot is calculated. As a parameter, a parameter characterizing this shot is extracted. In the present embodiment, the camera work parameters that most reflect the length of the shot video time and the intention of the photographer are employed as the shot video parameters.

i番目のフレーム画像をf(x,y)(i=1,2,…,N)とする。但し、Nはn番目のショット映像の総フレーム数とする。カメラのモデルを以下の式と近似的に定義することができる。 Let the i-th frame image be f i (x i , y i ) (i = 1, 2,..., N f ). N f is the total number of frames of the nth shot video. The camera model can be approximately defined as:

Figure 2006332789
カメラワークに対してαはズームに関わるパラメータ、a,bはパン・チルトに関わるパラメータである。カメラワーク検出部(図示せず)がこの3個のパラメータを各フレーム間で全て算出する。求める手法として、f(x,y)とfi+1(xi+1,yi+1)をn×nのブロックに分割する。但し、nは任意の自然数である。f(x,y)の各ブロックについて、fi+1(xi+1,yi+1)上で誤差が最小となるブロックを探索することで、そのフレーム間の対応を算出することができる。この対応関係と上記の式から、最小二乗法により各フレームのα,a,bを求めることが可能である。なお、カメラワーク検出部は、撮影テンプレート作成部1に存在する機能である。
Figure 2006332789
For camera work, α i is a parameter related to zoom, and a i and b i are parameters related to pan / tilt. A camera work detection unit (not shown) calculates all three parameters between frames. As a method for obtaining, f i (x i , y i ) and f i + 1 (x i + 1 , y i + 1 ) are divided into n × n blocks. However, n is an arbitrary natural number. For each block of f i (x i , y i ), the correspondence between the frames can be calculated by searching for the block with the smallest error on f i + 1 (x i + 1 , y i + 1 ). From this correspondence and the above equation, α i , a i and b i of each frame can be obtained by the least square method. The camera work detection unit is a function that exists in the shooting template creation unit 1.

α,a,bの平均値α ,A,Bと、ショットの時間Tの4つのパラメータを、n番目のショット映像のパラメータとして出力する。 The four parameters of the average values α n * , A n , B n of the α i , a i , b i and the shot time T n are output as parameters of the nth shot video.

本実施の形態では、ひとつのショット映像の中に、ひとつのカメラワークパラメータとしている。しかし、ひとつのショット映像の中にカメラワークの遷移がある場合も考えられる。例えば、パンをした後ズームするといった場合である。カメラワークの遷移の有無は、α,a,bの変化量から検出可能である。その場合は、ひとつのショット映像の中にα,a,b、α,a,b・・・と複数のパラメータを時系列順序で、冗長に保有することで対処可能である。 In the present embodiment, one camera work parameter is used in one shot video. However, there may be a case where there is a camera work transition in one shot video. For example, when panning and then zooming. Presence of a transition of the camera work can be detected from the variation of α i, a i, b i . In such a case, it is possible to deal with a plurality of parameters in a time-series order redundantly, such as α 1 , a 1 , b 1 , α 2 , a 2 , b 2. is there.

ステップ306) 作成者によって作成者用入力装置200から入力された意味ラベルをn番目のショット映像に付与する。   Step 306) The semantic label input from the creator input device 200 by the creator is given to the nth shot video.

ステップ307) nがNsかどうかを判定し、Nsである場合にはステップ309に移行し、そうでない場合にはステップ308に移行する。   Step 307) It is determined whether n is Ns. If it is Ns, the process proceeds to Step 309. Otherwise, the process proceeds to Step 308.

ステップ308) ループカウンタ(n)をインクリメントし、ステップ305に移行する。   Step 308) The loop counter (n) is incremented, and the routine proceeds to Step 305.

ステップ309) 作成者によって作成者用入力装置200から、入力としてNs組のショット映像に関するパラメータと意味ラベルが入力される。これにより、不要なカットがある場合には、作成者によりこの時点で削除される。意味ラベルの変更がある場合や、パラメータの修正がある場合にも、作成者によりデータが整形される。   Step 309) From the creator input device 200, the creator inputs parameters and semantic labels relating to the Ns sets of shot videos. Thus, if there is an unnecessary cut, the creator deletes it at this point. The data is also formatted by the creator when there is a change in the semantic label or when there is a parameter correction.

なお、必須ではないが、カメラパラメータをNULLにすることで、自由に撮影することのできる撮影ステップを盛り込むことも可能である。   Although not essential, by setting the camera parameter to NULL, it is also possible to include a shooting step that allows free shooting.

ステップ310) 撮影テンプレート名が作成者によって作成者用入力装置200から入力されると、当該撮影テンプレート名を上記で整形された撮影テンプレートに付与し、撮影テンプレート格納部2に保存する。   Step 310) When the photograph template name is input by the creator from the creator input device 200, the photograph template name is assigned to the photograph template shaped as described above and stored in the photograph template storage unit 2.

次に、「撮影テンプレートを用いた映像撮影フェーズ」について説明する。   Next, the “video shooting phase using a shooting template” will be described.

当該フェーズは、撮影者が適宜、最適な撮影テンプレートを選択し取得する過程と、撮影テンプレートに記載されている順序で、撮影方法を撮影者に提示しながら、映像を撮影する過程、撮影された映像が撮影テンプレートに定義された撮影方法に従っていることをチェックする過程と、撮影された映像ファイルを保存する過程を含むフェーズである。   This phase was taken in the process of shooting the video while the photographer selected and acquired the optimal shooting template as appropriate, and presented the shooting method to the photographer in the order described in the shooting template. This is a phase including a process of checking that a video complies with a shooting method defined in a shooting template and a process of saving a shot video file.

図7は、本発明の第1の実施の形態における撮影テンプレートを用いた映像撮影過程のフローチャートである。   FIG. 7 is a flowchart of a video shooting process using a shooting template according to the first embodiment of the present invention.

ステップ501) 撮影テンプレート取得部3が撮影テンプレートを読み出す。撮影テンプレートが複数ある場合は、撮影テンプレート格納部2から撮影テンプレートのリストを呼び出す。リストとしては、図5(b)に示すように撮影テンプレート名の一覧として管理テーブルで管理する。この際、撮影テンプレート格納部2の物理的な位置は、ローカルな場所にあってもよいし、リモートコンピュータの中に格納されており、ネットワークを介してTCP/IP等のプロトコルを用いて呼び出してきてもよい。撮影テンプレート取得部3は、リストの一覧をモニタ400に表示し、撮影者に提示する。撮影者がタッチパネル等の撮影者用入力装置300から撮影テンプレートを選択すると、撮影テンプレート取得部3は、選択された撮影テンプレートを、図5(b)に示す撮影テンプレート管理テーブルに照らし合わせて、データが保存されているアドレスを参照することで、適切な撮影テンプレートを撮影テンプレート格納部2から取得する。   Step 501) The shooting template acquisition unit 3 reads out the shooting template. When there are a plurality of shooting templates, a list of shooting templates is called from the shooting template storage unit 2. The list is managed in the management table as a list of shooting template names as shown in FIG. At this time, the physical location of the shooting template storage unit 2 may be a local location or stored in a remote computer and called using a protocol such as TCP / IP via a network. May be. The photographing template acquisition unit 3 displays a list of lists on the monitor 400 and presents it to the photographer. When the photographer selects a photographing template from the photographer input device 300 such as a touch panel, the photographing template acquisition unit 3 compares the selected photographing template with the photographing template management table shown in FIG. An appropriate shooting template is acquired from the shooting template storage unit 2 by referring to the address where is stored.

ステップ502) 撮影テンプレート取得部3は、上記のステップ401によって取得した撮影テンプレートを、撮影テンプレート一時保存部4に格納する。   Step 502) The shooting template acquisition unit 3 stores the shooting template acquired in step 401 in the shooting template temporary storage unit 4.

ステップ503) 撮影ステップの総数をNとする。   Step 503) Let N be the total number of photographing steps.

ステップ504) ループカウンタ(i)を初期化する。   Step 504) The loop counter (i) is initialized.

ステップ505) i番目の撮影ステップの情報を読み出す。   Step 505) Information on the i-th photographing step is read.

ステップ506) 撮影方法表示部5は、モニタ400に撮影方法の指示を表示する。このとき、撮影方法表示部5は、撮影テンプレート保存部4からi番目の撮影ステップの撮影指示コメントを読み出し、モニタ400に表示する。撮影者へのモニタ表示方法として、数値やテキスト情報を表示する方法もあるが、矢印やアニメーション等を用いることにより、グラフィカルな指示情報を、映像に重畳表示、また、画面の一部に表示する方法が考えられる。グラフィカルに提示する方法の方が、撮影者にとって、よりカメラワークの指示が直感的に理解されやすい。矢印で表示する場合、矢印の向きはカメラワークの向き、長さは早さを示す。矢印で表示例を図8に示す。同図において、6−2がカメラワークの指示矢印である。本実施の形態では、採用しないが、リアルタイムにカメラワークのパラメータを算出し、ユーザに対して、ダイナミックに矢印の長さや方向を変更することで、カメラワークが正常に行われているかどうかを提示することも可能である。しかし、この場合、計算コストが高くなる。   Step 506) The photographing method display unit 5 displays a photographing method instruction on the monitor 400. At this time, the imaging method display unit 5 reads the imaging instruction comment of the i-th imaging step from the imaging template storage unit 4 and displays it on the monitor 400. There is also a method of displaying numerical values and text information as a monitor display method to the photographer, but by using arrows or animations, graphical instruction information is superimposed on the video or displayed on a part of the screen. A method is conceivable. The method of presenting graphically makes it easier for the photographer to intuitively understand the camera work instructions. When displaying with an arrow, the direction of the arrow indicates the direction of the camera work, and the length indicates the speed. A display example is shown by arrows in FIG. In the figure, reference numeral 6-2 denotes a camera work instruction arrow. Although not adopted in the present embodiment, the camerawork parameters are calculated in real time, and the user is notified whether the camerawork is normally performed by dynamically changing the length and direction of the arrow. It is also possible to do. However, in this case, the calculation cost becomes high.

ステップ507) 撮影者がステップ506によってモニタ400に表示された指示に従い、撮影者用入力装置300のユーザインタラクションボタン(図8の6−4)の録画ボタンを押下すると、映像撮影部6は、撮影を開始する。また、撮影者によって、もう一度録画ボタンを押すことで、i番目のステップの撮影を終了し、撮影された映像を撮影映像一時保存部7に保存する。   Step 507) When the photographer presses the recording button of the user interaction button (6-4 in FIG. 8) of the photographer input device 300 in accordance with the instruction displayed on the monitor 400 in Step 506, the video photographing unit 6 performs photographing. To start. In addition, when the photographer presses the recording button again, the shooting at the i-th step is finished, and the shot video is stored in the shot video temporary storage unit 7.

録画ボタンをはじめとする、ユーザインタラクションボタン6−4は、物理的な機械式のボタンであってもよいし、タッチパネッル形式でもよい。   The user interaction button 6-4 including the recording button may be a physical mechanical button or a touch panel type.

ステップ508) 映像チェック部8は、撮影された映像が撮影テンプレートに定義されたカメラワークを行っているかどうかを判定するためのパラメータを算出する。   Step 508) The video check unit 8 calculates a parameter for determining whether or not the shot video is performing the camera work defined in the shooting template.

映像チェック部8は、撮影映像一時保存部7からi番目の撮影ステップの映像を読み込み、当該映像に対して前述のステップ305と同等の処理を行い、i番目の撮影ステップの映像α,a,bを算出する。 The video check unit 8 reads the video of the i-th shooting step from the captured video temporary storage unit 7, performs the same processing as the above-described step 305 on the video, and the video α i , a of the i-th shooting step. i and b i are calculated.

ステップ509) 映像チェック部8は、撮影テンプレート一時保存部4から撮影テンプレートを読み出して、当該撮影テンプレートに定義されたカメラパラメータと実際に撮影された映像から得られるパラメータを比較することにより、撮影テンプレートで想定されたカメラワークの映像が撮影されたかどうかを判定する。   Step 509) The video check unit 8 reads the shooting template from the shooting template temporary storage unit 4, and compares the camera parameter defined in the shooting template with the parameter obtained from the actually shot video, thereby obtaining the shooting template. It is determined whether or not the video of the camera work assumed in step S1 has been taken.

具体的には、ステップ508で算出されたα,a,bと、i番目のステップのカメラワークパラメータα ,A,Bとを比較する。評価する際の評価値をgとすると、 Specifically, α i , a i , b i calculated in step 508 are compared with camera work parameters α n * , A n , B n of the i-th step. If the evaluation value at the time of evaluation is g,

Figure 2006332789
とする。前もって閾値εを定義しておき、g>εの場合、ステップ510へ移行し、g≦εの場合はステップ411へ分岐する処理を行う。ステップ510に移行する場合、算出されたパラメータを引数として渡す。
Figure 2006332789
And The threshold value ε is defined in advance, and if g> ε, the process proceeds to step 510, and if g ≦ ε, the process branches to step 411. When moving to step 510, the calculated parameter is passed as an argument.

本実施の形態では、閾値εを予め事前設定しているとしたが、撮影テンプレートの中に、閾値εの情報を盛り込むことも考えられる。   In the present embodiment, the threshold value ε is preset, but it is also conceivable to include information on the threshold value ε in the imaging template.

ステップ510) 映像チェック部8のステップ509の処理において、g≦εであった場合、映像チェック部8は、なぜ適切な映像でないのかを算出されたパラメータをモニタ400に表示することで、撮影者に対して撮影方法の改善を求めるフィードバック表示をする。どのように提示するかは任意であるが、パラメータ数値をそのままで維持する手法や、│ai−Ai│+│bi−Bi│の値が事前に設定された値よりも著しく大きいのであれば、カメラワークのスピードが速いと推察できるので、撮影者に対して、実際に撮影された映像をモニタ等の表示手段に表示しながら、「カメラワークのスピードが速すぎます。もっとゆっくりカメラを動かしてください。」といった旨のメッセージを表示すること等が考えられる。この改善点の表示を行った後ステップ513に移行する。   Step 510) When g ≦ ε in the processing of Step 509 of the video check unit 8, the video check unit 8 displays on the monitor 400 a parameter calculated as to why the video is not appropriate. The feedback display is requested to improve the shooting method. How to present is arbitrary, but if the method of maintaining the parameter numerical value as it is or if the value of | ai-Ai | + | bi-Bi | is significantly larger than the preset value, Since it can be inferred that the camera work speed is fast, while displaying the actually captured image on the display means such as a monitor, “The camera work speed is too fast. Move the camera more slowly. It is possible to display a message saying "Please do". After displaying the improvement point, the process proceeds to step 513.

また、本実施の形態では採用していないが、撮影されているショット映像から、撮影テンプレートに定義されているカメラワークを正常に行えている部分のみを自動的にトリミングして表示する手法も考えられる。これを実現するためには、入力されたi番目撮影ステップの映像を予め設定された間隔に分割し、区間分割された映像毎に、ステップ509で用いた評価値gを求め、閾値εを下回る区間のみを繋ぎ合わせて、モニタ400に表示することも可能である。   In addition, although not adopted in this embodiment, there is also a method of automatically trimming and displaying only the part where the camera work defined in the shooting template can be normally performed from the shot video that has been shot. It is done. In order to realize this, the input video of the i-th shooting step is divided into preset intervals, and the evaluation value g used in step 509 is obtained for each segment-divided video and falls below the threshold ε. It is also possible to connect the sections and display them on the monitor 400.

ステップ511) ステップ509の分岐を経ているので、パラメータの数値上は、撮影テンプレートで想定されたカメラワークをしていると考えられる。しかし、撮影者が満足する映像が撮影されたかどうかを判定するには、撮影者が実際に映像を見て判定するしか方法がない。この判定を行うため、映像チェック部8は、撮影者に対して撮影された映像をモニタ400に表示する。   Step 511) Since the branch of Step 509 has been performed, it is considered that the camera work assumed in the photographing template is performed on the numerical value of the parameter. However, the only way to determine whether or not a video satisfying the photographer has been taken is that the photographer actually sees the video and makes a determination. In order to make this determination, the video check unit 8 displays the video taken for the photographer on the monitor 400.

ステップ512) 撮影者は、モニタ400に表示された映像を見て、撮影者用入力装置300のユーザインタラクションボタン6−4を操作する。撮影者が撮影者用入力装置300の「Yes」または、「No」のいずれかのボタンを押下することにより、撮影した映像が撮影者にとって満足いく映像であったかどうかを判定してもらう。   Step 512) The photographer views the video displayed on the monitor 400 and operates the user interaction button 6-4 of the photographer input device 300. When the photographer presses the “Yes” or “No” button of the photographer input device 300, the photographer determines whether the photographed image is satisfactory for the photographer.

もし「Yes」のボタンが押下された場合、ステップ513に移行し、「No」のボタンがクリックされた場合は、ステップ506に移行する。   If the “Yes” button is pressed, the process proceeds to step 513, and if the “No” button is clicked, the process proceeds to step 506.

ステップ513) 映像チェック部8は、改善点をモニタ400に表示した後、「もう一度撮影しなおしますか?」という旨のメッセージを表示し、もう一度映像を撮影しなおすかどうかを、撮影者に撮影者用入力装置300から「Yes」または、「No」のいずれかのボタンを入力してもらうことで判定する。「Yes」のボタンが入力された場合、ステップ506に移行し、「No」のボタンが入力された場合にはステップ514に移行する。   Step 513) After displaying the improvement point on the monitor 400, the image check unit 8 displays a message “Do you want to re-shoot?” And shoots the photographer whether to re-shoot the image. It is determined by having the user input device 300 input either “Yes” or “No” button. When the “Yes” button is input, the process proceeds to step 506, and when the “No” button is input, the process proceeds to step 514.

ステップ514) i番目の撮影ステップの撮影が完了したため、映像出力部9は、i番目の映像を撮影映像一時保存部7に保存する。保存する際、映像と共に対応する意味ラベルも保存する。   Step 514) Since the shooting of the i-th shooting step is completed, the video output unit 9 stores the i-th video in the shot video temporary storage unit 7. When saving, the corresponding semantic labels are also saved along with the video.

ステップ515) 全ての撮影ステップを終えたか判定する。判定は、ループカウンタiがNに等しいかによって判定する。まだ、撮影ステップが残っている場合はステップ516に移行し、全ての撮影ステップが終了した場合はステップ517に移行する。   Step 515) It is determined whether all photographing steps have been completed. The determination is made based on whether the loop counter i is equal to N. If there is still a shooting step remaining, the process proceeds to step 516, and if all the shooting steps are completed, the process proceeds to step 517.

ステップ516) iをインクリメントし、ステップ505に移行する。   Step 516) Increment i and go to Step 505.

ステップ517) 映像出力部9は、撮影映像一時保存部7からN個の撮影ステップによって撮影された映像を読み出して、映像保存部10に保存する。なお、必要があれば、任意の圧縮形式に圧縮してもよい。   Step 517) The video output unit 9 reads the video shot by the N shooting steps from the shot video temporary storage unit 7 and stores it in the video storage unit 10. If necessary, it may be compressed into an arbitrary compression format.

[第2の実施の形態]
前述の第1の実施の形態では、各構成部を1つの撮影装置としたが、この例に限定されることなく、各構成部が任意の構成部間において、ネットワークを介して接続されていてもよい。
[Second Embodiment]
In the first embodiment described above, each component is a single photographing device. However, the present invention is not limited to this example, and each component is connected between arbitrary components via a network. Also good.

例として、撮影テンプレート作成部1と撮影テンプレート格納部2との間をネットワークを介して接続している場合や、撮影テンプレート作成部1が1つではなく複数あってもよい。   For example, when the shooting template creation unit 1 and the shooting template storage unit 2 are connected via a network, there may be a plurality of shooting template creation units 1 instead of one.

また、映像撮影部6と、映像チェック部8がネットワークを介して接続されていてもよい。この場合、映像撮影部6がネットワークを介して、撮影映像と、撮影テンプレートの情報を、映像チェック部8に送信し、映像チェック部8は、映像をチェックした後、チェック結果のみを、映像撮影部6に送信するといった構成が考えられる。この手法は、映像を撮影しているデバイスの画像処理能力が著しく低い場合に有効な方法である。   Further, the video shooting unit 6 and the video check unit 8 may be connected via a network. In this case, the video shooting unit 6 transmits information of the shot video and the shooting template to the video check unit 8 via the network. The video check unit 8 checks the video, and then only the check result is shot. A configuration of transmitting to the unit 6 is conceivable. This method is effective when the image processing capability of the device that is capturing the video is extremely low.

また、撮影された映像ファイルと保存する過程において、撮影された映像と、撮影テンプレート内に含まれる意味ラベル情報を取り出す。映像を、映像ファイルとして整形し、映像保存部10へ保存する際に、同時に、メタデータファイルを出力する構成としてもよい。メタデータファイルには、映像ファイル名と、各撮影ステップで撮影した映像の開始点と終了点と、意味ラベルが格納される。開始点と終了点のデータの単位としては、映像のフレーム番号や、時間が考えられる。この例を図9に示す。   Further, in the process of storing the captured video file, the captured video and the semantic label information included in the shooting template are extracted. When the video is shaped as a video file and stored in the video storage unit 10, a metadata file may be output at the same time. The metadata file stores the video file name, the start and end points of the video shot at each shooting step, and a semantic label. As the data unit of the start point and end point, the frame number of the video and the time can be considered. An example of this is shown in FIG.

撮影テンプレートに予め意味ラベルが付与されているため、映像を撮影すると同時に、意味ラベルが撮影された映像にも同様に付与されるため、後で管理・編集する場合や、一覧する場合や検索する場合に大変便利である。   Since a semantic label is assigned to the shooting template in advance, the semantic label is also assigned to the shot video at the same time as the video is shot. Therefore, when managing / editing, listing, or searching later Very convenient in case.

なお、上記の第1の実施の形態における図3の構成要素の動作をプログラムとして構築し、映像撮影装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。   Note that the operations of the components in FIG. 3 in the first embodiment described above can be constructed as a program, installed in a computer used as a video shooting device, executed, or distributed via a network. It is.

また、構築されたプログラムを、コンピュータに接続されるハードディスク装置や、フレキシブルディスクやCD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールして実行させることも可能である。   Further, the constructed program can be stored in a hard disk device connected to the computer, a portable storage medium such as a flexible disk or a CD-ROM, and installed in the computer to be executed.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

本発明は、映像を撮影し、映像情報を発信する等の技術に適用可能である。   The present invention can be applied to techniques such as photographing video and transmitting video information.

本発明の原理を説明するための図である。It is a figure for demonstrating the principle of this invention. 本発明の原理構成図である。It is a principle block diagram of this invention. 本発明の第1の実施の形態における撮影装置の構成図である。It is a block diagram of the imaging device in the 1st Embodiment of this invention. 本発明の第1の実施の形態における概要動作のフローチャートである。It is a flowchart of the outline | summary operation | movement in the 1st Embodiment of this invention. 本発明の第1の実施の形態における撮影テンプレートと撮影テンプレート管理テーブルである。It is the imaging | photography template and imaging | photography template management table in the 1st Embodiment of this invention. 本発明の第1の実施の形態における撮影テンプレート作成過程のフローチャートである。It is a flowchart of the imaging | photography template creation process in the 1st Embodiment of this invention. 本発明の第1の実施の形態における撮影テンプレートを用いた映像撮影過程のフローチャートである。It is a flowchart of the image | video imaging | photography process using the imaging | photography template in the 1st Embodiment of this invention. 本発明の第1の実施の形態における映像指示表示例である。It is an example of a video instruction | indication display in the 1st Embodiment of this invention. 本発明の第2の実施の形態における映像保存部の格納例である。It is a storage example of the image | video preservation | save part in the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1 撮影テンプレート作成手段、映像テンプレート作成部
2 撮影テンプレート記憶手段、撮影テンプレート格納部
3 撮影テンプレート取得部
4 撮影テンプレート一時保存部
5 撮影方法表示部
6 映像撮影手段、映像撮影部
7 撮影映像一時保存部
8 映像チェック部
9 映像ファイル出力手段、映像出力部
10 映像記憶手段、映像保存部
100 映像撮影装置
200 作成者用入力装置
300 撮影者用入力装置
400 モニタ
DESCRIPTION OF SYMBOLS 1 Image | photographing template preparation means, image | video template preparation part 2 Image | photographing template memory | storage means, image | photographing template storage part 3 Image | photographing template acquisition part 4 Image | photographing template temporary storage part 5 Image | photographing method display part 6 Image | video image acquisition means, image | video image capture part 7 Image | video image | video temporary storage part 8 Video Check Unit 9 Video File Output Unit, Video Output Unit 10 Video Storage Unit, Video Storage Unit 100 Video Shooting Device 200 Creator Input Device 300 Photographer Input Device 400 Monitor

Claims (12)

映像を撮影するための映像撮影システムにおける映像撮影方法であって、
撮影テンプレート作成者により入力手段から入力された情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する撮影テンプレート作成過程と、
前記作成された前記撮影テンプレートを撮影テンプレート記憶手段に記憶するテンプレート保持過程と、
撮影者により入力手段から選択された撮影テンプレートを前記撮影テンプレート記憶手段から取得するテンプレート選択過程と、
前記撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影過程と、
撮影された映像ファイルを映像記憶手段に保存する映像ファイル保存過程と、
を行うことを特徴とする映像撮影方法。
A video shooting method in a video shooting system for shooting a video,
A shooting template creation process for creating a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input from the input unit by the shooting template creator;
A template holding process for storing the created shooting template in a shooting template storage unit;
A template selection process for obtaining a shooting template selected from the input means by the photographer from the shooting template storage means;
A video shooting process for shooting video while appropriately displaying the shooting method on the display means in the order described in the shooting template;
A video file storage process for storing the captured video file in the video storage means;
A video shooting method characterized by:
映像を撮影するための映像撮影システムにおける映像撮影方法であって、
撮影テンプレート作成者により入力手段から入力された情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する撮影テンプレート作成過程と、
前記作成された前記撮影テンプレートを撮影テンプレート記憶手段に記憶するテンプレート保持過程と、
撮影された映像を解析し、前記撮影テンプレート記憶手段の前記撮影テンプレートに定義された撮影方法に従っていることを前記撮影方法判定パラメータを用いてチェックする映像チェック過程と、
適切な映像でない場合には、改善点を表示手段に表示する改善点表示過程と、
撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイル保存過程と、
を行うことを特徴とする映像撮影方法。
A video shooting method in a video shooting system for shooting a video,
A shooting template creation process for creating a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input from the input unit by the shooting template creator;
A template holding process for storing the created shooting template in a shooting template storage unit;
A video check process of analyzing the shot video and checking using the shooting method determination parameter that the shooting method defined in the shooting template of the shooting template storage means is followed;
If the video is not appropriate, the improvement display process for displaying the improvement on the display means,
A video file saving process for saving the video file of the shot video in the video storage means;
A video shooting method characterized by:
映像を撮影するための映像撮影システムにおける映像撮影方法であって、
撮影テンプレート作成者により入力手段から入力された情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成する撮影テンプレート作成過程と、
前記作成された前記撮影テンプレートを撮影テンプレート記憶手段に記憶するテンプレート保持過程と、
撮影者により入力手段から選択された撮影テンプレートを前記撮影テンプレート記憶手段から取得するテンプレート選択過程と、
前記撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影過程と、
撮影された映像を解析し、前記記憶手段の前記撮影テンプレートに定義された撮影方法に従っていることを前記撮影方法判定パラメータを用いてチェックする映像チェック過程と、
適切な映像でない場合には、改善点を表示手段に表示する改善点表示過程と、
撮影された映像ファイルを映像記憶手段に格納する映像ファイル出力過程と、
を行うことを特徴とする映像撮影方法。
A video shooting method in a video shooting system for shooting a video,
A shooting template creation process for creating a shooting template including at least a shooting sequence number, a shooting instruction comment, a semantic label, and a shooting method determination parameter based on information input from the input unit by the shooting template creator;
A template holding process for storing the created shooting template in a shooting template storage unit;
A template selection process for obtaining a shooting template selected from the input means by the photographer from the shooting template storage means;
A video shooting process for shooting video while appropriately displaying the shooting method on the display means in the order described in the shooting template;
A video check process of analyzing the shot video and checking using the shooting method determination parameter that the shooting method defined in the shooting template of the storage unit is followed;
If the video is not appropriate, the improvement display process for displaying the improvement on the display means,
A video file output process for storing the captured video file in the video storage means;
A video shooting method characterized by:
前記撮影テンプレート記憶手段に格納される前記撮影テンプレートの前記撮影方法判定パラメータは、
パラメータとして、カメラワーク、明度、ボケ、時間長、被撮影物体の位置、形のパラメータを少なくとも1つ以上保持し、
前記映像チェック過程において、
前記撮影方法判定パラメータを用いて検査する請求項1乃至3記載の映像撮影方法。
The shooting method determination parameter of the shooting template stored in the shooting template storage means is:
As parameters, at least one parameter of camera work, brightness, blur, time length, position of object to be photographed, shape is held,
In the video check process,
The video imaging method according to claim 1, wherein inspection is performed using the imaging method determination parameter.
前記撮影テンプレート作成過程において、
予め作成した模範映像を解析することによって、前記撮影方法判定パラメータを生成する請求項1乃至3記載の映像撮影方法。
In the shooting template creation process,
4. The video shooting method according to claim 1, wherein the shooting method determination parameter is generated by analyzing a model video created in advance.
映像を撮影するための映像撮影装置であって、
撮影テンプレートを記憶する撮影テンプレート記憶手段と、
撮影テンプレート作成者が入力手段から入力した情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成し、前記撮影テンプレート記憶手段に記憶する撮影テンプレート作成手段と、
撮影者が入力手段から選択した撮影テンプレートを前記撮影テンプレート記憶手段から取得し、該撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影手段と、
撮影された映像ファイルを映像記憶手段に出力する映像ファイル出力手段と、
を有することを特徴とする映像撮影装置。
A video shooting device for shooting video,
Shooting template storage means for storing shooting templates;
Based on information input from the input unit by the shooting template creator, a shooting template including at least a shooting sequence number, shooting instruction comments, meaning labels, and shooting method determination parameters is created and stored in the shooting template storage unit Means,
A video shooting unit that acquires a shooting template selected by the photographer from the input unit from the shooting template storage unit, and shoots a video while appropriately displaying the shooting method in the order described in the shooting template;
Video file output means for outputting the shot video file to the video storage means;
A video photographing apparatus comprising:
映像を撮影するための映像撮影装置であって、
撮影テンプレートを記憶する撮影テンプレート記憶手段と、
撮影テンプレート作成者が入力手段から入力した情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成し、前記撮影テンプレート記憶手段に格納する撮影テンプレート作成手段と、
撮影された映像を解析し、前記撮影テンプレート記憶手段の前記撮影テンプレートに定義された撮影方法に従っていることを前記撮影方法判定パラメータを用いてチェックする映像チェック手段と、
前記映像チェック手段で適切な映像でないと判定された場合には、改善点を表示手段に表示する改善点表示手段と、
撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイル出力手段と、
を有することを特徴とする映像撮影装置。
A video shooting device for shooting video,
Shooting template storage means for storing shooting templates;
Based on information input from the input unit by the shooting template creator, a shooting template including at least a shooting sequence number, shooting instruction comment, meaning label, and shooting method determination parameter is created and stored in the shooting template storage unit Means,
Video checking means for analyzing the shot video and checking using the shooting method determination parameter that the shooting method defined in the shooting template of the shooting template storage means is followed;
If the video check means determines that the video is not appropriate, the improvement point display means for displaying the improvement point on the display means;
Video file output means for saving the video file of the shot video in the video storage means;
A video photographing apparatus comprising:
映像を撮影するための映像撮影装置であって、
撮影テンプレートを記憶する撮影テンプレート記憶手段と、
撮影テンプレート作成者が入力手段から入力した情報に基づいて、少なくとも撮影順序番号、撮影指示コメント、意味ラベル、撮影方法判定パラメータを含む撮影テンプレートを作成し、前記撮影テンプレート記憶手段に格納する撮影テンプレート作成手段と、
撮影者が入力手段から選択した撮影テンプレートを前記撮影テンプレート記憶手段から取得し、該撮影テンプレートに記載された順序で、適宜撮影方法を表示手段に表示しながら、映像を撮影する映像撮影手段と、
撮影された映像を解析し、前記撮影テンプレート記憶手段の前記撮影テンプレートに定義された撮影方法に従っていることを前記撮影方法判定パラメータを用いてチェックする映像チェック手段と、
前記映像チェック手段において適切な映像でないと判定された場合には、改善点を表示手段に表示する改善点表示手段と、
撮影された映像ファイルを映像記憶手段に格納する映像ファイル出力手段と、
を有することを特徴とする映像撮影装置。
A video shooting device for shooting video,
Shooting template storage means for storing shooting templates;
Based on information input from the input unit by the shooting template creator, a shooting template including at least a shooting sequence number, shooting instruction comment, meaning label, and shooting method determination parameter is created and stored in the shooting template storage unit Means,
A video shooting unit that acquires a shooting template selected by the photographer from the input unit from the shooting template storage unit, and shoots a video while appropriately displaying the shooting method in the order described in the shooting template;
Video checking means for analyzing the shot video and checking using the shooting method determination parameter that the shooting method defined in the shooting template of the shooting template storage means is followed;
When the video check means determines that the video is not appropriate, the improvement point display means for displaying the improvement point on the display means;
Video file output means for storing the shot video file in the video storage means;
A video photographing apparatus comprising:
前記撮影テンプレート記憶手段に格納される前記撮影テンプレートの前記撮影方法判定パラメータは、
パラメータとして、カメラワーク、明度、ボケ、時間長、被撮影物体の位置、形のパラメータを少なくとも1つ以上保持し、
前記映像チェック手段は、
前記撮影方法判定パラメータを用いて検査する手段を含む請求項6乃至8記載の映像撮影装置。
The shooting method determination parameter of the shooting template stored in the shooting template storage means is:
As parameters, at least one parameter of camera work, brightness, blur, time length, position of object to be photographed, shape is held,
The video check means includes
9. The image photographing apparatus according to claim 6, further comprising means for inspecting using the photographing method determination parameter.
前記撮影テンプレート作成手段は、
予め作成した模範映像を解析することによって、前記撮影方法判定パラメータを生成する手段を含む請求項6乃至8記載の映像撮影装置。
The shooting template creation means includes:
9. The image photographing apparatus according to claim 6, further comprising means for generating the photographing method determination parameter by analyzing a model image created in advance.
記憶手段上に、少なくとも、撮影テンプレートを記憶する撮影テンプレート記憶手段と、撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイルを格納する映像ファイル記憶手段とを有するコンピュータに、
請求項6乃至10記載の映像撮影装置の各手段を実行させることを特徴とする映像撮影プログラム。
A computer having at least a shooting template storage unit for storing a shooting template and a video file storage unit for storing a video file for storing a video file of a shot video in the video storage unit on the storage unit,
11. A video shooting program that causes each means of the video shooting device according to claim 6 to be executed.
記憶手段上に、少なくとも、撮影テンプレートを記憶する撮影テンプレート記憶手段と、撮影された映像の映像ファイルを映像記憶手段に保存する映像ファイルを格納する映像ファイル記憶手段とを有するコンピュータに、
請求項6乃至10記載の映像撮影装置の各手段を実行させるプログラムを格納したことを特徴とする映像撮影プログラムを格納した記憶媒体。
A computer having at least a shooting template storage unit for storing a shooting template and a video file storage unit for storing a video file for storing a video file of a shot video in the video storage unit on the storage unit,
11. A storage medium storing a video shooting program, wherein a program for executing each unit of the video shooting device according to claim 6 is stored.
JP2005149865A 2005-05-23 2005-05-23 Video photographing method, apparatus, and program, and storage medium for storing the program Pending JP2006332789A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005149865A JP2006332789A (en) 2005-05-23 2005-05-23 Video photographing method, apparatus, and program, and storage medium for storing the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005149865A JP2006332789A (en) 2005-05-23 2005-05-23 Video photographing method, apparatus, and program, and storage medium for storing the program

Publications (1)

Publication Number Publication Date
JP2006332789A true JP2006332789A (en) 2006-12-07

Family

ID=37554053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005149865A Pending JP2006332789A (en) 2005-05-23 2005-05-23 Video photographing method, apparatus, and program, and storage medium for storing the program

Country Status (1)

Country Link
JP (1) JP2006332789A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148118A (en) * 2006-12-12 2008-06-26 Sony Corp Imaging apparatus and imaging method, reproducing apparatus and reproducing method, and program
JP2009141959A (en) * 2007-12-04 2009-06-25 Samsung Electronics Co Ltd Apparatus and method for photographing and editing moving image
JP2009272961A (en) * 2008-05-08 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> Content evaluation method, device and program and computer-readable recording medium
JP2010166256A (en) * 2009-01-14 2010-07-29 Sony Corp Information processor, information processing method, and program
CN110570933A (en) * 2019-08-30 2019-12-13 宋伟威 system and method for calculating duration of imaging examination without MPPS (maximum power point tracking) service

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042413A (en) * 1999-07-27 2001-02-16 Fuji Photo Film Co Ltd Device and method for image photographing, device and method for image processing, and recording medium
JP2002010134A (en) * 2000-06-21 2002-01-11 Casio Comput Co Ltd Camera apparatus, recording medium and apparatus for forming photographing data
JP2002077691A (en) * 2000-09-01 2002-03-15 Sumitomo Forestry Co Ltd Electronic camera
JP2003008967A (en) * 2001-06-20 2003-01-10 Nikon Gijutsu Kobo:Kk Photographing advice system and photographing advice providing method
JP2003078868A (en) * 2001-09-04 2003-03-14 Toshiba Corp Device and program for supporting media work production
JP2004032608A (en) * 2002-06-28 2004-01-29 Fuji Photo Film Co Ltd Image managing apparatus, imaging apparatus, and image storage management system
JP2004254256A (en) * 2003-02-24 2004-09-09 Casio Comput Co Ltd Camera apparatus, display method, and program
JP2005006330A (en) * 2003-06-12 2005-01-06 Hewlett-Packard Development Co Lp System for analyzing digital image
JP2005117190A (en) * 2003-10-03 2005-04-28 Kureo:Kk Photographing support program, method and system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042413A (en) * 1999-07-27 2001-02-16 Fuji Photo Film Co Ltd Device and method for image photographing, device and method for image processing, and recording medium
JP2002010134A (en) * 2000-06-21 2002-01-11 Casio Comput Co Ltd Camera apparatus, recording medium and apparatus for forming photographing data
JP2002077691A (en) * 2000-09-01 2002-03-15 Sumitomo Forestry Co Ltd Electronic camera
JP2003008967A (en) * 2001-06-20 2003-01-10 Nikon Gijutsu Kobo:Kk Photographing advice system and photographing advice providing method
JP2003078868A (en) * 2001-09-04 2003-03-14 Toshiba Corp Device and program for supporting media work production
JP2004032608A (en) * 2002-06-28 2004-01-29 Fuji Photo Film Co Ltd Image managing apparatus, imaging apparatus, and image storage management system
JP2004254256A (en) * 2003-02-24 2004-09-09 Casio Comput Co Ltd Camera apparatus, display method, and program
JP2005006330A (en) * 2003-06-12 2005-01-06 Hewlett-Packard Development Co Lp System for analyzing digital image
JP2005117190A (en) * 2003-10-03 2005-04-28 Kureo:Kk Photographing support program, method and system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148118A (en) * 2006-12-12 2008-06-26 Sony Corp Imaging apparatus and imaging method, reproducing apparatus and reproducing method, and program
US8537230B2 (en) 2006-12-12 2013-09-17 Sony Corporation Imaging apparatus, an imaging method, a reproducing apparatus, a reproducing method and a program
JP2009141959A (en) * 2007-12-04 2009-06-25 Samsung Electronics Co Ltd Apparatus and method for photographing and editing moving image
US8526778B2 (en) 2007-12-04 2013-09-03 Samsung Electronics Co., Ltd. Apparatus and method for photographing and editing moving image
JP2009272961A (en) * 2008-05-08 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> Content evaluation method, device and program and computer-readable recording medium
JP2010166256A (en) * 2009-01-14 2010-07-29 Sony Corp Information processor, information processing method, and program
US9734406B2 (en) 2009-01-14 2017-08-15 Sony Corporation Information processing device, information processing method and program
CN110570933A (en) * 2019-08-30 2019-12-13 宋伟威 system and method for calculating duration of imaging examination without MPPS (maximum power point tracking) service

Similar Documents

Publication Publication Date Title
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
JP2010093713A (en) Display control device, display control method, and program
JP5803723B2 (en) Structure inspection support method, structure inspection support program, and structure inspection support device
JP6497965B2 (en) Image processing apparatus and image processing method
JP2006332789A (en) Video photographing method, apparatus, and program, and storage medium for storing the program
JP2016189544A (en) Image pickup device, image pickup method, program and recording medium
JP6618349B2 (en) Video search system
JP2016019249A (en) Display control device
JP2005167377A (en) Motion picture editor and motion picture editing method
JP4519805B2 (en) Video editing method and apparatus
JP2008228119A (en) Monitoring camera system, animation retrieval apparatus, face image database updating apparatus and operation control method therefor
CN109474782B (en) Interface device for data editing, data editing method, and recording medium
JP4259421B2 (en) Representative image selection method and program for video
JP2005175839A (en) Image display device,image display method, program, and recording medium
JP2021018642A (en) Information processing device, system, information processing method and program
JP2004021542A (en) Image processing device, photographing terminal, and image processing system
JP6679784B2 (en) Image processing apparatus and image processing method
JP2005164514A (en) Size measuring device and program
JP2009171110A (en) Photographing apparatus, picture synthesizing device, photographing method, and picture synthesizing method
JP2005268871A (en) Monitoring system and operation history display method thereof
JP2005252803A (en) Apparatus, method, and program for image processing and recording medium with the program stored
JP2010109886A (en) Information processor, control method, program and storage medium
JP5613285B2 (en) IMAGING DEVICE, IMAGING METHOD, DISPLAY DEVICE, AND DISPLAY METHOD
JP5838844B2 (en) Structure inspection support method, structure inspection support program, and structure inspection support device
JP2021158479A (en) Information processing device, information processing system, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100622