JP2014093710A - Image processor, image processing method, moving image creation method, frame image-for-moving image creation system, moving image creation system and program - Google Patents

Image processor, image processing method, moving image creation method, frame image-for-moving image creation system, moving image creation system and program Download PDF

Info

Publication number
JP2014093710A
JP2014093710A JP2012244346A JP2012244346A JP2014093710A JP 2014093710 A JP2014093710 A JP 2014093710A JP 2012244346 A JP2012244346 A JP 2012244346A JP 2012244346 A JP2012244346 A JP 2012244346A JP 2014093710 A JP2014093710 A JP 2014093710A
Authority
JP
Japan
Prior art keywords
image
moving
subject
still
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012244346A
Other languages
Japanese (ja)
Other versions
JP6181363B2 (en
Inventor
Satoshi Iki
敏 伊木
Kyozo Sugimoto
京三 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2012244346A priority Critical patent/JP6181363B2/en
Publication of JP2014093710A publication Critical patent/JP2014093710A/en
Application granted granted Critical
Publication of JP6181363B2 publication Critical patent/JP6181363B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processor, an image processing method, a moving image creation method, a frame image-for-moving image creation system, a moving image creation system and program capable of displaying an object photographed with desired photographic quality, and generating data for displaying the object such that it moves.SOLUTION: An image processor 12 includes: a still image acquisition part for acquiring a still image by photographing a moving subject 14 at a plurality of moving positions by a camera 4; an extraction part for extracting a part of each of a plurality of still images including the subject 14 acquired by the still image acquisition part as a partial image; and an image output part for outputting a frame image for a moving image based on the partial image extracted by the extraction part.

Description

本発明は、画像処理装置、画像処理方法、動画作成方法、動画用フレーム画像作成システム、動画作成システム及びプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, a moving image creating method, a moving image frame image creating system, a moving image creating system, and a program.

ビデオカメラなどの動画記録装置により撮影対象物である被写体を撮影することにより、被写体が動いているように表示することが可能な動画データが取得できる。ここで、宝石類などのように被写体が小さい場合、所望の被写界深度よりも浅い被写界深度により撮影されることがある。これに対し、レンズの絞りを絞り込むことにより、被写界深度を深くすることができるが、レンズを絞り込むことにより撮像素子による受光量が減り、画像が暗くなる。   Movie data that can be displayed as if the subject is moving can be acquired by photographing a subject that is a subject to be photographed by a video recording device such as a video camera. Here, when the subject is small, such as jewelry, the image may be taken with a depth of field shallower than a desired depth of field. On the other hand, the depth of field can be increased by narrowing the aperture of the lens, but the amount of light received by the image sensor is reduced and the image becomes dark by narrowing the lens.

デジタルカメラなどのような静止画記録装置では、シャッター速度を遅く(露光時間を長く)することにより、画像が暗く撮影されるのを防ぐことができるが、動画記録装置では、例えば1秒間に24枚乃至60枚のフレームを用いることがフレームレートにより決められており、シャッター速度を自由に変更することが許されないため、被写体の周辺の照明を強くすることにより対応する必要がある。   In a still image recording apparatus such as a digital camera, it is possible to prevent a dark image from being taken by slowing down the shutter speed (increasing the exposure time). In a moving image recording apparatus, for example, 24 seconds per second. The use of 1 to 60 frames is determined by the frame rate, and it is not allowed to freely change the shutter speed. Therefore, it is necessary to cope with this by increasing the illumination around the subject.

ところが、照明を強くして動画記憶装置により被写体を撮影する場合、被写体が所望の品質で撮影されないことがある。例えば、宝石類に強い光を照射して動画記録装置により動画を撮影すると明るすぎることによって白とびが発生する。また、明るさが足りない場合には、黒つぶれが発生する。このように、動画記録装置により動画を撮影すると、宝石のカットや色の変化などが所望の撮影品質で表現できないという問題がある。   However, when shooting a subject with a moving image storage device with strong illumination, the subject may not be shot with a desired quality. For example, when a strong image is irradiated on jewelry and a moving image is shot by a moving image recording apparatus, overexposure occurs due to excessive brightness. Also, when the brightness is insufficient, blackout occurs. As described above, when a moving image is shot by the moving image recording apparatus, there is a problem that a cut of a jewel or a change in color cannot be expressed with a desired shooting quality.

一方、特許文献1では、静止画を部分的に切り出す範囲を定めたトリミング枠を、前記静止画上で設定された移動経路に基づいて移動させ、前記トリミング枠が移動するごとに切り出される複数の画像を使用してフォトムービーを作成するフォトムービー作成装置において、前記静止画から人物の被写体の顔を検出し、その位置を特定する顔位置特定手段と、顔の検出された人数が複数であるときに各人物の顔の位置を経由する曲線を作成し、前記トリミング枠の中心を前記曲線に沿って移動させるための移動経路を算出する移動経路算出手段とを備えたことを特徴とするフォトムービー作成装置について開示している。   On the other hand, in Patent Document 1, a trimming frame in which a range for partially cutting out a still image is moved based on a movement path set on the still image, and a plurality of cropped frames are extracted each time the trimming frame moves. In the photo movie creating apparatus for creating a photo movie using an image, there are a plurality of face position specifying means for detecting the face of a person's subject from the still image and specifying the position thereof, and the number of detected faces. And a movement path calculation means for calculating a movement path for moving a center of the trimming frame along the curve. A movie creation device is disclosed.

また、特許文献2では、3Dターンテーブルと自動映像形式変換を備えた映像キャプチャ装置間の撮影実行を同期させるためのコンピュータ制御システムについて開示している。   Patent Document 2 discloses a computer control system for synchronizing shooting execution between a 3D turntable and a video capture device having automatic video format conversion.

特開2006−304090号公報JP 2006-304090 A 米国特許出願公開第2007/0172216号明細書US Patent Application Publication No. 2007/0172216

本発明は、上述した背景からなされたものであって、所望の撮影品質で撮影された対象物を表示しつつ、対象物が動くように表示することができるデータを生成する画像処理装置、画像処理方法、動画作成方法、動画用フレーム画像作成システム、動画作成システム及びプログラムを提供することを目的とする。   The present invention has been made from the above-described background, and displays an object photographed with a desired photographing quality while generating data that can be displayed so that the object moves. It is an object to provide a processing method, a moving image creating method, a moving image frame image creating system, a moving image creating system, and a program.

[画像処理装置]
本発明は、移動する被写体を複数の移動位置でカメラにより撮影した静止画を取得する静止画取得手段と、前記静止画取得手段により取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出する抽出手段と、前記抽出手段により抽出した部分画像に基づく動画用のフレーム画像を出力する画像出力手段とを有する画像処理装置である。
[Image processing device]
The present invention provides a still image acquisition unit that acquires a still image obtained by capturing a moving subject with a camera at a plurality of moving positions, and a partial image of each of the plurality of still images including the subject acquired by the still image acquisition unit. And an image output unit that outputs a moving image frame image based on the partial image extracted by the extraction unit.

好適には、前記画像出力手段により出力された複数の動画用のフレーム画像を結合して動画を生成する動画生成手段をさらに有する   Preferably, the apparatus further includes moving image generation means for generating a moving image by combining a plurality of moving image frame images output by the image output means.

好適には、前記静止画取得手段は、回転する被写体の静止画を取得する。   Preferably, the still image acquisition means acquires a still image of a rotating subject.

好適には、前記抽出手段は、画像領域が異なる複数の部分画像を抽出する。   Preferably, the extraction unit extracts a plurality of partial images having different image areas.

好適には、前記抽出手段は、部分画像における被写体の位置が異なるように、複数の静止画からそれぞれ部分画像を抽出する。   Preferably, the extraction unit extracts partial images from a plurality of still images so that the positions of subjects in the partial images are different.

好適には、前記抽出手段は、画像領域を指定する関数を用いて、部分画像が抽出されるごとに各部分画像の画像領域が順次、前記関数に応じて移動するよう抽出する。   Preferably, the extraction means uses a function for designating an image area so that each time a partial image is extracted, the image area of each partial image is sequentially moved according to the function.

好適には、前記抽出手段は、画像領域の大きさが異なるように、複数の静止画からそれぞれ部分画像を抽出し、前記画像出力手段は、前記抽出手段により抽出された部分画像を、動画用のフレーム画像の大きさとして予め定められた大きさの部分画像に変換して出力する。   Preferably, the extraction means extracts partial images from a plurality of still images so that the sizes of the image regions are different, and the image output means uses the partial images extracted by the extraction means for moving images. The frame image is converted into a partial image having a predetermined size and output.

[画像処理方法]
また、本発明は、移動する被写体を複数の移動位置でカメラにより撮影した静止画を取得し、取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出し、抽出した部分画像をフレーム画像として出力する画像処理方法である。
[Image processing method]
Further, the present invention acquires still images obtained by capturing a moving subject with a camera at a plurality of moving positions, extracts a part of each of the plurality of still images including the acquired subject as a partial image, and extracts the extracted partial images. This is an image processing method for outputting as a frame image.

[動画作成方法]
また、本発明は、被写体を複数の移動位置に移動し、複数の移動位置で被写体をカメラにより撮影し、撮影した静止画を取得し、取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出し、抽出した部分画像をフレーム画像として動画を生成する動画作成方法である。
[Video creation method]
In addition, the present invention moves the subject to a plurality of movement positions, captures the subject with the camera at the plurality of movement positions, acquires the captured still image, and captures a part of each of the plurality of still images including the acquired subject. This is a moving image creation method that extracts a partial image and generates a moving image using the extracted partial image as a frame image.

[動画用フレーム画像作成システム]
また、本発明は、被写体を撮影するカメラと、被写体を移動させる移動手段と、前記移動手段により移動する複数の移動位置で前記カメラにより撮影した静止画を取得する静止画取得手段と、前記静止画取得手段により取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出する抽出手段と、前記抽出手段により抽出した部分画像に基づく動画用のフレーム画像を出力する画像出力手段とを有する動画用フレーム画像作成システムである。
[Frame image creation system for video]
The present invention also provides a camera for photographing a subject, a moving means for moving the subject, a still image obtaining means for obtaining still images taken by the camera at a plurality of movement positions moved by the moving means, and the still image Extraction means for extracting a part of each of a plurality of still images including the subject acquired by the image acquisition means as a partial image; and an image output means for outputting a frame image for a moving image based on the partial image extracted by the extraction means. 1 is a moving image frame image creation system.

好適には、前記移動手段は、被写体を回転させる。   Preferably, the moving means rotates the subject.

好適には、前記移動手段による被写体の移動を制御する移動制御手段をさらに有する。   Preferably, the apparatus further includes movement control means for controlling movement of the subject by the moving means.

好適には、被写体の複数の移動位置における前記カメラによる撮影を制御するカメラ制御手段をさらに有する。   Preferably, the camera further includes camera control means for controlling photographing by the camera at a plurality of moving positions of the subject.

好適には、前記カメラ制御手段は、前記移動手段による回転移動が停止したのと同期して前記カメラで被写体を撮影するように制御する。   Preferably, the camera control means performs control so that a subject is photographed by the camera in synchronization with the stop of the rotational movement by the moving means.

[動画作成システム]
また、本発明は、被写体を撮影するカメラと、被写体を移動させる移動手段と、前記移動手段により移動する複数の移動位置で前記カメラにより撮影した静止画を取得する静止画取得手段と、前記静止画取得手段により取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出する抽出手段と、前記抽出手段により抽出した部分画像に基づく動画用のフレーム画像を出力する画像出力手段と、前記出力手段により出力された複数の動画用のフレーム画像から動画を生成する動画生成手段とを有する動画作成システムである。
[Movie creation system]
The present invention also provides a camera for photographing a subject, a moving means for moving the subject, a still image obtaining means for obtaining still images taken by the camera at a plurality of movement positions moved by the moving means, and the still image Extraction means for extracting a part of each of a plurality of still images including the subject acquired by the image acquisition means as a partial image, image output means for outputting a frame image for a moving image based on the partial image extracted by the extraction means, A moving image creating system including a moving image generating unit configured to generate a moving image from a plurality of moving image frame images output by the output unit.

[プログラム]
また、本発明は、移動する被写体を複数の移動位置でカメラにより撮影した静止画を取得するステップと、取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出するステップと、抽出した部分画像に基づく動画用のフレーム画像を出力するステップとをコンピュータに実行させるプログラムである。
[program]
The present invention also includes a step of acquiring a still image obtained by photographing a moving subject with a camera at a plurality of movement positions, a step of extracting a part of each of the plurality of still images including the acquired subject as a partial image, and extraction. A program for causing a computer to execute a step of outputting a frame image for a moving image based on the partial image.

本発明によれば、所望の撮影品質で撮影された被写体を表示しつつ、被写体が動くように表示することができるデータを生成する画像処理装置、画像処理方法、動画作成方法、動画用フレーム画像作成システム、動画作成システム及びプログラムを提供することができる。   According to the present invention, an image processing apparatus, an image processing method, a moving image creation method, and a moving image frame image that generate data that can be displayed so that the subject moves while displaying a subject photographed with a desired photographing quality. A creation system, a moving image creation system, and a program can be provided.

本発明の実施形態にかかる動画作成システム2を示す模式図である。It is a schematic diagram which shows the moving image production system 2 concerning embodiment of this invention. ターンテーブル8の構成を示す模式図である。FIG. 3 is a schematic diagram showing a configuration of a turntable 8. 動画作成システム2による被写体14の撮影における機材の配置の一例を示す模式図であり、(a)は、動画作成システム2の正面図を示し、(b)は、左側面図を示す。It is a schematic diagram which shows an example of arrangement | positioning of the apparatus in imaging | photography of the to-be-photographed object 14 by the moving image production system 2, (a) shows the front view of the moving image production system 2, (b) shows the left view. 画像処理装置12のハードウェア構成を示す模式図である。2 is a schematic diagram illustrating a hardware configuration of an image processing apparatus 12. FIG. プログラムが実行されることにより実現される画像処理装置12の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the image processing apparatus 12 implement | achieved by running a program. 静止画からの部分画像の抽出について説明する模式図であり、(a)は、各静止画から抽出される画像領域に変動がない場合の抽出の一例を示し、(b)は、各静止画から抽出される画像領域が変動する場合の抽出の一例を示す。It is a schematic diagram explaining extraction of a partial image from a still image, (a) shows an example of extraction when there is no change in an image area extracted from each still image, (b) shows each still image An example of extraction when the image area extracted from fluctuates is shown. 動画作成システム2の動作のうち、静止画の撮影処理から動画用のフレーム画像の出力処理までの流れを示す一例を示すフローチャートである。4 is a flowchart illustrating an example of a flow from a still image shooting process to a moving image frame image output process in the operation of the moving image creating system 2. 図7で示したステップ106の画像処理の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the image processing of step 106 shown in FIG. 動画生成部70により生成される動画の一例について示す模式図であり、(a)は、8枚の静止画90それぞれから8枚の部分画像92を抽出する様子を示しており、(b)は、8枚の部分画像92から生成された動画用フレーム画像それぞれについて順に並べて示している。It is a schematic diagram shown about an example of the moving image produced | generated by the moving image production | generation part 70, (a) has shown a mode that eight partial images 92 are extracted from each of the eight still images 90, (b) is. The moving image frame images generated from the eight partial images 92 are shown in order.

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下の説明において、被写体とは、撮影の対象物をいう。
図1は、本発明の実施形態にかかる動画作成システム2を示す模式図である。動画作成システム2は、カメラ4、カメラ制御部6、ターンテーブル8、移動制御部10及び画像処理装置12を有している。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the subject refers to an object to be photographed.
FIG. 1 is a schematic diagram showing a moving image creation system 2 according to an embodiment of the present invention. The moving image creation system 2 includes a camera 4, a camera control unit 6, a turntable 8, a movement control unit 10, and an image processing device 12.

カメラ4は、少なくとも静止画を撮影するカメラであり、カメラ制御部6の制御により、被写体14の静止画を撮影する。ここで、カメラ4は、少なくとも静止画を撮影するカメラであればよく、静止画の撮影機能のほかに動画撮影機能を備えていてもよい。また、カメラ4は、例えば、民生用の光学的映像記録装置又は光学的画像記録装置であってもよいし、工業用の光学的映像記録装置又は光学的画像記録装置であってもよい。カメラ4は、移動する被写体14を複数の移動位置で撮影する。本実施形態では、カメラ4は、ターンテーブル8により回転移動する被写体14について、複数の回転位置で撮影する。なお、カメラ4は、例えば、JPEG形式のデジタルデータの静止画として被写体14を撮影する。また、被写体14としては、例えば、指輪、宝石類などの宝飾品が挙げられるが、これに限られない。   The camera 4 is a camera that captures at least a still image, and captures a still image of the subject 14 under the control of the camera control unit 6. Here, the camera 4 may be any camera that captures at least a still image, and may have a moving image capturing function in addition to a still image capturing function. The camera 4 may be, for example, a consumer optical video recording device or an optical image recording device, or an industrial optical video recording device or an optical image recording device. The camera 4 images the moving subject 14 at a plurality of moving positions. In the present embodiment, the camera 4 captures images of the subject 14 that is rotated by the turntable 8 at a plurality of rotational positions. The camera 4 shoots the subject 14 as a still image of digital data in JPEG format, for example. Examples of the subject 14 include jewelry such as rings and jewelry, but are not limited thereto.

ここで、カメラ4は、カメラ制御部6の制御による一連の撮影において、同じ撮影条件で撮影する。このため、一連の撮影において、例えば、シャッター速度、絞り、ピントの位置、撮影領域などについては、同じである。なお、カメラ4のシャッター速度としては、例えば、後述する動画生成部70により生成される動画のフレームレートF[fps](Frames Per Second)の逆数で表される時間である1/F[秒]よりも長い時間を設定することもできる。   Here, the camera 4 shoots under the same shooting conditions in a series of shootings under the control of the camera control unit 6. For this reason, in a series of shooting, for example, the shutter speed, the aperture, the focus position, the shooting area, and the like are the same. The shutter speed of the camera 4 is, for example, 1 / F [second], which is a time represented by the reciprocal of the frame rate F [fps] (Frames Per Second) of the moving image generated by the moving image generating unit 70 described later. It is possible to set a longer time.

カメラ制御部6は、後述する画像処理装置12による制御に基づき、カメラ4の撮影タイミングを制御する。なお、カメラ制御部6は、画像処理装置12において動作するソフトウェアとして実現されてもよいし、画像処理装置12とは異なる装置として設けられてもよい。例えば、カメラ制御部6は、画像処理装置12から通知された制御信号をカメラ4の制御用の信号へと変換し、変換した信号をカメラ4に送信することによりカメラ4を制御する。具体的には、カメラ制御部6は、ターンテーブル8の回転移動が停止したのと同期して、被写体14を撮影するよう撮影タイミングを制御する。また、カメラ制御部6は、画像処理装置12とは異なる装置として設けられている場合、カメラ4により撮影された静止画を画像処理装置12へ出力する。   The camera control unit 6 controls the shooting timing of the camera 4 based on control by the image processing device 12 described later. The camera control unit 6 may be realized as software that operates in the image processing device 12 or may be provided as a device different from the image processing device 12. For example, the camera control unit 6 converts the control signal notified from the image processing device 12 into a signal for controlling the camera 4 and transmits the converted signal to the camera 4 to control the camera 4. Specifically, the camera control unit 6 controls the shooting timing so that the subject 14 is shot in synchronization with the stop of the rotational movement of the turntable 8. Further, when the camera control unit 6 is provided as a device different from the image processing device 12, the camera control unit 6 outputs a still image taken by the camera 4 to the image processing device 12.

ターンテーブル8は、動画作成システム2において、被写体14を移動させる移動手段を構成しており、具体的には、被写体14を回転移動させる。なお、本実施形態では、ターンテーブル8により移動手段を構成しているが、回転移動に限らず、1次元、2次元又は3次元の移動を行うよう移動手段を構成してもよい。   The turntable 8 constitutes a moving means for moving the subject 14 in the moving image creating system 2, and specifically, the turntable 8 is rotated. In the present embodiment, the moving means is configured by the turntable 8. However, the moving means may be configured to perform one-dimensional, two-dimensional, or three-dimensional movement as well as rotational movement.

図2は、ターンテーブル8の構成を示す模式図である。
ターンテーブル8は、図2に示されるように、例えば、モータ20と、シャフト22と、ベルト24と、回転盤であるテーブル26とを有している。ターンテーブル8は、モータ20が回転することにより、ベルト24を介してモータ20と接続されているシャフト22が回転し、シャフト22に取り付けられたテーブル26が回転するよう構成されている。
FIG. 2 is a schematic diagram showing the configuration of the turntable 8.
As shown in FIG. 2, the turntable 8 includes, for example, a motor 20, a shaft 22, a belt 24, and a table 26 that is a turntable. The turntable 8 is configured such that when the motor 20 rotates, the shaft 22 connected to the motor 20 via the belt 24 rotates, and the table 26 attached to the shaft 22 rotates.

例えば、ターンテーブル8は、図2に示すようにテーブル26上に被写体14を載せて被写体14を回転移動させてもよいし、テーブル26上に取り付けられた吊り具により被写体14を吊って被写体14を回転移動させてもよい。なお、本実施形態では、被写体14は、テーブル26の回転にともない一つの座標位置で回転するよう設けられるものとするが、テーブル26の回転にともない円運動を行うよう設けられてもよい。なお、被写体14が一つの座標位置で回転するとは、テーブル26の回転にともない、テーブル26の回転軸上の座標位置において被写体14の向きが変化し、被写体14の座標位置が移動しないことをいう。   For example, the turntable 8 may rotate the subject 14 by placing the subject 14 on the table 26 as shown in FIG. 2, or the subject 14 is hung by the hanger attached on the table 26. May be rotated. In the present embodiment, the subject 14 is provided so as to rotate at one coordinate position as the table 26 rotates, but may be provided so as to perform a circular motion as the table 26 rotates. Note that the subject 14 rotates at one coordinate position means that the orientation of the subject 14 changes at the coordinate position on the rotation axis of the table 26 as the table 26 rotates, and the coordinate position of the subject 14 does not move. .

移動制御部10は、後述する画像処理装置12による制御に基づき、被写体14の移動を制御する。本実施形態では、移動制御部10は、ターンテーブル8の回転移動を制御する。具体的には、移動制御部10は、ターンテーブル8の回転と停止を繰り返すよう制御する。例えば、移動制御部10は、画像処理装置12から通知された制御信号をターンテーブル8の制御用の信号へと変換し、変換した信号をターンテーブル8に送信することによりターンテーブル8を制御する。なお、上述のカメラ制御部6は、ターンテーブル8が停止するごとに、被写体14を撮影するようカメラ4を制御している。なお、移動制御部10は、画像処理装置12とは異なる装置として設けられてもよいし、画像処理装置12において動作するソフトウェアとして実現されてもよい。   The movement control unit 10 controls the movement of the subject 14 based on control by the image processing apparatus 12 described later. In the present embodiment, the movement control unit 10 controls the rotational movement of the turntable 8. Specifically, the movement control unit 10 performs control to repeat the rotation and stop of the turntable 8. For example, the movement control unit 10 converts the control signal notified from the image processing device 12 into a control signal for the turntable 8, and controls the turntable 8 by transmitting the converted signal to the turntable 8. . The above-described camera control unit 6 controls the camera 4 so as to photograph the subject 14 every time the turntable 8 stops. The movement control unit 10 may be provided as a device different from the image processing device 12 or may be realized as software that operates in the image processing device 12.

画像処理装置12は、カメラ4により撮影された静止画に対し、後述する画像処理を行う装置であり、例えば、汎用コンピュータにより構成されている。なお、画像処理装置12の詳細については、後述する。   The image processing device 12 is a device that performs image processing, which will be described later, on a still image captured by the camera 4, and is configured by, for example, a general-purpose computer. Details of the image processing device 12 will be described later.

次に、動画作成システム2による被写体14の撮影に用いる機材の配置について説明する。
図3は、動画作成システム2による被写体14の撮影における機材の配置の一例を示す模式図であり、図3(a)は、動画作成システム2の正面図を示し、図3(b)は、左側面図を示している。なお、図3に示した例では、ターンテーブル8は、ターンテーブル8の上下方向の位置を変更する昇降機30の上に設置されており、昇降機30が昇降することによりターンテーブル8に設けられた被写体14の高さが変更されるよう構成されている。
Next, the arrangement of equipment used for photographing the subject 14 by the moving image creation system 2 will be described.
FIG. 3 is a schematic diagram showing an example of the arrangement of equipment in photographing the subject 14 by the moving image creating system 2. FIG. 3 (a) shows a front view of the moving image creating system 2, and FIG. A left side view is shown. In the example shown in FIG. 3, the turntable 8 is installed on an elevator 30 that changes the vertical position of the turntable 8. The turntable 8 is provided on the turntable 8 as the elevator 30 moves up and down. The height of the subject 14 is changed.

図3(a)及び図3(b)に示されるように、カメラ4は、フレーム32上に設けられた、1次アーム34及び2次アーム36からなるアーム38により支持されており、カメラ4のレンズ39は、ターンテーブル8の回転軸上の予め定められた位置に向けられている。ここで、1次アーム34は、2次アーム36の上下方向の位置を可変に、2次アーム36を支持している。また、1次アーム34は、カメラ4のレンズ39が上記の予め定められた位置に向く状態を維持しつつ、1次アーム34の下端を中心にして回転(例えば、0度から90度の回転)するよう構成されている。   As shown in FIGS. 3A and 3B, the camera 4 is supported by an arm 38 including a primary arm 34 and a secondary arm 36 provided on the frame 32. The lens 39 is directed to a predetermined position on the rotation axis of the turntable 8. Here, the primary arm 34 supports the secondary arm 36 by changing the position of the secondary arm 36 in the vertical direction. Further, the primary arm 34 rotates around the lower end of the primary arm 34 while maintaining the lens 39 of the camera 4 facing the predetermined position (for example, 0 to 90 degrees). ).

使用者は、2次アーム36の上下方向の位置及び1次アーム34の角度を任意に設定し、さらに、昇降機30の高さの変更により被写体14の上下方向の位置を任意に調整し、カメラ4による被写体14の撮影の構図を定める。   The user arbitrarily sets the vertical position of the secondary arm 36 and the angle of the primary arm 34, and further adjusts the vertical position of the subject 14 by changing the height of the elevator 30. 4 determines the composition of shooting of the subject 14.

次に、画像処理装置12の詳細について説明する。
図4は、画像処理装置12のハードウェア構成を示す模式図である。
Next, details of the image processing apparatus 12 will be described.
FIG. 4 is a schematic diagram illustrating a hardware configuration of the image processing apparatus 12.

図4に示すように、画像処理装置12は、CPU40及びメモリ42などを含む本体44、入力装置46、出力装置48、記憶装置50及び記憶媒体52から構成される。つまり、画像処理装置12は、コンピュータとしての構成部分を有している。また、画像処理装置12は、カメラ制御部6又は移動制御部10が画像処理装置12とは異なる装置として設けられている場合には、カメラ制御部6又は移動制御部10と接続されている。   As shown in FIG. 4, the image processing apparatus 12 includes a main body 44 including a CPU 40 and a memory 42, an input device 46, an output device 48, a storage device 50, and a storage medium 52. That is, the image processing apparatus 12 has a component as a computer. Further, the image processing device 12 is connected to the camera control unit 6 or the movement control unit 10 when the camera control unit 6 or the movement control unit 10 is provided as a device different from the image processing device 12.

CPU40は、メモリ42に記憶されたプログラムに基づく処理を実行する。記憶装置50は、内蔵HDDなどであり、記憶媒体52は、CD、DVD、Blu−ray Disc及び外付けHDDなどである。ここで、外付けHDDは、直接接続されるHDDのほか、ネットワーク上のHDD(ネットワークドライブ)であってもよい。なお、CPU40は、記憶装置50又は記憶媒体52に記憶されたプログラムを実行してもよい。   The CPU 40 executes processing based on the program stored in the memory 42. The storage device 50 is an internal HDD or the like, and the storage medium 52 is a CD, DVD, Blu-ray Disc, external HDD, or the like. Here, the external HDD may be an HDD (network drive) on the network in addition to the HDD directly connected. Note that the CPU 40 may execute a program stored in the storage device 50 or the storage medium 52.

入力装置46は、キーボード、マウス及びジョイスティックなどであり、出力装置48は、ディスプレイなどの表示装置である。出力装置48は、後述する動画用フレーム画像の表示出力、動画の表示出力などを行なう。また、例えば、使用者は、出力装置48による表示により、動画作成システム2におけるGUIの操作を行う。また、使用者は、例えば、出力装置48による表示により、カメラ4によって撮影された画像を確認する。   The input device 46 is a keyboard, a mouse, a joystick, and the like, and the output device 48 is a display device such as a display. The output device 48 performs display output of moving image frame images, display of moving images, and the like, which will be described later. In addition, for example, the user operates the GUI in the moving image creation system 2 by display by the output device 48. Further, the user confirms an image photographed by the camera 4 by display by the output device 48, for example.

図5は、プログラムが実行されることにより実現される画像処理装置12の機能構成を示すブロック図である。なお、図5に示される構成の一部又は全ては、ASIC,FPGAなどのハードウェアにより実現されてもよい。   FIG. 5 is a block diagram showing a functional configuration of the image processing apparatus 12 realized by executing the program. Note that part or all of the configuration shown in FIG. 5 may be realized by hardware such as an ASIC or FPGA.

図5に示すように、画像処理装置12は、設定部60、制御部62、静止画取得部64、抽出部66、画像出力部68及び動画生成部70を有する。   As illustrated in FIG. 5, the image processing apparatus 12 includes a setting unit 60, a control unit 62, a still image acquisition unit 64, an extraction unit 66, an image output unit 68, and a moving image generation unit 70.

設定部60は、動画作成システム2の処理条件を設定する。例えば、設定部60は、ターンテーブルの移動量(回転角度)、撮影画像枚数、抽出部66で抽出する画像領域の座標及び大きさ、画像出力部68が出力する出力画像サイズ、動画生成部70で生成する動画のフレームレートなどについて設定する。なお、設定部60は、例えば、入力装置46により入力された設定情報に基づいて、設定を行う。   The setting unit 60 sets processing conditions for the moving image creation system 2. For example, the setting unit 60 includes the amount of movement (rotation angle) of the turntable, the number of captured images, the coordinates and size of the image area extracted by the extraction unit 66, the output image size output by the image output unit 68, and the moving image generation unit 70. Set the frame rate etc. The setting unit 60 performs setting based on setting information input by the input device 46, for example.

制御部62は、設定部60により設定された処理条件にしたがってカメラ4及びターンテーブル8を制御するための制御信号をカメラ制御部6及び移動制御部10に出力する。制御部62は、設定部60により設定されたターンテーブルの移動量(回転角度)及び撮影画像枚数から算出される1撮影あたりの移動量(回転角度)を制御信号として移動制御部10に通知し、カメラ4による撮影ごとに、この1撮影あたりの移動量だけ移動(回転)するよう制御する。また、制御部62は、ターンテーブル8の移動が停止するごとにカメラ4による撮影を1回行うようカメラ制御部6に制御信号を通知する。   The control unit 62 outputs a control signal for controlling the camera 4 and the turntable 8 to the camera control unit 6 and the movement control unit 10 according to the processing conditions set by the setting unit 60. The control unit 62 notifies the movement control unit 10 as a control signal of the movement amount (rotation angle) of the turntable set by the setting unit 60 and the movement amount (rotation angle) per shooting calculated from the number of shot images. Each time shooting by the camera 4 is controlled to move (rotate) by the moving amount per shooting. In addition, the control unit 62 notifies the camera control unit 6 of a control signal so that the camera 4 performs shooting once every time the turntable 8 stops moving.

また、制御部62は、設定部60により設定された処理条件にしたがって、抽出部66及び画像出力部68を制御する。例えば、制御部62は、抽出部66に対し、いずれの画像領域を抽出すべきであるかについて制御し、画像出力部68に対し、いずれの画像サイズで出力すべきであるかについて制御する。   Further, the control unit 62 controls the extraction unit 66 and the image output unit 68 in accordance with the processing conditions set by the setting unit 60. For example, the control unit 62 controls which image region is to be extracted with respect to the extraction unit 66, and controls which image size is to be output with respect to the image output unit 68.

静止画取得部64は、カメラ4により撮影された静止画を取得する。本実施形態では、静止画取得部64は、カメラ制御部6を介して静止画を取得するが、カメラ4から直接取得してもよい。ここで、静止画取得部64は、ターンテーブル8の回転ごとにカメラ4に撮影される各静止画を取得する。   The still image acquisition unit 64 acquires a still image captured by the camera 4. In the present embodiment, the still image acquisition unit 64 acquires a still image via the camera control unit 6, but may acquire it directly from the camera 4. Here, the still image acquisition unit 64 acquires each still image captured by the camera 4 for each rotation of the turntable 8.

抽出部66は、静止画取得部64が取得した被写体14を含む複数の静止画それぞれの一部を部分画像として抽出する。具体的には、抽出部66は、静止画取得部64が取得した複数の静止画ごとに、取得された静止画の全画像領域のうち制御部62により指定された画像領域を部分画像として抽出する。   The extraction unit 66 extracts a part of each of a plurality of still images including the subject 14 acquired by the still image acquisition unit 64 as a partial image. Specifically, the extraction unit 66 extracts, for each of a plurality of still images acquired by the still image acquisition unit 64, an image region designated by the control unit 62 among all image regions of the acquired still image as a partial image. To do.

ここで、抽出部66は、静止画取得部64が取得した複数の静止画から、それぞれの画像領域が異なる複数の部分画像を抽出してもよい。例えば、抽出部66は、部分画像における被写体14の位置が異なるように、複数の静止画からそれぞれ部分画像を抽出してもよい。また、抽出部66は、静止画取得部64が取得した複数の静止画から、それぞれの画像領域の大きさが異なるように、部分画像を抽出してもよい。なお、抽出部66による画像の抽出についての詳細は、後述する。   Here, the extraction unit 66 may extract a plurality of partial images having different image areas from the plurality of still images acquired by the still image acquisition unit 64. For example, the extraction unit 66 may extract partial images from a plurality of still images so that the position of the subject 14 in the partial images is different. Further, the extraction unit 66 may extract partial images from a plurality of still images acquired by the still image acquisition unit 64 so that the sizes of the respective image regions are different. Details of image extraction by the extraction unit 66 will be described later.

画像出力部68は、抽出部66により抽出した部分画像に基づく動画用のフレーム画像を出力する。本実施形態では、画像出力部68は、抽出部66により抽出した部分画像について、部分画像の大きさが予め定められた大きさ(出力画像サイズ)である場合には抽出した部分画像を出力し、部分画像の大きさが出力画像サイズではない場合には、抽出した部分画像を出力画像サイズの部分画像へと変換して出力する。なお、本実施形態では、予め定められた大きさ(出力画像サイズ)は、設定部60により設定され、制御部62から通知された画像サイズである。画像出力部68は、例えば、バイキュービック法などの画像補間を行い、出力画像サイズへと、部分画像を拡大又は縮小する。また、画像出力部68は、出力する画像に順次、連番をふり、出力する各画像データに順番についての情報を付加する。なお、順序についての情報の付加として、例えば、画像データのファイル名を連番になるようにしてもよい。   The image output unit 68 outputs a frame image for a moving image based on the partial image extracted by the extraction unit 66. In the present embodiment, the image output unit 68 outputs the extracted partial image when the size of the partial image of the partial image extracted by the extraction unit 66 is a predetermined size (output image size). If the size of the partial image is not the output image size, the extracted partial image is converted into a partial image of the output image size and output. In the present embodiment, the predetermined size (output image size) is the image size set by the setting unit 60 and notified from the control unit 62. The image output unit 68 performs image interpolation such as a bicubic method, and enlarges or reduces the partial image to the output image size. Further, the image output unit 68 sequentially assigns serial numbers to the output images, and adds information about the order to the output image data. In addition, as the addition of information about the order, for example, the file names of the image data may be serial numbers.

なお、本実施形態では、画像出力部68は、動画用のフレーム画像として動画生成部70に出力するが、画像出力部68は、記憶装置50、記憶媒体52又は画像処理装置12と通信可能に接続した他の装置などに出力してもよい。   In the present embodiment, the image output unit 68 outputs a frame image for a moving image to the moving image generation unit 70. However, the image output unit 68 can communicate with the storage device 50, the storage medium 52, or the image processing device 12. You may output to the other apparatus etc. which were connected.

動画生成部70は、画像出力部68から出力された画像である複数の動画用のフレーム画像を、フレーム画像ごとに付加された順序についての情報にしたがって、予め定められたフレームレート(例えば、24〜60[fps]のうちいずれかのフレームレート)で結合し、これらの動画用のフレーム画像から構成される動画を生成する。なお、フレームレートについては、入力装置46により入力された設定情報に基づいて、設定部60により設定されてもよい。なお、生成された動画については、出力装置48に出力してもよいし、記憶装置50、記憶媒体52又は画像処理装置12と通信可能に接続した他の装置などに出力してもよい。   The moving image generation unit 70 sets a plurality of moving image frame images, which are images output from the image output unit 68, according to information about the order of adding each frame image to a predetermined frame rate (for example, 24). Are combined at a frame rate of ˜60 [fps], and a moving image composed of the frame images for the moving image is generated. The frame rate may be set by the setting unit 60 based on the setting information input by the input device 46. Note that the generated moving image may be output to the output device 48, or may be output to the storage device 50, the storage medium 52, or another device that is communicably connected to the image processing device 12.

次に、抽出部66による部分画像の抽出について説明する。
図6は、静止画からの部分画像の抽出について説明する模式図であり、図6(a)は、各静止画から抽出される画像領域に変動がない場合の抽出(以下、領域固定抽出という。)の一例を示し、図6(b)は、各静止画から抽出される画像領域が変動する場合の抽出(以下、領域変動抽出という。)の一例を示す。
Next, extraction of partial images by the extraction unit 66 will be described.
FIG. 6 is a schematic diagram for explaining extraction of a partial image from a still image. FIG. 6A is an extraction when there is no change in an image region extracted from each still image (hereinafter referred to as region fixed extraction). .) Shows an example, and FIG. 6B shows an example of extraction when the image region extracted from each still image varies (hereinafter referred to as region variation extraction).

なお、図6で示した例では、カメラ4により撮影された静止画80の大きさは、横幅が5,184ピクセル、縦幅が3,456ピクセルであるものとする。また、ここでは、静止画から部分画像を抽出し、画像出力部68は、横幅が1,920ピクセル、縦幅が1,080ピクセルの動画用フレーム画像として出力するものとして説明する。この場合、フルハイビジョン画質の動画用フレーム画像が出力され、動画生成部70によりフルハイビジョン画質の動画が生成される。   In the example shown in FIG. 6, the size of the still image 80 captured by the camera 4 is assumed to have a horizontal width of 5,184 pixels and a vertical width of 3,456 pixels. Here, a description will be given assuming that a partial image is extracted from a still image, and the image output unit 68 outputs a moving image frame image having a horizontal width of 1,920 pixels and a vertical width of 1,080 pixels. In this case, a full high-definition moving image frame image is output, and the moving image generation unit 70 generates a full high-definition moving image.

なお、一般的に、静止画記録装置では、動画記録装置に用いられる撮像素子よりも高密度、高解像度、又は高画素数の撮像素子が使用されており、このため、静止画記録装置の撮影領域は動画記録装置の撮影領域よりも広く、静止画記録装置により撮影された静止画から動画用のフレーム画像を切り出すことができる。   In general, a still image recording apparatus uses an image sensor having a higher density, a higher resolution, or a higher number of pixels than an image sensor used in a moving image recording apparatus. The area is wider than the shooting area of the moving picture recording apparatus, and a moving picture frame image can be cut out from the still picture shot by the still picture recording apparatus.

図6(a)を参照して、領域固定抽出について説明する。領域固定抽出を行う場合には、例えば、抽出する部分画像82の画像領域が、画像領域の左上の座標(x,y)、画像領域の幅w及び画像領域の高さhが設定されることにより指定され、抽出部66は、静止画取得部64が取得した各静止画から、この画像領域を切り出して抽出する。なお、画像領域の左上の座標、幅及び高さについては、設定部60により任意に設定される。   With reference to FIG. 6A, region fixed extraction will be described. When performing fixed area extraction, for example, the image area of the partial image 82 to be extracted is set with the coordinates (x, y) at the upper left of the image area, the width w of the image area, and the height h of the image area. The extraction unit 66 cuts out and extracts this image region from each still image acquired by the still image acquisition unit 64. Note that the upper left coordinates, width, and height of the image area are arbitrarily set by the setting unit 60.

図6(b)を参照して、領域変動抽出について説明する。領域変動抽出を行う場合にも、抽出する部分画像の画像領域が指定されることにより、抽出部66は、静止画取得部64が取得した各静止画から、静止画ごとに指定された画像領域をそれぞれ切り出して抽出する。本実施形態では、静止画取得部64により取得される一連の静止画のうち、最初の静止画から抽出する部分画像84の画像領域と最後の静止画から抽出する部分画像86の画像領域について、左上の座標、幅及び高さが設定部60により設定される。   The region variation extraction will be described with reference to FIG. Also in the case of performing region variation extraction, by specifying the image region of the partial image to be extracted, the extraction unit 66 can specify the image region specified for each still image from each still image acquired by the still image acquisition unit 64. Are extracted and extracted. In the present embodiment, among the series of still images acquired by the still image acquisition unit 64, the image region of the partial image 84 extracted from the first still image and the image region of the partial image 86 extracted from the last still image, The upper left coordinates, width, and height are set by the setting unit 60.

静止画取得部64により取得される一連の静止画のうち、最初の静止画及び最後の静止画を除く中間の静止画について、抽出部66は、制御部62により算出された画像領域の抽出を行う。   Of the series of still images acquired by the still image acquisition unit 64, the extraction unit 66 extracts the image area calculated by the control unit 62 for intermediate still images excluding the first still image and the last still image. Do.

制御部62は、例えば、次のように画像領域を指定する。なお、ここでは、最初の静止画から抽出する部分画像84の画像領域について、左上の座標を(x0,y0)、画像領域の幅をw0、画像領域の高さをh0と設定され、最後の静止画から抽出する部分画像86の画像領域について、左上の座標を(x1,y1)、画像領域の幅をw1、画像領域の高さをh1と設定されたものとする。また、ここでは、n(2以上の整数)枚の静止画からそれぞれ部分画像を抽出し、n枚の動画用フレーム画像を生成するものとして説明する。なお、このnは、撮影枚数であり、設定部60により設定される。   For example, the control unit 62 designates an image area as follows. Here, for the image area of the partial image 84 extracted from the first still image, the upper left coordinate is set to (x0, y0), the width of the image area is set to w0, and the height of the image area is set to h0. For the image area of the partial image 86 extracted from the still image, the upper left coordinates are set to (x1, y1), the width of the image area is set to w1, and the height of the image area is set to h1. Here, a description will be given on the assumption that partial images are extracted from n (an integer of 2 or more) still images, and n moving image frame images are generated. Note that n is the number of shots and is set by the setting unit 60.

制御部62は、例えば、i(ただし、i=1,2,・・・,n)番目の部分画像の画像領域の左上の座標(x[i],y[i])、幅w[i]、高さh[i]について、次の関数により算出する。
x[i]=x0+(i−1)×(x1−x0)/(n−1)
y[i]=y0+(i−1)×(y1−y0)/(n−1)
w[i]=w0+(i−1)×(w1−w0)/(n−1)
h[i]=h0+(i−1)×(h1−h0)/(n−1)
For example, the control unit 62 determines the coordinates (x [i], y [i]) and the width w [i] of the image area of the i (where i = 1, 2,..., N) th partial image. ] And the height h [i] are calculated by the following function.
x [i] = x0 + (i-1) * (x1-x0) / (n-1)
y [i] = y0 + (i-1) * (y1-y0) / (n-1)
w [i] = w0 + (i−1) × (w1−w0) / (n−1)
h [i] = h0 + (i-1) * (h1-h0) / (n-1)

抽出部66は、静止画取得部64が取得した各静止画から、以上の関数式により算出された画像領域を抽出し、画像出力部68は、抽出部66により抽出された画像の大きさを出力画像サイズ(ここでは、横幅が1,920ピクセル、縦幅が1,080ピクセル)に変換して出力する。   The extraction unit 66 extracts the image area calculated by the above function expression from each still image acquired by the still image acquisition unit 64, and the image output unit 68 determines the size of the image extracted by the extraction unit 66. The image is converted into an output image size (here, the horizontal width is 1,920 pixels and the vertical width is 1,080 pixels) and output.

なお、上記の関数式によれば、1番目の部分画像からn番目の部分画像へと直線的(線形)に移動するよう2番目からn−1番目の部分画像が抽出されることとなるが、上記の関数式によらず、他の関数により画像領域を定めてもよい。例えば、1番目の部分画像からn番目の部分画像へと線形に移動する場合にサイン関数を用いると、移動の最初付近と最後付近で、中間における移動量に比べて、移動距離が小さくなるよう構成できる。また、1番目の部分画像からn番目の部分画像への移動を、非線形(円運動、高次関数)にしてもよい。このように、移動の軌跡を関数により指定して、関数に応じた線形又は非線形の移動を行うよう構成してもよい。   According to the above function formula, the second to (n-1) th partial images are extracted so as to move linearly (linearly) from the first partial image to the nth partial image. The image area may be determined by another function regardless of the above function expression. For example, if the sine function is used when moving linearly from the first partial image to the nth partial image, the movement distance becomes smaller in the vicinity of the beginning and the end of the movement than in the middle. Can be configured. Further, the movement from the first partial image to the nth partial image may be nonlinear (circular motion, higher order function). In this way, the movement trajectory may be designated by a function, and linear or non-linear movement according to the function may be performed.

次に、動画作成システム2の動作について説明する。
図7は、動画作成システム2の動作のうち、静止画の撮影処理から動画用のフレーム画像の出力処理までの流れの一例を示すフローチャートである。図7のようにしてフレーム画像が出力されると、出力された各フレーム画像に基づいて、動画生成部70が動画を作成する。
Next, the operation of the moving image creation system 2 will be described.
FIG. 7 is a flowchart illustrating an example of a flow from the still image shooting process to the moving image frame image output process in the operation of the moving image creating system 2. When the frame image is output as shown in FIG. 7, the moving image generating unit 70 creates a moving image based on each output frame image.

ステップ100(S100)において、設定部60が処理条件として、静止画の撮影枚数(フレーム数)nと、抽出する画像領域の設定を行う。領域固定抽出の場合、設定部60により、各静止画に共通して適用される画像領域の座標と大きさ(幅及び高さ)とが設定される。一方、領域変動抽出の場合、設定部60により、1番目の静止画から抽出する画像領域の座標、大きさ(幅及び高さ)及びn番目の静止画から抽出する座標、大きさ(幅及び高さ)が設定される。また、設定部60は、画像出力部68が出力する画像の大きさである出力画像サイズ、及びn枚の撮影の間にターンテーブル8が移動する移動量mを設定する。   In step 100 (S100), the setting unit 60 sets the number of still images to be captured (number of frames) n and the image area to be extracted as processing conditions. In the case of fixed area extraction, the setting unit 60 sets the coordinates and size (width and height) of an image area that is commonly applied to each still image. On the other hand, in the case of region variation extraction, the setting unit 60 coordinates, size (width and height) of an image region extracted from the first still image, and coordinates, size (width and height) extracted from the nth still image. Height) is set. In addition, the setting unit 60 sets an output image size that is the size of the image output by the image output unit 68 and a moving amount m by which the turntable 8 moves during n photographing.

ステップ102(S102)において、カメラ4がカメラ制御部6の制御により被写体14を撮影する。   In step 102 (S102), the camera 4 captures the subject 14 under the control of the camera control unit 6.

ステップ104(S104)において、静止画取得部64がステップ102により撮影された静止画を取得する。   In step 104 (S104), the still image acquisition unit 64 acquires the still image photographed in step 102.

ステップ106(S106)において、画像処理装置12による画像処理がなされる。なお、ステップ106の詳細については、後述する。   In step 106 (S106), image processing by the image processing device 12 is performed. Details of step 106 will be described later.

ステップ108(S108)において、制御部62は、指定されたフレーム数n分の撮影が終えたか否かを判定し、n枚分の撮影が終えていない場合には、ステップ110へ移行し、n枚分の撮影が終了した場合には、ステップ114へ移行する。   In step 108 (S108), the control unit 62 determines whether or not shooting for the designated number of frames n has been completed. If shooting for n frames has not been completed, the control unit 62 proceeds to step 110, and n When the photographing for the number of sheets is completed, the process proceeds to step 114.

ステップ110(S110)において、移動制御部10は、ステップ100で設定された移動量mに基づいて、ターンテーブル8を移動(回転)させる。例えば、m/nにより定める角度だけターンテーブル8を回転させる。なお、移動制御部10は、n枚の各撮影において等量の移動量で移動するよう制御してもよいし、撮影ごとの移動量が異なるよう制御してもよい。   In step 110 (S110), the movement control unit 10 moves (rotates) the turntable 8 based on the movement amount m set in step 100. For example, the turntable 8 is rotated by an angle determined by m / n. Note that the movement control unit 10 may perform control so as to move with an equal amount of movement in each of the n shots, or may control so that the amount of movement for each shooting is different.

ステップ112(S112)において、移動制御部10は、ターンテーブル8の移動を停止させ、ステップ102へ戻る。ステップ102では、カメラ制御部6は、カメラ4が新たな移動位置において被写体14を撮影するよう制御する。   In step 112 (S112), the movement control unit 10 stops the movement of the turntable 8, and returns to step 102. In step 102, the camera control unit 6 controls the camera 4 to photograph the subject 14 at the new movement position.

一方、ステップ114(S114)では、移動制御部10は、ターンテーブル8を1枚目の撮影時の位置に戻すよう制御する。ここで、以上により撮影された静止画のうち、いずれかの静止画について再撮影を行う場合には、ステップ114により初回撮影時の位置に戻されたターンテーブル8を、再撮影対象の位置に移動させ、再撮影を行う。   On the other hand, in step 114 (S114), the movement control unit 10 controls the turntable 8 to return to the position at the time of shooting the first image. Here, when re-shooting any one of the still images shot as described above, the turntable 8 returned to the position at the time of the first shooting in step 114 is set as a position to be re-shot. Move and re-shoot.

例えば、以上のフローチャートにより繰り返される撮影の間、使用者は、随時、撮影された静止画又は静止画から抽出された部分画像を確認し、再撮影対象の静止画が発見された場合には、動画作成システム2は、使用者の指示にしたがい再撮影対象が何枚目の静止画であるかを記憶する。その後、n枚の静止画の撮影が終了後、ステップ114により初期位置に戻されたターンテーブル8について、再撮影対象の静止画の撮影位置に再び移動させ、再撮影を行うよう構成してもよい。   For example, during the repeated shooting according to the above flowchart, the user checks the captured still image or the partial image extracted from the still image, and if a still image to be re-photographed is found, The moving image creation system 2 stores the number of still images to be rephotographed according to the user's instruction. Thereafter, after the shooting of n still images is completed, the turntable 8 returned to the initial position in step 114 may be moved again to the shooting position of the still image to be re-photographed and re-photographed. Good.

次に、図7で示したステップ106の画像処理の動作について説明する。
図8は、図7で示したステップ106の画像処理の動作の一例を示すフローチャートである。
Next, the image processing operation in step 106 shown in FIG. 7 will be described.
FIG. 8 is a flowchart showing an example of the image processing operation in step 106 shown in FIG.

ステップ200(S200)において、制御部62は、上述のステップ100において設定部60により設定された出力画像サイズを取得する。   In step 200 (S200), the control unit 62 acquires the output image size set by the setting unit 60 in step 100 described above.

ステップ202(S202)において、制御部62は、領域固定抽出が設定されているか、領域変動抽出が設定されているか判定し、領域固定抽出を行う場合には、ステップ204へ移行し、領域変動抽出を行う場合には、ステップ206へと移行する。   In step 202 (S202), the control unit 62 determines whether region fixed extraction is set or region variation extraction is set. When region fixed extraction is performed, the process proceeds to step 204, where region variation extraction is performed. When performing, the process proceeds to step 206.

ステップ204(S204)において、制御部62は、ステップ100において設定された画像領域の座標と大きさを取得し、抽出部66に抽出対象の画像領域を通知する。   In step 204 (S204), the control unit 62 acquires the coordinates and size of the image area set in step 100, and notifies the extraction unit 66 of the image area to be extracted.

一方、領域変動抽出の場合、ステップ206(S206)において、制御部62は、ステップ100において設定された、最初の静止画から抽出する画像領域の座標及び大きさと、最後の静止画から抽出する画像領域の座標及び大きさと、撮影枚数nを取得し、ステップ208へ移行する。   On the other hand, in the case of region variation extraction, in step 206 (S206), the control unit 62 sets the coordinates and size of the image region extracted from the first still image and the image extracted from the last still image set in step 100. The coordinates and size of the area and the number of shots n are acquired, and the process proceeds to step 208.

ステップ208(S208)では、ステップ206により取得された情報に基づいて、例えば、上述の算出式により、当該静止画から抽出すべき画像領域の座標及び大きさを算出し、抽出部66に通知する。   In step 208 (S208), based on the information acquired in step 206, for example, the coordinates and size of the image region to be extracted from the still image are calculated by the above-described calculation formula, and the extraction unit 66 is notified. .

ステップ210(S210)では、ステップ204又はステップ208において、制御部62から通知された画像領域の座標及び大きさに基づいて、静止画から当該画像領域の部分画像を抽出する。   In step 210 (S210), based on the coordinates and size of the image area notified from the control unit 62 in step 204 or step 208, a partial image of the image area is extracted from the still image.

ステップ212(S212)では、画像出力部68が、ステップ210により抽出された部分画像について、ステップ100で設定された出力画像サイズへとリサイズする変換を行い、画像の順序についての情報を付加し、記憶装置50又は記憶媒体52により記憶させる。   In step 212 (S212), the image output unit 68 performs conversion for resizing the partial image extracted in step 210 to the output image size set in step 100, adds information about the order of the images, The data is stored in the storage device 50 or the storage medium 52.

図9は、動画生成部70により生成される動画の一例について示す模式図であり、図9(a)は、8枚の静止画90それぞれから8枚の部分画像92を抽出する様子を示す図であり、図9(b)は、8枚の部分画像92から生成された動画用フレーム画像それぞれについて順に並べて示した図である。   FIG. 9 is a schematic diagram illustrating an example of a moving image generated by the moving image generation unit 70, and FIG. 9A illustrates a state in which eight partial images 92 are extracted from each of eight still images 90. FIG. FIG. 9B is a diagram in which moving image frame images generated from the eight partial images 92 are sequentially arranged.

図9に示した例では、指輪を被写体にして、ターンテーブル8上の各回転位置で8枚の静止画を撮影し、各静止画から領域変動抽出により部分画像を抽出している。具体的には、最初の静止画から最後の静止画にかけて、徐々に、画像領域の大きさが縮小しつつ、かつ、画像領域の位置が右から左へと移動するよう抽出している。このように、抽出した各部分画像について、最後の静止画から抽出した部分画像の大きさにリサイズし、動画用のフレーム画像としたものが図9(b)に示されている。   In the example shown in FIG. 9, eight still images are photographed at each rotational position on the turntable 8 with a ring as a subject, and partial images are extracted from each still image by region variation extraction. Specifically, extraction is performed so that the size of the image region is gradually reduced from the first still image to the last still image, and the position of the image region moves from right to left. FIG. 9B shows the extracted partial images resized to the size of the partial image extracted from the last still image and converted into a moving image frame image.

図9(b)に示されるように、これらの動画用のフレーム画像から、指輪が徐々に拡大されつつ、左から右へと移動する所望の撮影品質の動画が作成される。   As shown in FIG. 9B, from these frame images for a moving image, a moving image having a desired shooting quality that moves from left to right while the ring is gradually enlarged is created.

以上説明した実施形態では、動画作成システム2として、画像出力部68から出力された部分画像群から動画を生成するまでの処理を行うシステムについて説明したが、例えば、動画用フレーム画像作成システムとして画像出力部68による出力までの処理を行うシステムとして構築し、動画生成部70については、動画用フレーム画像作成システムとは異なる他のソフトウェア又はハードウェアにより実現されてもよい。   In the embodiment described above, a system that performs processing until a moving image is generated from a partial image group output from the image output unit 68 has been described as the moving image generation system 2. It is constructed as a system that performs processing up to output by the output unit 68, and the moving image generating unit 70 may be realized by other software or hardware different from the moving image frame image creating system.

また、以上説明した実施形態では、画像出力部68から出力された部分画像群から動画を生成する例を説明したが、フレームレートとしては、24〜60[fps]に限らず、これ以上のフレームレートでも、これ以下のフレームレートであってもよい。さらに、次のフレーム画像への切り替えまでの間隔が一定ではなくてもよいし、自動に切り替わらなくてもよい。具体的には、例えば、画像出力部68から出力されるフレーム画像について、使用者の操作によりフレーム画像が順次表示されるよう構成してもよい。このような構成として、例えば、使用者による、次のフレーム画像への切り替えを指示する操作を契機に、次のフレーム画像が表示されるよう構成し、使用者が操作を繰り返すことにより、順次、フレーム画像が表示されるよう構成してもよい。なお、次のフレーム画像への切り替えを指示する操作としては、フレーム画像を表示するタッチパネルに対する使用者の操作であってもよい。   In the embodiment described above, an example in which a moving image is generated from a partial image group output from the image output unit 68 has been described. However, the frame rate is not limited to 24 to 60 [fps], and more frames are available. The frame rate may be lower than this rate. Furthermore, the interval until switching to the next frame image may not be constant, or may not be switched automatically. Specifically, for example, the frame image output from the image output unit 68 may be configured to be sequentially displayed by a user operation. As such a configuration, for example, when the user instructs to switch to the next frame image, the next frame image is displayed, and when the user repeats the operation, You may comprise so that a frame image may be displayed. Note that the operation for instructing switching to the next frame image may be a user operation on the touch panel for displaying the frame image.

2 :動画作成システム
4 :カメラ
6 :カメラ制御部
8 :ターンテーブル
10 :移動制御部
12 :画像処理装置
14 :被写体
30 :昇降機
60 :設定部
62 :制御部
64 :静止画取得部
66 :抽出部
68 :画像出力部
70 :動画生成部
2: Moving image creation system 4: Camera 6: Camera control unit 8: Turntable 10: Movement control unit 12: Image processing device 14: Subject 30: Elevator 60: Setting unit 62: Control unit 64: Still image acquisition unit 66: Extraction Unit 68: Image output unit 70: Movie generation unit

Claims (16)

移動する被写体を複数の移動位置でカメラにより撮影した静止画を取得する静止画取得手段と、
前記静止画取得手段により取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出する抽出手段と、
前記抽出手段により抽出した部分画像に基づく動画用のフレーム画像を出力する画像出力手段と
を有する画像処理装置。
A still image acquisition means for acquiring a still image obtained by photographing a moving subject with a camera at a plurality of movement positions;
Extraction means for extracting a part of each of a plurality of still images including a subject acquired by the still image acquisition means as a partial image;
An image processing apparatus comprising: an image output unit that outputs a moving image frame image based on the partial image extracted by the extraction unit.
前記画像出力手段により出力された複数の動画用のフレーム画像を結合して動画を生成する動画生成手段をさらに有する
請求項1記載の画像処理装置。
The image processing apparatus according to claim 1, further comprising a moving image generation unit configured to combine a plurality of moving image frame images output by the image output unit to generate a moving image.
前記静止画取得手段は、回転する被写体の静止画を取得する
請求項1又は2記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the still image acquisition unit acquires a still image of a rotating subject.
前記抽出手段は、画像領域が異なる複数の部分画像を抽出する
請求項1乃至3いずれか記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the extraction unit extracts a plurality of partial images having different image areas.
前記抽出手段は、部分画像における被写体の位置が異なるように、複数の静止画からそれぞれ部分画像を抽出する
請求項4記載の画像処理装置。
The image processing apparatus according to claim 4, wherein the extraction unit extracts partial images from a plurality of still images so that the positions of subjects in the partial images are different.
前記抽出手段は、画像領域を指定する関数を用いて、部分画像が抽出されるごとに各部分画像の画像領域が順次、前記関数に応じて移動するよう抽出する
請求項5記載の画像処理装置。
The image processing apparatus according to claim 5, wherein the extraction unit uses a function that designates an image region to extract the image region of each partial image so that the partial region moves sequentially according to the function each time a partial image is extracted. .
前記抽出手段は、画像領域の大きさが異なるように、複数の静止画からそれぞれ部分画像を抽出し、
前記画像出力手段は、前記抽出手段により抽出された部分画像を、動画用のフレーム画像の大きさとして予め定められた大きさの部分画像に変換して出力する
請求項4乃至6いずれか記載の画像処理装置。
The extracting means extracts partial images from a plurality of still images so that the sizes of the image regions are different,
The said image output means converts the partial image extracted by the said extraction means into the partial image of the magnitude | size defined beforehand as the magnitude | size of the frame image for moving images, and outputs it. Image processing device.
移動する被写体を複数の移動位置でカメラにより撮影した静止画を取得し、
取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出し、
抽出した部分画像をフレーム画像として出力する
画像処理方法。
Acquire still images of moving objects taken by the camera at multiple movement positions.
Extract a part of each of the multiple still images including the acquired subject as a partial image,
An image processing method for outputting an extracted partial image as a frame image.
被写体を複数の移動位置に移動し、
複数の移動位置で被写体をカメラにより撮影し、
撮影した静止画を取得し、
取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出し、
抽出した部分画像をフレーム画像として動画を生成する
動画作成方法。
Move the subject to multiple movement positions,
Shoot the subject with the camera at multiple moving positions,
Acquire the shot still image,
Extract a part of each of the multiple still images including the acquired subject as a partial image,
A video creation method that creates a video using the extracted partial images as frame images.
被写体を撮影するカメラと、
被写体を移動させる移動手段と、
前記移動手段により移動する複数の移動位置で前記カメラにより撮影した静止画を取得する静止画取得手段と、
前記静止画取得手段により取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出する抽出手段と、
前記抽出手段により抽出した部分画像に基づく動画用のフレーム画像を出力する画像出力手段と
を有する動画用フレーム画像作成システム。
A camera to shoot the subject,
Moving means for moving the subject;
Still image acquisition means for acquiring still images taken by the camera at a plurality of movement positions moved by the movement means;
Extraction means for extracting a part of each of a plurality of still images including a subject acquired by the still image acquisition means as a partial image;
A moving image frame image creating system comprising: an image output unit that outputs a moving image frame image based on the partial image extracted by the extracting unit.
前記移動手段は、被写体を回転させる
請求項10記載の動画用フレーム画像作成システム。
The moving image frame image creation system according to claim 10, wherein the moving means rotates the subject.
前記移動手段による被写体の移動を制御する移動制御手段
をさらに有する請求項10又は11記載の動画用フレーム画像作成システム。
The moving image frame image creation system according to claim 10, further comprising movement control means for controlling movement of a subject by the movement means.
被写体の複数の移動位置における前記カメラによる撮影を制御するカメラ制御手段
をさらに有する請求項10乃至12いずれか記載の動画用フレーム画像作成システム。
The moving image frame image creation system according to any one of claims 10 to 12, further comprising camera control means for controlling photographing by the camera at a plurality of movement positions of a subject.
前記カメラ制御手段は、前記移動手段による回転移動が停止したのと同期して前記カメラで被写体を撮影するように制御する
請求項13記載の動画用フレーム画像作成システム。
14. The moving image frame image creation system according to claim 13, wherein the camera control means controls to photograph the subject with the camera in synchronization with the stop of the rotational movement by the moving means.
被写体を撮影するカメラと、
被写体を移動させる移動手段と、
前記移動手段により移動する複数の移動位置で前記カメラにより撮影した静止画を取得する静止画取得手段と、
前記静止画取得手段により取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出する抽出手段と、
前記抽出手段により抽出した部分画像に基づく動画用のフレーム画像を出力する画像出力手段と、
前記出力手段により出力された複数の動画用のフレーム画像から動画を生成する動画生成手段と
を有する動画作成システム。
A camera to shoot the subject,
Moving means for moving the subject;
Still image acquisition means for acquiring still images taken by the camera at a plurality of movement positions moved by the movement means;
Extraction means for extracting a part of each of a plurality of still images including a subject acquired by the still image acquisition means as a partial image;
Image output means for outputting a frame image for a moving image based on the partial image extracted by the extraction means;
A moving image generating system that generates a moving image from a plurality of moving image frame images output by the output unit.
移動する被写体を複数の移動位置でカメラにより撮影した静止画を取得するステップと、
取得した被写体を含む複数の静止画それぞれの一部を部分画像として抽出するステップと、
抽出した部分画像に基づく動画用のフレーム画像を出力するステップと
をコンピュータに実行させるプログラム。
Acquiring a still image obtained by photographing a moving subject by a camera at a plurality of movement positions;
Extracting a part of each of a plurality of still images including the acquired subject as a partial image;
Outputting a frame image for a moving image based on the extracted partial image.
JP2012244346A 2012-11-06 2012-11-06 Image processing apparatus, image processing method, moving image creating method, moving image creating system, and program Active JP6181363B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012244346A JP6181363B2 (en) 2012-11-06 2012-11-06 Image processing apparatus, image processing method, moving image creating method, moving image creating system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012244346A JP6181363B2 (en) 2012-11-06 2012-11-06 Image processing apparatus, image processing method, moving image creating method, moving image creating system, and program

Publications (2)

Publication Number Publication Date
JP2014093710A true JP2014093710A (en) 2014-05-19
JP6181363B2 JP6181363B2 (en) 2017-08-16

Family

ID=50937488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012244346A Active JP6181363B2 (en) 2012-11-06 2012-11-06 Image processing apparatus, image processing method, moving image creating method, moving image creating system, and program

Country Status (1)

Country Link
JP (1) JP6181363B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103789A (en) * 2014-11-28 2016-06-02 株式会社Pfu Captured image data disclosure system
JP2020177043A (en) * 2019-04-15 2020-10-29 萬里科技股▲ふん▼有限公司 Turntable for photographing ring and light box
CN113794816A (en) * 2021-08-04 2021-12-14 深圳市联洲国际技术有限公司 Image enhancement method, device and equipment in dark light environment and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04115674A (en) * 1990-08-31 1992-04-16 Personal Joho Kankyo Kyokai Generation of moving picture information
JPH11149576A (en) * 1997-09-09 1999-06-02 Sanyo Electric Co Ltd Three-dimensional modeling device, three-dimensional method, medium recording three-dimensional modeling program and medium recording three-dimensional shape estimation program
JP2001145123A (en) * 1999-11-10 2001-05-25 Shimane Pref Gov Image photographing device for three-dimensional display device
JP2005012584A (en) * 2003-06-20 2005-01-13 Makers Shop:Kk Image information providing system
JP2005267005A (en) * 2004-03-17 2005-09-29 Casio Comput Co Ltd Image data processing apparatus and program
JP2012048458A (en) * 2010-08-26 2012-03-08 Matsumura Yoran Kk Flower and ornamental plant sales system and sales method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04115674A (en) * 1990-08-31 1992-04-16 Personal Joho Kankyo Kyokai Generation of moving picture information
JPH11149576A (en) * 1997-09-09 1999-06-02 Sanyo Electric Co Ltd Three-dimensional modeling device, three-dimensional method, medium recording three-dimensional modeling program and medium recording three-dimensional shape estimation program
JP2001145123A (en) * 1999-11-10 2001-05-25 Shimane Pref Gov Image photographing device for three-dimensional display device
JP2005012584A (en) * 2003-06-20 2005-01-13 Makers Shop:Kk Image information providing system
JP2005267005A (en) * 2004-03-17 2005-09-29 Casio Comput Co Ltd Image data processing apparatus and program
JP2012048458A (en) * 2010-08-26 2012-03-08 Matsumura Yoran Kk Flower and ornamental plant sales system and sales method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103789A (en) * 2014-11-28 2016-06-02 株式会社Pfu Captured image data disclosure system
JP2020177043A (en) * 2019-04-15 2020-10-29 萬里科技股▲ふん▼有限公司 Turntable for photographing ring and light box
CN113794816A (en) * 2021-08-04 2021-12-14 深圳市联洲国际技术有限公司 Image enhancement method, device and equipment in dark light environment and storage medium
CN113794816B (en) * 2021-08-04 2023-05-23 成都市联洲国际技术有限公司 Image enhancement method, device, equipment and storage medium in dim light environment

Also Published As

Publication number Publication date
JP6181363B2 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
KR101783196B1 (en) Method and apparatus for obtaining an image with motion blur
JP6395423B2 (en) Image processing apparatus, control method, and program
JP5340895B2 (en) Image data creation support apparatus and image data creation support method
JP6135391B2 (en) Imaging apparatus, image processing apparatus, image processing method, and program
JP2009267787A (en) Composition determination device, composition determination method, and program
JP2019514078A (en) Time multiplexed programmable field of view imaging
JP2016024489A (en) Image processing apparatus, imaging device, image processing method, and program
KR101649752B1 (en) Generating method for multiview image using interface with image matrix and generating system for multiview image
JP2016063248A (en) Image processing device and image processing method
JP2016181068A (en) Learning sample imaging device
JP2010016544A (en) Image capturing apparatus and image processing apparatus, and image processing program
JP6181363B2 (en) Image processing apparatus, image processing method, moving image creating method, moving image creating system, and program
JP6104077B2 (en) Photographing equipment and photographing method
JP2009258005A (en) Three-dimensional measuring device and three-dimensional measuring method
JP2012156747A (en) Imaging apparatus, image composition method, and program
JP2012256274A (en) Image generation device, image generation method, and computer program
JP2007214620A (en) Image processing apparatus, image processing method, and program
JP6223173B2 (en) Image processing apparatus, control method thereof, and program
US20180376058A1 (en) Display processing apparatus, display processing method, and computer-readable medium for executing display processing method
JP5332668B2 (en) Imaging apparatus and subject detection program
JP2015220662A (en) Information processing apparatus, method for the same, and program
JP2014067142A (en) Image processing apparatus, image processing method, imaging apparatus, and imaging method
JP7316105B2 (en) Video correction device and program
JP5921646B2 (en) Image processing apparatus and image processing method
JP6108539B2 (en) Close-up image generation apparatus and program thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170720

R150 Certificate of patent or registration of utility model

Ref document number: 6181363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250