JP2016201628A - Imaging apparatus, composite imaging method and composite imaging program - Google Patents
Imaging apparatus, composite imaging method and composite imaging program Download PDFInfo
- Publication number
- JP2016201628A JP2016201628A JP2015079304A JP2015079304A JP2016201628A JP 2016201628 A JP2016201628 A JP 2016201628A JP 2015079304 A JP2015079304 A JP 2015079304A JP 2015079304 A JP2015079304 A JP 2015079304A JP 2016201628 A JP2016201628 A JP 2016201628A
- Authority
- JP
- Japan
- Prior art keywords
- composite
- image
- period
- control unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影時に、バルブ撮影やコンポジット撮影等の撮影期間のうち、撮像画像の合成を行う期間を指定して画像合成を行うことを可能にすることにより、希望する合成画像を簡単に取得する撮像装置、合成撮影方法及び合成撮影プログラムを提供する。【解決手段】撮像装置１は、第１の期間に亘り被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部１０と、第１の期間内の指定タイミングを指定する操作を受け付ける操作判定部２８と、複数の撮像画像のうち指定タイミングに応じた合成指定期間を設定する合成撮影制御部２６と、複数の撮像画像を蓄積すると共に、合成撮影制御部２６によって設定された合成指定期間に対応する撮像画像を合成した合成画像を得る蓄積合成制御部２３と、を具備する。【選択図】図１[PROBLEMS] To easily acquire a desired composite image by enabling to perform image composition by specifying a period for compositing captured images during photographing such as bulb photography and composite photography. An imaging apparatus, a composite photographing method, and a composite photographing program are provided. An imaging apparatus includes: an imaging unit that repeatedly captures an image of a subject over a first period and outputs a plurality of combined captured images; and an operation that specifies a specified timing within the first period. An operation determination unit 28 that receives the image, a composite shooting control unit 26 that sets a composite designation period corresponding to a specified timing among a plurality of captured images, and a plurality of captured images that are stored and set by the composite shooting control unit 26 And an accumulation synthesis control unit 23 for obtaining a synthesized image obtained by synthesizing the captured images corresponding to the synthesis designated period. [Selection] Figure 1
Description
本発明は、バルブ撮影やコンポジット撮影等に好適な撮像装置、合成撮影方法及び合成撮影プログラムに関する。 The present invention relates to an imaging apparatus suitable for bulb photography or composite photography, a composite photography method, and a composite photography program.
近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮像装置の操作を容易にしたものもある。 In recent years, portable devices (imaging devices) with a photographing function such as digital cameras have become widespread. Some image pickup apparatuses of this type include a display unit and have a function of displaying a captured image. Further, there is a display screen that displays a menu screen to facilitate the operation of the imaging apparatus.
撮像装置においては、シャッタボタンが押されている間とか、操作と操作の間に露光が行われるバルブ撮影機能を有するものがある。バルブ撮影機能を利用することで、星空や夜景撮影等において効果的な写真を得ることができる。例えば、特許文献１においては、天体撮影等の長時間撮影に利用されるバルブ撮影モードにおいて、撮影可能時間を表示させることで、ユーザが撮影可能時間を把握でき、意図する良好な撮影を行うことを容易にした撮像装置が提案されている。
Some imaging apparatuses have a bulb photographing function in which exposure is performed while a shutter button is pressed or between operations. By using the bulb shooting function, it is possible to obtain an effective photograph in shooting a starry sky or night scene. For example, in
更に、バルブ撮影時において、最終的に得られる画像だけでなく露光途中の時々刻々変化する画像を表示可能にしたライブバルブ機能を有する撮像装置も商品化されている。例えば、破壊読み出しを行う撮像素子を用いてライブバルブ機能を達成する装置も開示されている。このような装置では、露光及び読み出しを複数回繰り返し、各読み出し毎の像信号を積分することで、バルブ撮影において所定の露光時間毎の画像を得るようになっている。このようなライブバルブ機能では、ユーザは、表示された画像を見ながらバルブ撮影を停止させるタイミングを知ることができる。 Furthermore, an image pickup apparatus having a live valve function capable of displaying not only a finally obtained image but also an image that changes every moment during the exposure at the time of bulb photographing has been commercialized. For example, an apparatus that achieves a live valve function using an image sensor that performs destructive readout is also disclosed. In such an apparatus, exposure and readout are repeated a plurality of times, and an image signal for each readout is integrated to obtain an image for each predetermined exposure time in bulb photography. With such a live bulb function, the user can know the timing for stopping bulb photography while viewing the displayed image.
また、被写体を繰り返し撮影して一連の画像を取得し、取得した一連の画像の特徴に応じて、合成する部分を決定する比較明合成することによって、バルブ撮影と同様の効果を得るコンポジット撮影機能を有する撮像装置も開発されている。 A composite shooting function that obtains the same effect as bulb shooting by capturing a series of images by repeatedly shooting a subject and determining the portion to be combined according to the characteristics of the acquired series of images. An imaging device having the above has also been developed.
しかしながら、バルブ撮影やコンポジット撮影においても、撮影の開始及び終了タイミングはユーザが決定する必要がある。例えば、花火等の撮影では、ユーザが希望する撮影画像を得るための撮影開始タイミング及び終了タイミングとして許容できる間隔は比較的狭く、希望する撮影画像を得るためにはある程度高度な撮影技術を要する。 However, also in bulb shooting and composite shooting, the user needs to determine the start and end timing of shooting. For example, in the shooting of fireworks or the like, the interval that can be accepted as the shooting start timing and the end timing for obtaining a shot image desired by the user is relatively narrow, and a certain level of shooting technology is required to obtain the desired shot image.
なお、コンポジット撮影によって取得した一連の画像をパーソナルコンピュータ等によって読み込み、パーソナルコンピュータによって比較明合成することが考えられる。この場合には、取得した一連の画像をパーソナルコンピュータによってディスプレイ上に表示させ、比較明合成に際して、合成に用いる画像を選択することで、ユーザが希望する合成画像を得ることができる。 Note that it is conceivable that a series of images acquired by composite photography is read by a personal computer or the like and comparatively brightly synthesized by the personal computer. In this case, a series of acquired images can be displayed on a display by a personal computer, and a composite image desired by the user can be obtained by selecting an image to be used for synthesis at the time of comparative bright synthesis.
しかしながら、バルブ撮影やコンポジット撮影の対象となるシーンは暗いシーンが多く、十分な露光量を得るために、撮影時間は比較的長い。このような撮影では、コンポジット撮影期間に繰り返し撮影される画像の枚数は膨大であり、画像合成に用いる画像の選択のために、カメラから読み出した多数の画像を表示させる必要があり、画像を選択して比較明合成を行う作業は煩雑で且つ長時間を要する。また、コンポジット撮影の撮影期間は比較的長く且つカメラの設置等の準備にも比較的長時間を要することから、撮り直しの必要性等を考慮すると、パーソナルコンピュータを用いた比較明合成では全体の作業時間が膨大となってしまう。 However, scenes that are subject to bulb photography or composite photography are often dark scenes, and the photographing time is relatively long in order to obtain a sufficient exposure amount. In such shooting, the number of images taken repeatedly during the composite shooting period is enormous, and it is necessary to display a large number of images read from the camera in order to select the images used for image synthesis. Thus, the operation of performing comparatively bright synthesis is complicated and takes a long time. In addition, since the shooting period of composite shooting is relatively long and it takes a relatively long time to prepare for the installation of the camera, etc. Work time will be enormous.
本発明は、撮影時に、バルブ撮影やコンポジット撮影等の撮影期間のうち、撮像画像の合成を行う期間を指定して画像合成を行うことを可能にすることにより、希望する合成画像を簡単に取得することができる撮像装置、合成撮影方法及び合成撮影プログラムを提供することを目的とする。 The present invention makes it possible to easily obtain a desired composite image by enabling image composition by specifying a period for compositing captured images during photographing such as bulb photography and composite photography. It is an object of the present invention to provide an imaging apparatus, a composite photographing method, and a composite photographing program that can be used.
本発明に係る撮像装置は、第１の期間に亘り被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、上記複数の撮像画像を蓄積するための蓄積制御部と、上記第１の期間内の指定タイミングを指定する操作を受け付ける操作判定部と、上記複数の撮像画像のうち上記指定タイミングに応じた合成指定期間を設定する合成撮影制御部と、上記合成撮影制御部によって設定された前記合成指定期間に対応する撮像画像を合成した合成画像を得る合成部と、を具備する。 An imaging apparatus according to the present invention includes: an imaging unit that repeatedly captures an image of a subject over a first period and outputs a plurality of combined captured images; and a storage control unit that stores the plurality of captured images. An operation determination unit that receives an operation for designating a designated timing within the first period, a composite photographing control unit that sets a composite designated period according to the designated timing among the plurality of captured images, and the composite photographing control A synthesis unit that obtains a synthesized image obtained by synthesizing the captured images corresponding to the synthesis designation period set by the unit.
また、本発明に係る合成撮影方法は、第１の期間に亘り被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、上記複数の撮像画像を蓄積するための蓄積制御ステップと、上記第１の期間内の指定タイミングを指定する操作を受け付ける操作判定ステップと、上記複数の撮像画像のうち上記指定タイミングに応じた合成指定期間を設定する合成撮影制御ステップと、上記合成撮影制御ステップにおいて設定された前記合成指定期間に対応する撮像画像を合成した合成画像を得る合成ステップと、を具備する。 Further, the composite photographing method according to the present invention includes an imaging step of repeatedly capturing an image of a subject over a first period and outputting a plurality of composite captured images, and storage for storing the plurality of captured images. A control step, an operation determination step for accepting an operation for designating a designated timing within the first period, a composite photographing control step for setting a composite designated period according to the designated timing among the plurality of captured images, And a synthesis step of obtaining a synthesized image obtained by synthesizing the captured images corresponding to the synthesis designated period set in the composite shooting control step.
また、本発明に係る合成撮影プログラムは、コンピュータに、第１の期間に亘り被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、上記複数の撮像画像を蓄積するための蓄積制御ステップと、上記第１の期間内の指定タイミングを指定する操作を受け付ける操作判定ステップと、上記複数の撮像画像のうち上記指定タイミングに応じた合成指定期間を設定する合成撮影制御ステップと、上記合成撮影制御ステップにおいて設定された前記合成指定期間に対応する撮像画像を合成した合成画像を得る合成ステップと、を実行させる。 Further, the composite shooting program according to the present invention stores in the computer an imaging step of repeatedly capturing an image of a subject over a first period and outputting a plurality of combined captured images, and the plurality of captured images. Storage control step, an operation determination step for accepting an operation for designating a designated timing within the first period, and a composite imaging control step for setting a composite designated period according to the designated timing among the plurality of captured images And a synthesis step of obtaining a synthesized image obtained by synthesizing the captured images corresponding to the synthesis designation period set in the synthesized imaging control step.
本発明によれば、撮影時に、バルブ撮影やコンポジット撮影等の撮影期間のうち、撮像画像の合成を行う期間を指定して画像合成を行うことを可能にすることにより、希望する合成画像を簡単に取得することができるという効果を有する。 According to the present invention, at the time of shooting, it is possible to specify a period during which shot images are to be combined among shooting periods such as bulb shooting and composite shooting, thereby making it possible to easily combine desired images. It has the effect that it can be acquired.
以下、図面を参照して本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図である。本実施の形態における撮像装置１は、同一被写体を繰り返し撮像して一連の複数の画像を得るバルブ撮影やコンポジット撮影等の合成撮影時において、ユーザの撮影開始や撮影終了操作等に基づく合成撮影期間中の任意の期間（以下、合成指定期間という）における撮影画像による合成画像を得ることを可能にしたものである。
(First embodiment)
FIG. 1 is a block diagram showing a circuit configuration of an imaging apparatus according to the first embodiment of the present invention. The
図１において、撮像装置１は撮像部１０及び制御部２０を含む。撮像部１０は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ及び絞り等を備えている。
In FIG. 1, the
制御部２０は、図示しないＣＰＵ等のプロセッサによって構成することができ、図示しないメモリに記憶されたプログラムに従って各部を制御することができるようになっている。制御部２０には撮像部１０からの撮像画像が与えられる。画像取得部２１は撮像部１０からの画像を取り込むようになっている。画像取得部２１には撮像制御部２２が設けられており、撮像制御部２２は撮像部１０を制御する。撮像制御部２２は、撮像部１０の撮像素子及び光学系を駆動制御する。例えば、撮像制御部２２は、ズームやフォーカシングのためのレンズ及び絞りを駆動して、ズーム及びピント位置や絞りを変更することができる。また、撮像制御部２２は、撮像部１０の撮像素子を駆動制御して、撮像素子からの撮像画像を取得することができるようになっている。また、撮像制御部２２は、撮像素子からの画素信号の読み出しに際して、画素信号を必要に応じて加算したり間引いたりして出力することもできる。
The
更に、本実施の形態においては、撮像制御部２２は、撮像部１０を制御して、同一被写体について繰り返し撮像を行って一連の複数の撮像画像を得るバルブ撮影やコンポジット撮影のための撮影制御が可能である。こうして、画像取得部２１は、一連の複数の撮像画像を取得する。
Furthermore, in the present embodiment, the
画像取得部２１が取得した複数の画像は蓄積合成制御部２３に与えられる。蓄積合成制御部２３は、入力された画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行うこともできる。蓄積合成制御部２３は、信号処理後の画像を記録制御部２７及び表示制御部２９に出力することができる。
The plurality of images acquired by the
蓄積合成制御部２３は、バルブ撮影やコンポジット撮影等の合成撮影モード時には、合成撮影制御部２６によって制御されて、入力される複数の画像を順次蓄積部２５に与えると共に、順次入力される撮像画像を合成して蓄積部２５に与える。蓄積部２５は、蓄積合成制御部２３に制御されて、蓄積合成制御部２３から与えられる画像を記憶すると共に、記憶した画像を蓄積合成制御部２３に出力することができるようになっている。
The storage
蓄積合成制御部２３は、画像取得部２１からの撮像画像を蓄積部２５に与えて記憶させると共に、蓄積部２５に蓄積された画像と画像取得部２１からの撮像画像とを合成した合成画像を生成することができる。更に、蓄積部２５は、蓄積部２５に記憶されている複数の画像を合成した合成画像を生成することもできる。これにより、蓄積合成制御部２３は、撮像部１０による合成撮影によって得られた一連の撮像画像のうちの所定の画像のみを合成することも可能である。蓄積合成制御部２３は生成した合成画像等を記録制御部２７及び表示制御部２９に出力することができる。
The storage
表示制御部２９は、表示に関する各種処理を実行する。表示制御部２９は、与えられた画像を表示部３１に与えて表示させることができる。表示部３１は、ＬＣＤ等の表示画面３１ｂ（図５参照）を有しており、表示制御部２９から与えられた画像を表示する。また、表示制御部２９は、各種メニュー表示等を表示部３１の表示画面３１ｂに表示させることもできるようになっている。
The
なお、表示部３１の表示画面３１ｂは撮像装置１の筐体１ａ（図５参照）の背面に沿って設けられており、撮影者は、撮影時に表示部３１の表示画面３１ｂ上に表示されたスルー画や設定画面等を確認することができ、スルー画等を確認しながら撮影操作を行うこともできる。
The
記録制御部２７は、記録に関する各種処理を実行する。記録制御部２７は、与えられた画像を記録部３３に与えて記録させることができる。記録部３３としては、種々の記録媒体を採用することができる。例えば、記録部３３として、カードインターフェースを採用した場合には、記録制御部２７は、メモリカード等の記録媒体に画像を記録可能である。
The
操作判定部２８は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部３２に対するユーザ操作を受け付けるようになっている。また、表示部３１の表示画面３１ｂ上には、タッチパネル３１ａが設けられている。タッチパネル３１ａは、ユーザが指で指し示した表示画面３１ｂ上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号も操作判定部２８に供給される。操作判定部２８は操作部３２及びタッチパネル３１ａに対する操作を判定して、判定結果を合成撮影制御部２６に与える。こうして、合成撮影制御部２６はユーザの指示に従って合成撮影における各部の制御を行う。
The
通信部３０は、制御部２０に制御されて、外部機器との間で通信し、各種情報の授受を行うことができる。例えば、通信部３０は、スマートフォン等の外部機器に、画像を伝送したり、各種通知等を行うことができる。
The
合成撮影制御部２６は、バルブ撮影やコンポジット撮影等の合成撮影モード時には、ユーザの例えばシャッタボタン操作に応じて合成撮影の開始及び終了タイミングを決定する。なお、合成撮影制御部２６は、ユーザの合成撮影の開始操作に応じて、合成撮影の終了タイミングを自動的に決定してもよい。合成撮影制御部２６は、合成撮影期間においては、撮像制御部２２を制御して、同一被写体について繰り返し撮像を行って、一連の複数の撮像画像を得るようになっている。
The composite
本実施の形態においては、合成撮影制御部２６は、合成撮影期間中の任意の期間を、例えばユーザ操作に基づいて合成指定期間に設定することができるようになっている。合成撮影制御部２６は、蓄積合成制御部２３を制御して、合成撮影期間中において撮影された画像のうち、合成指定期間の画像のみを用いた画像合成により、合成画像を生成することができるようになっている。
In the present embodiment, the composite photographing
本実施の形態においては、合成指定期間の画像を用いた画像合成を可能とするために、蓄積合成制御部２３は、合成撮影期間中の１箇所以上の所定のタイミングで得られた合成画像を蓄積部２５に記録させるようになっている。なお、蓄積合成制御部２３は、記憶容量が十分であれば、順次生成される全ての合成画像を蓄積部２５に記録させるようにしてもよい。
In the present embodiment, in order to enable image composition using images in the composition designated period, the storage
また、合成撮影制御部２６は、ユーザが簡単に合成指定期間を指定することができるように、表示制御部２９を制御して、合成指定期間を設定するための設定画面を表示させることもできるようになっている。
Further, the composite photographing
次に、このように構成された実施の形態の動作について図２乃至図６を参照して説明する。図２はカメラ制御を説明するためのフローチャートである。また、図３及び図４は第１の実施の形態を説明するための説明図であり、合成画像の作成方法の概要を示している。また、図５及び図６はメニュー表示の一例を示す説明図である。 Next, the operation of the embodiment configured as described above will be described with reference to FIGS. FIG. 2 is a flowchart for explaining camera control. 3 and 4 are explanatory diagrams for explaining the first embodiment, and show an outline of a method for creating a composite image. 5 and 6 are explanatory diagrams showing examples of menu display.
図２のステップＳ１において、制御部２０は、バルブ撮影モードが指示されたか否かを判定する。バルブ撮影モードが指示されていない場合には、制御部２０は、再生モードが指定されているか否かを判定する（ステップＳ３１）。なお、制御部２０による通常の撮影モード時の動作については、図示及び説明を省略する。
In step S1 of FIG. 2, the
再生モードが指示されると、制御部２０は、ステップＳ３２において、指定された画像を再生する。制御部２０は、ステップＳ３３において再生画像の変更が指示されたか否かを判定しており、変更が指示された場合には指定された画像に変更して再生を行う（ステップＳ３４）。また、制御部２０は、再生モードが指示されていない場合には、ステップＳ３５において、画像通信モードに移行する。
When the reproduction mode is instructed, the
制御部２０の表示制御部２９は、撮影モードの選択のために、例えば、図５に示すメニュー表示を表示するようにしてもよい。図５に示すように、撮像装置１の筐体１ａの背面に設けられた表示画面３１ｂ上には、撮影モードを選択するための選択表示５１が表示されている。選択表示５１上をタッチ操作すると、例えば、表示制御部２９は、図６に示すメニュー表示を表示させる。図６においては、表示画面３１ｂ上に、合成撮影モードを選択するための選択表示５２，５３が表示されている。なお、通常撮影モード等の他の撮影モードを選択するための選択表示については画面をスクロールすることによって表示可能であるが、図示を省略する。「積算バルブ」と標記した選択表示５２は、通常のバルブ撮影等の合成撮影を行う通常合成撮影モードを指定するためのものであり、「途中記録バルブ」と標記した選択表示５３は、本実施の形態における合成指定期間を設定して合成撮影を行う期間指定合成撮影モードを指定するためのものである。
For example, the
いま、撮影モードとして合成撮影モードのうち期間指定合成撮影モードが指定されたものとする。制御部２０は、ステップＳ２においてボディ操作があったか否かを判定する。ボディ操作が行われた場合には、制御部２０はボディ操作に応じた制御を行って、操作結果を反映させる（ステップＳ３）。
Now, it is assumed that the period-designated composite photographing mode is designated as the photographing mode among the composite photographing modes. The
合成撮影モード時には、撮影毎に、それまでの撮像画像が積算された合成画像が順次生成される。本実施の形態においては、合成撮影期間の終了後において、合成指定期間における合成画像の生成を可能にするために、順次生成される合成画像の全て又は一部を蓄積部２５に記憶させるようになっている。蓄積合成制御部２３は、蓄積部２５の記憶容量を低減させるために、例えば、所定の期間毎に合成画像を記憶するように設定してもよく、例えば、ステップＳ３において、この期間を設定してもよい。後述するように、合成画像の記憶期間単位で、合成指定期間の設定が可能であり、全ての合成画像を記憶させておけば、任意のタイミングで合成指定期間を設定することも可能である。
In the composite shooting mode, a composite image obtained by integrating the captured images so far is sequentially generated for each shooting. In the present embodiment, after the end of the composite shooting period, all or part of the sequentially generated composite images are stored in the
合成撮影制御部２６は、ステップＳ４において、撮像制御部２２を制御して撮像部１０の撮像を開始させる。合成撮影制御部２６は、画像取得部２１を制御して撮像部１０から撮像画像を取得し、取得した画像を蓄積合成制御部２３に与える。蓄積合成制御部２３は、取得した画像に所定の信号処理を施した後、表示制御部２９に与える。表示制御部２９は表示部３１の表示画面３１ｂ上にスルー画を表示させる。
In step S4, the composite
次に、制御部２０は、ステップＳ５において、合成撮影が開始されたか否かを判定する。例えば、ユーザがシャッタボタン３２ａを押下操作することによって、合成撮影が開始される。合成撮影モード時には、合成撮影制御部２６によって各部が制御されて、合成撮影が行われる。撮像部１０の撮像によって得られた画像の蓄積が開始される（ステップＳ６）。
Next, in step S5, the
即ち、撮像部１０は、撮像制御部２２に制御されて、同一被写体を繰り返し撮像し、一連の複数の撮像画像を出力する。画像取得部２１は、同一被写体について撮影された複数の画像を順次取得して蓄積合成制御部２３に出力し、蓄積合成制御部２３は、入力された画像を順次蓄積部２５に与えて記憶させる。
That is, the
蓄積合成制御部２３は、合成撮影における１回の撮影に要する露光時間が経過したか否かをステップＳ７において判定し、１回の撮影に要する露光時間が経過する毎に、ステップＳ８において合成撮影枚数ｎをカウントし、ステップＳ９において蓄積結果を順次表示する。即ち、蓄積合成制御部２３は、蓄積部２５に画像を蓄積しながら像信号を積算することで、合成画像を順次生成する。蓄積合成制御部２３は、蓄積結果の合成画像を表示制御部２９に与える。表示制御部２９は、ステップＳ９において、入力された合成画像を表示部３１に与えて表示させる。
In step S7, the accumulation
合成撮影制御部２６は、ステップＳ１０において、期間指定合成撮影モードにおいてステップＳ３等において設定した所定の期間が経過して合成画像を記憶するタイミング（以下、蓄積タイミングという）になったか否かを判定する。蓄積タイミングではない場合には、合成撮影制御部２６は、処理をステップＳ１４に移行して、合成撮影の終了を判定する。合成撮影制御部２６は、合成撮影が終了していない場合には、処理をステップＳ７に戻して、ステップＳ７〜Ｓ１３を繰り返す。ユーザによって合成撮影の終了操作が行われた場合、或いは予め決められた合成撮影期間が経過すると、合成撮影制御部２６は処理をステップＳ１５に移行して、レックビュー表示を行う。
In step S10, the composite photographing
図３はこのような画像表示の一例を示すものであり、夜景を合成撮影によって撮影した場合における表示画面３１ｂ上の表示例を示している。図３（ａ）は合成撮影期間の最初の撮像画像を示し、図３（ｂ）は合成撮影期間の最後の合成画像、即ち、レックビュー表示を示し、図３（ｃ）は合成指定期間に得られる合成画像（以下、期間指定合成画像という）を示している。
FIG. 3 shows an example of such an image display, and shows a display example on the
図３（ａ）に示すように、合成撮影期間の最初の撮像画像４１は、空の画像部分４２、建物の画像部分４３及び建物の窓等から漏れる明かりやネオン等による光点の画像部分４４を含む。更に、画像部分４２の空の一部には、飛行機による光の画像部分４５ａも含まれる。
As shown in FIG. 3A, the first captured
図３（ｂ）に示すように、合成撮影期間の最後の合成後の画像４６についても、空の画像部分４２、建物の画像部分４３及び明かりやネオン等による光点の画像部分４４を含む。更に、画像４６には、飛行機の光による画像部分４５ｂと、飛行機の移動に伴う光の軌跡４８ｂの画像部分も含まれる。
As shown in FIG. 3B, the last combined
期間指定合成撮影モードにおいては、上述したように、合成撮影制御部２６は、蓄積タイミングになったか否かを判定しており（ステップＳ１０）、蓄積タイミングになると、蓄積合成制御部２３は合成撮影制御部２６に制御されて、合成画像を蓄積部２５に与えて記憶させる（ステップＳ１１）。
In the period-designated composite shooting mode, as described above, the composite
合成撮影制御部２６は、ステップＳ１２において、ユーザに合成指定期間を設定させるための指標表示を表示画面３１ｂに表示させるための情報を取得する。例えば、合成撮影制御部２６は、蓄積タイミングの時間情報を蓄積部２５に記憶させる。合成撮影制御部２６は、最終的な合成撮影期間が決定した後に、蓄積タイミングが合成撮影期間の全体のどのタイミングであるかを示す指標表示を表示制御部２９に表示させる。
In step S12, the composite photographing
図３（ｂ）の例では、表示制御部２９は、表示画面３１ｂの下端に、合成撮影期間に対応したバー表示５５を表示すると共に、このバー表示５５上に、合成画像の蓄積タイミングを示す指標表示５６ａ，５６ｂ（以下、両者を区別する必要がない場合には、単に指標表示５６という）を表示する。図３（ｂ）の例では、合成撮影期間中において、２回の蓄積タイミングが設定されたことを示している。
In the example of FIG. 3B, the
なお、図３の例は、後述するように、指標表示５６に対するユーザのＧＵＩ操作によって合成指定期間を設定するものであるが、表示画面３１ｂに表示された画像を直接タッチすることで、合成指定期間を設定することも可能である。この場合を考慮して、合成撮影制御部２６は、画像中の光の軌跡を判定するようにしてもよい（ステップＳ１２）。合成撮影制御部２６は、蓄積タイミング毎に光の軌跡を判定して、判定結果を蓄積タイミングに対応させて蓄積部２５に記憶させる。
In the example of FIG. 3, as will be described later, the composition designation period is set by the user's GUI operation on the index display 56. However, by directly touching the image displayed on the
また、星の移動する様子を撮影する場合等のように合成撮影期間が長時間に及ぶ場合等においては、撮影者が表示画面３１ｂを見続けていないことも考えられる。合成撮影制御部２６は、蓄積タイミングになると、通信部３０を制御して、蓄積タイミングになって合成画像の記憶が行われたことを途中経過として外部機器に通知するようにしてもよい（ステップＳ１３）。
In addition, when the composite shooting period is long, such as when shooting a moving star, it may be possible that the photographer does not keep watching the
いま、ユーザが図３（ｂ）に示すレックビュー表示を見て、飛行機の移動に伴う光の軌跡４８ｂが長すぎると感じ、もう少し軌跡４８ｂを短くしたいと考えたものとする。ユーザは、画像合成を行う合成指定期間を短くする操作を行うことで、軌跡４８ｂを短くすることができる。例えば、ユーザは、合成撮影期間の全体のうち、蓄積タイミングの指標表示５６ａ，５６ｂに示すタイミングの間の期間のみを合成指定期間に設定する操作を行う。合成撮影制御部２６は、ステップＳ１６において、このようなユーザの合成指定期間の指定操作を判定する。
Now, assume that the user looks at the REC view display shown in FIG. 3B, feels that the
例えば、合成撮影制御部２６は、ユーザが、バー表示５５上の左端から指標表示５６ａまでをスライド操作することで、合成指定期間の開始位置を指定したと判定し、バー表示５５上の右端から指標表示５６ｂまでをスライド操作することで、合成指定期間の終了位置を指定したものと判定する。また、合成撮影制御部２６は、同様の合成指定期間を、バー表示５５の両端にタッチし、指標表示５６ａ，５６ｂの位置までスライドさせるピンチ操作が行われたことによって判定してもよい。更に、合成撮影制御部２６は、軌跡４８ｂ上をタッチして希望する位置までスライドさせる方法によって、同様の合成指定期間が指定されたものと判定するようにしてもよい。
For example, the composite photographing
図４は被写体からの光を光電変換によって電気信号に変えて、蓄積や積分を行っている例を示した模式的な図である。画面内の特定の画素などから出る結果を想定している。図４は横軸に所定時間（１回の撮影）間隔毎の時間をとり縦軸に積算結果をとって、期間指定合成撮影モードにおける動作の一例を示している。図４のコマＡ〜コマＤは、 合成撮影期間における１コマ目〜４コマ目の撮像によって得られる像信号（Ｒ，Ｇ，Ｂ信号）を示している。 FIG. 4 is a schematic diagram showing an example in which light from a subject is converted into an electrical signal by photoelectric conversion and accumulation and integration are performed. Assume that the result comes from a specific pixel in the screen. FIG. 4 shows an example of the operation in the period-designated composite shooting mode, with the horizontal axis representing the time for each predetermined time (one shooting) interval and the vertical axis representing the integration result. Frames A to D in FIG. 4 indicate image signals (R, G, and B signals) obtained by imaging the first frame to the fourth frame in the composite shooting period.
図４（ａ）の例は各コマＡ〜Ｄの像信号が積算されることを示している。図４（ｂ）はコマＡが得られた段階の積算結果（電荷蓄積（途中１））を示しており、図４（ｃ）はコマＡ〜Ｃまでが得られた段階の積算結果（電荷蓄積（途中２））を示している。いま、蓄積タイミングがコマＡが撮像された時点及びコマＣが撮像された時点であるものとすると、蓄積部２５には、コマＡの撮像画像及びコマＡ〜Ｃの積算結果の合成画像が記憶される。ここで、ユーザが合成指定期間としてコマＡの撮像からコマＣの撮像までの期間を指定した場合には、コマＡ〜Ｃの積算結果である合成画像からコマＡの撮像画像が減算し、図４（ｄ）に示す積算結果を得ればよい。このように、合成指定期間における合成画像（期間指定合成画像）は、蓄積タイミングにおける合成画像の差分処理によって得られる。
The example of FIG. 4A shows that the image signals of the frames A to D are integrated. FIG. 4B shows the integration result (charge accumulation (intermediate 1)) when the frame A is obtained, and FIG. 4C shows the integration result (charge) when the frames A to C are obtained. Accumulation (halfway 2)). Now, assuming that the accumulation timing is the time point when the frame A is imaged and the time point when the frame C is imaged, the captured image of the frame A and the composite image of the integration results of the frames A to C are stored in the
図３（ｃ）の期間指定合成画像は、指標表示５６ｂに対応する蓄積タイミングの合成画像から指標表示５６ａに対応する蓄積タイミングの合成画像を減算することで得られたものである。蓄積合成制御部２３は、ステップＳ１７において、ユーザの指標表示５６等に対する操作によって指定された合成指定期間に対応する各合成画像を蓄積部２５から読み出し、差分処理によって期間指定合成画像を生成して表示制御部２９に出力する。表示制御部２９は、入力された期間指定合成画像を表示部３１に与えて表示画面３１ｂに表示させる。こうして、図３（ｃ）の表示（調整後表示）が得られる（ステップＳ１８）。図３（ｃ）においては、合成指定期間における画像のみが積算されて、飛行機の光の軌跡４８ｃは短く表示されている。
The period-designated composite image shown in FIG. 3C is obtained by subtracting the composite image at the storage timing corresponding to the
ユーザは、調整後表示に満足した場合には、表示画面３１ｂ上に表示されたＯＫボタン表示４７をタッチする。合成撮影制御部２６は、ステップＳ１９においてユーザのＯＫボタン表示４７のタッチ操作を判定しており、ユーザがこのタッチ操作を行うと、処理をステップＳ２０に移行して、期間指定合成画像を記録制御部２７に与えて記録部３３に記録させる。
When the user is satisfied with the display after adjustment, the user touches the OK button display 47 displayed on the
期間指定合成画像の調整後表示の後、所定の期間ユーザのタッチ操作が行われなかった場合には、合成撮影制御部２６は、期間指定合成画像をキャンセルしてステップＳ１５に処理を戻し、合成画像のレックビュー表示を繰り返す。こうして、ユーザは自分が満足する画像が得られるまで、合成指定期間の指定を繰り返すことができる。なお、ユーザは、必ずしも合成指定期間の開始及び終了タイミングの両方を指定する必要は無く、例えば、合成指定期間の開始タイミングのみを指定したい場合には、バー表示５５上の左端から指標表示５６ａまでのスライド操作を行えばよい。即ち、合成指定期間は、合成撮影期間中の任意の期間に設定することが可能である。なお、合成指定期間を指定する操作としては、スライド操作やピンチ操作に限らず、タッチ操作、あるいは筐体１ａに設けられたダイヤルボタン等の操作部３２に対する操作であってもよい。
If the user's touch operation is not performed for a predetermined period after the adjusted display of the period-designated composite image, the composite
このように、本実施の形態においては、合成撮影における各撮影毎に生成される合成画像の全部又は所定の蓄積タイミング毎の合成画像を記憶させており、合成撮影期間終了後において、ユーザ操作に基づく合成指定期間に応じた期間指定合成画像を得ることができる。また、ユーザは、画面上に表示された指標表示を利用したタッチやスライド操作によって合成指定期間を指定することができ、極めて簡単な操作で希望する期間指定合成画像を得ることができる。また、撮影毎に生成される全ての合成画像を記憶させるのではなく、所定の蓄積タイミング毎の合成画像を記憶させることで、合成画像の蓄積に必要な記憶容量を低減させることが可能である。 As described above, in the present embodiment, the entire composite image generated for each photographing in the composite photographing or the composite image for each predetermined accumulation timing is stored, and the user operation is performed after the composite photographing period ends. It is possible to obtain a period-designated synthesized image corresponding to the synthesis-designated period. In addition, the user can designate the composition designation period by touch or slide operation using the index display displayed on the screen, and can obtain a desired period designation composite image by an extremely simple operation. Also, it is possible to reduce the storage capacity required for storing the composite image by storing the composite image at every predetermined storage timing, instead of storing all the composite images generated every time of shooting. .
（第２の実施の形態）
図７は本発明の第２の実施の形態を示すブロック図である。図７において図１と同一の構成要素には同一符号を付して説明を省略する。第１の実施の形態においては、ユーザが指標表示を利用して時間を指定する操作によって、合成指定期間を指定する例を説明した。本実施の形態においては、ユーザが合成画像中の画像を指定する操作によって、合成指定期間を指定する例である。
(Second Embodiment)
FIG. 7 is a block diagram showing a second embodiment of the present invention. In FIG. 7, the same components as those in FIG. In 1st Embodiment, the example which designates a synthetic | combination designation | designated period by operation in which a user designates time using an indicator display was demonstrated. The present embodiment is an example in which a synthesis designation period is designated by an operation in which a user designates an image in a synthesized image.
本実施の形態は軌跡判定部３５を付加した点が第１の実施の形態と異なる。軌跡判定部３５は、画像中において光が増減した向きを示すベクトルを求めて例えば蓄積部２５に記憶させる第１の処理を行う。また、軌跡判定部３５は、画素毎又は所定の領域毎に、蓄積タイミング毎の光の増減の有無を判定し、増減があった座標を蓄積タイミングに対応させて例えば蓄積部２５に記憶させる第２の処理を行う。なお、軌跡判定部３５は、第１又は第２の処理のいずれか一方のみを行うようにしてもよい。
This embodiment is different from the first embodiment in that a
次に、このように構成された実施の形態の動作について図８乃至図１２を参照して説明する。図８は第２の実施の形態におけるカメラ制御を示すフローチャートである。図８において図２と同一の手順には同一符号を付して説明を省略する。図９は第１の処理において採用される調整処理フローを示すフローチャートである。図９は図８のステップＳ１６，Ｓ１７の具体的な処理を示すものである。 Next, the operation of the embodiment configured as described above will be described with reference to FIGS. FIG. 8 is a flowchart showing camera control in the second embodiment. In FIG. 8, the same steps as those in FIG. FIG. 9 is a flowchart showing an adjustment process flow employed in the first process. FIG. 9 shows specific processing in steps S16 and S17 in FIG.
本実施の形態においては図８のカメラ制御が採用される。なお、図８に示すカメラ制御は、ステップＳ１２を省略すると共に、ステップＳ１０の蓄積タイミングの判定前に、軌跡を判定するステップＳ２１を追加した点が図２のフローと異なる。 In the present embodiment, the camera control of FIG. 8 is employed. The camera control shown in FIG. 8 is different from the flow of FIG. 2 in that step S12 is omitted and step S21 for determining a locus is added before the accumulation timing is determined in step S10.
軌跡判定部３５は、ステップＳ２１において、光の変化の状態を判定し、上述した第１，第２の処理を行う。いま、例えば、軌跡判定部３５が、順次取得される合成画像において光が増減した部分の増減の方向ベクトルを求めて記憶させる第１の処理を行ったものとする。
In step S21, the
図１１はこの場合の制御を説明するための合成画像の一例を示す説明図である。図１１は花火が打ち上げられた様子を期間指定合成撮影モードによって撮影して得られた画像６０ａを示しており、レックビュー表示される画像を示している。この画像６０ａは、打ち上げられた花火の画像６１を含む。花火の画像６１は、画像中央の下端を起点として上方に進行し、上方において四方八方に広がって拡散しながら下方に落下する花火による光の軌跡の画像部分６２ｂを含む。
FIG. 11 is an explanatory diagram showing an example of a composite image for explaining the control in this case. FIG. 11 shows an
ここで、ユーザが、合成撮影期間が長すぎて花火の画像６１が広がり過ぎたため、見栄えが悪いと判断したものとする。この場合には、ユーザは、図１１に示すように、指６５ａを不要と判断する画像部分、即ち、光の軌跡の画像部分のうちの先端の画像部分６２ａにタッチし、光の軌跡の画像が進んだ方向の逆方向にスライドさせる操作を行う。図１１では、タッチした指６５ａを破線にて示す符号６５ｂの位置までスライドさせたことを示している。
Here, it is assumed that the user determines that the appearance is not good because the
軌跡判定部３５は、光の軌跡の変化のベクトルを判定して記録している。合成撮影制御部２６は、図９のステップＳ４１において、ユーザのスライド操作の有無を判定し、スライド操作があった場合には、スライド操作の操作方向が光の軌跡の変化のベクトル方向の略逆方向であるか否かを判定する（ステップＳ４２）。逆方向である場合には、ステップＳ４３において、合成撮影制御部２６は、ユーザがタッチした光の軌跡の画像部分が得られる蓄積タイミングの１つ前の蓄積タイミングまでを合成指定期間に設定する。蓄積合成制御部２３は、合成撮影制御部２６に合成指定期間が指定されて、指定された蓄積タイミングの合成画像を用いた期間指定合成画像を得る（ステップＳ４５）。図１２はこの場合の期間指定合成画像６０ｂを示す説明図である。図１２の例では、画像６０ｂは、花火の画像６１から先端の画像部分６２ａが除去されている。
The
また、ユーザのスライド操作の方向と、光の軌跡の変化のベクトルの方向が略一致している場合には、合成撮影制御部２６は、ステップＳ４４において、ユーザがタッチした光の軌跡の画像部分が得られる蓄積タイミングの１つ後の蓄積タイミングまでを合成指定期間に設定する。蓄積合成制御部２３は、合成撮影制御部２６に合成指定期間が指定されて、指定された蓄積タイミングの合成画像を用いた期間指定合成画像を得る（ステップＳ４５）。
If the direction of the user's slide operation and the direction of the light trajectory change vector are substantially the same, the composite
このように、ユーザは調整したい画像部分をタッチし、光の軌跡の変化の方向の逆方向又は変化の方向にスライドさせるという簡単な操作によって、合成指定期間の延長又は短縮が可能である。光の画像部分をスライド操作するという直感的な操作によって、簡単に合成指定期間を指定して希望する合成画像を得ることができる。 In this way, the user can extend or shorten the combination designation period by a simple operation of touching an image portion to be adjusted and sliding it in the direction opposite to or in the direction of change of the light trajectory. A desired composite image can be obtained by simply specifying the composite specification period by an intuitive operation of performing a slide operation on the image portion of light.
合成指定期間の指定方法として図９のフローに代えて図１０のフローを採用してもよい。図１０は第２の処理において採用される調整処理フローを示すフローチャートである。合成撮影制御部２６は、ステップＳ５１においてタッチ操作の有無を判定する。タッチ操作があった場合には、合成撮影制御部２６は、第２の処理によって取得した光の増減があった座標の情報に基づいて、合成指定期間を判定する。即ち、合成撮影制御部２６は、ステップＳ５２において、タッチされた位置が光の画像部分であるか否かを判定する。合成撮影制御部２６は、タッチ位置が光の画像部分であった場合には、当該光の画像を含む合成画像に対応する蓄積タイミングの１つ前の蓄積タイミングまでを合成指定期間とする（ステップＳ５３）。また、合成撮影制御部２６は、タッチ位置が光の画像部分でなかった場合には、当該タッチ位置において光の画像を含む合成画像が存在する場合にはその合成画像に対応する蓄積タイミングまでを合成指定期間とする（ステップＳ５４）。このように図１０のフローを採用した場合でも、ユーザは直感的な操作によって、合成指定期間を指定して、所望の合成画像を得ることができる。
Instead of the flow of FIG. 9, the flow of FIG. 10 may be adopted as a method for specifying the combination designation period. FIG. 10 is a flowchart showing an adjustment process flow employed in the second process. The composite photographing
このように本実施の形態においては、第１の実施の形態と同様の効果が得られる。また、本実施の形態においては、直感的な操作によって合成指定期間を指定することができる。 Thus, in the present embodiment, the same effect as that of the first embodiment can be obtained. In the present embodiment, the composition designation period can be designated by an intuitive operation.
（第３の実施の形態）
図１３及び図１４は本発明の第３の実施の形態において採用される動作フローを示すフローチャートである。また、図１５Ａ乃至図１５Ｃは第３の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第２の実施の形態と同様である。本実施の形態は、意図しない光が撮影されたことをユーザに通知すると共に、意図しない光を自動的に削除可能としたものである。
(Third embodiment)
13 and 14 are flowcharts showing an operation flow employed in the third embodiment of the present invention. FIGS. 15A to 15C are explanatory diagrams for explaining the third embodiment. The hardware configuration in this embodiment is the same as that in the second embodiment. In this embodiment, the user is notified that unintended light has been photographed, and unintended light can be automatically deleted.
バルブ撮影やコンポジット撮影の対象となるシーンは暗いシーンが多く、撮影時間は比較的長い。このような撮影では、意図しない光が撮影されてしまうことがある。例えば、星の移動の軌跡を撮影するために、夜間の天体を長時間撮影する場合において、飛行機等の移動に伴う光の軌跡が撮影されてしまうことがある。本実施の形態では、このような意図しない光を検出して、合成撮影期間終了後に、簡単な操作で意図しない光に対応した撮影期間を除去した合成指定期間を設定して、所望の期間指定合成画像を得るようにしたものである。 Many scenes that are subject to bulb photography or composite photography are dark scenes, and the photographing time is relatively long. In such shooting, unintended light may be shot. For example, when shooting a night celestial object for a long time in order to capture the trajectory of a star, a light trajectory accompanying the movement of an airplane or the like may be captured. In the present embodiment, such unintended light is detected, and after the composite shooting period, a composite designation period is set by removing a shooting period corresponding to the unintended light by a simple operation, and a desired period designation is performed. A composite image is obtained.
本実施の形態においても図８のカメラ制御が採用される。なお、本実施の形態におけるカメラ制御は、ステップＳ１６の調整操作の判定及びステップＳ１７の合成指定期間の判定方法が第２の実施の形態と異なる。また、本実施の形態においては、図８のステップＳ１３では、図１３の通知処理フローが採用される。図１４は本実施の形態において採用される調整処理フローを示すフローチャートである。図１４は図２のステップＳ１６，Ｓ１７の処理に代えて採用されるものである。 The camera control of FIG. 8 is also adopted in this embodiment. Note that the camera control in the present embodiment differs from the second embodiment in the adjustment operation determination in step S16 and the combination designation period determination method in step S17. In the present embodiment, the notification process flow of FIG. 13 is employed in step S13 of FIG. FIG. 14 is a flowchart showing an adjustment process flow employed in the present embodiment. FIG. 14 is employed instead of the processing of steps S16 and S17 of FIG.
なお、合成画像を蓄積する周期によっては、図１３の通知処理フローをステップＳ１０の蓄積タイミングの判定処理の前のタイミングで実施した方がよいことも考えられる。また、合成撮影制御部２６は、ステップＳ２１の軌跡判定処理において、軌跡の変化の度合いに応じて、合成画像を蓄積する周期を決定して、蓄積タイミングを設定するようにしてもよい。例えば、合成撮影制御部２６は、軌跡の変化の速度が最も早い光の変化に合わせて蓄積タイミングを設定する。
Note that, depending on the cycle in which the composite image is accumulated, it is conceivable that the notification process flow of FIG. 13 may be performed at a timing before the accumulation timing determination process in step S10. Further, in the trajectory determination process in step S21, the composite photographing
図１３のステップＳ６１において、軌跡判定部３５は、各画素又は所定の領域毎に光点位置を判定する。軌跡判定部３５は、ステップＳ６２において所定時間経過したか否かを判定し、所定時間経過するまで交点位置の判定を繰り返す。軌跡判定部３５は、ステップＳ６３において交点位置の複数の判定結果に基づいて、交点位置が均等に且つ等速で変化しているか否かを判定する。軌跡判定部３５は、光点位置が均等且つ等速で変化していないと判定した場合には、当該光点が意図しない飛行機等の移動の軌跡によるものと判定して処理をステップＳ６４に移行する。
In step S61 of FIG. 13, the
軌跡判定部３５は、判定結果を合成撮影制御部２６に出力する。合成撮影制御部２６は、軌跡判定部３５から交点位置が均等且つ等速で変化していないことを示す判定結果が与えられると、ユーザに通知を行う（ステップＳ６４）。例えば、合成撮影制御部２６は、通信部３０を制御して、スマートフォン等の外部機器に、意図しない光点が撮影されていることを示す情報を通知させる。また、合成撮影制御部２６は、外部機器に通知を行う場合には、表示画面３１ｂ上に通知を行ったことを示すメッセージ表示を表示させてもよい。
The
軌跡判定部３５は、ステップＳ６３において、全ての交点位置が均等且つ等速で変化していると判定した場合には、光点が星の移動の軌跡によるものと判定して、処理をステップＳ６５に移行する。軌跡判定部３５は、ステップＳ６５において、既に通知を行っているか否かを判定する。既に通知を行っている場合には、意図しない光点の検出後において当該光点が存在しなくなったものと判定して、対応する蓄積タイミングを記憶する（ステップＳ６６）。
If the
いま、図１５Ａ乃至図１５Ｃに示す撮影が行われているものとする。図１５Ａ〜図１５Ｃは、夜の天体を期間指定合成撮影モードによって撮影して得られた画像を示しており、時間の経過と共に期間指定合成画像が画像７０ａ、７０ｂ、７０ｃと変化する様子を示している。画像７０ａには、星の移動による軌跡の画像７１ａが含まれており、画像７１ａの長さは比較的短い。画像７０ｂは、星の移動による軌跡の画像７１ｂを含み、画像７１ｂの長さは画像７１ａよりも長い。更に、画像７０ｃは、星の移動による軌跡の画像７１ｃを含み、画像７１ｃの長さは画像７１ｂよりも長くなっている。
Assume that the shooting shown in FIGS. 15A to 15C is performed. FIG. 15A to FIG. 15C show images obtained by photographing night celestial bodies in the period designated composite photography mode, and show how the period designated composite image changes to
しかし、画像７０ｃには、撮影範囲中を飛行機が移動したことによって、移動の軌跡の画像７２が写されている。制御部２０は、図１３のフローによって意図しない光が撮影されたことを示す通知を行っており、この通知を行ったことを示す表示７３が画像７０ｃ中に表示されている。
However, in the
通知を確認したり、画像７０ｃを見たユーザが飛行機の移動の軌跡の画像７２を除去しようとするものとする。この場合には、ユーザは操作部３２を操作して意図しない光による画像を除去する指示を与える。合成撮影制御部２６は、図１４のステップＳ７１において通知があったか否かを判定し、ステップＳ７２においてユーザの削除操作があったか否かを判定する。削除操作があった場合には、合成撮影制御部２６は、ステップＳ７３において、通知前の蓄積タイミングから図１３のステップＳ６６において記憶された蓄積タイミングまでの期間を除く期間を合成指定期間に設定する。合成撮影制御部２６は、ステップＳ４５において、蓄積合成制御部２３を制御して、合成指定期間の撮像画像に基づいて合成画像を生成させる。
It is assumed that the user confirming the notification or viewing the
例えば、蓄積合成制御部２３は、記憶された蓄積タイミングの合成画像と通知前の蓄積タイミングの合成画像との差分から、意図しない光を含む撮像画像の積算分を求めることができ、この差分を合成撮影期間全体の合成画像から減算することで、意図しない光の影響を受けない合成画像を得ることができる。
For example, the accumulation
また、例えば、ユーザが事前に意図しない光による画像を積算しない旨の設定を行っている場合には、自動的に当該撮像画像を積算しないようにすることもできる。例えば、通知後の蓄積タイミングでは、通知前の蓄積タイミングで記憶した合成画像を更新することなく用い、意図しない光が撮影されなくなった後の蓄積タイミングから、合成画像を更新するようにしてもよい。 Further, for example, when a setting is made so that images by light not intended by the user are not accumulated in advance, the captured images may not be automatically accumulated. For example, at the storage timing after notification, the composite image stored at the storage timing before notification may be used without updating, and the composite image may be updated from the storage timing after unintended light is no longer photographed. .
このように本実施の形態においては、簡単な操作で意図しない光が含まれる期間を除く合成指定期間を指定して、ユーザが望む画像を得ることができる。 As described above, in the present embodiment, an image desired by the user can be obtained by designating a synthesis designation period excluding a period in which unintended light is included by a simple operation.
（第４の実施の形態）
図１６は本発明の第４の実施の形態において採用されるカメラ制御を示すフローチャートである。図１７は図１６中の予約処理の具体例を示すフローチャートである。また、図１８Ａ及び図１８Ｂは第４の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第２の実施の形態と同様である。本実施の形態は、合成指定期間を事前に予約する例を示している。
(Fourth embodiment)
FIG. 16 is a flowchart showing camera control employed in the fourth embodiment of the present invention. FIG. 17 is a flowchart showing a specific example of the reservation process in FIG. FIGS. 18A and 18B are explanatory diagrams for explaining the fourth embodiment. The hardware configuration in this embodiment is the same as that in the second embodiment. The present embodiment shows an example in which a combination designation period is reserved in advance.
バルブ撮影やコンポジット撮影は、比較的長時間となることが多い。このため、合成撮影期間中、ユーザが撮影を常時監視しているとは限らない。このため、ユーザが希望する期間を超えて撮影が行われてしまうこともある。そこで、本実施の形態においては、ユーザが設定した合成指定期間に到達したか否かを判定して、撮影の停止や通知等を行うものである。 Bulb photography and composite photography often take a relatively long time. For this reason, the user does not always monitor shooting during the composite shooting period. For this reason, photographing may be performed beyond the period desired by the user. Therefore, in the present embodiment, it is determined whether or not the combination designation period set by the user has been reached, and shooting is stopped or notified.
本実施の形態においては図１６のカメラ制御が採用される。図１６のカメラ制御は、ステップＳ１３の外部機器通信処理を省略し、ステップＳ２２において予約処理を追加した点が図８と異なり、予約処理において通知も行うようになっている。 In the present embodiment, the camera control of FIG. 16 is employed. The camera control in FIG. 16 is different from FIG. 8 in that the external device communication process in step S13 is omitted and a reservation process is added in step S22, and notification is also performed in the reservation process.
図１８Ａ及び図１８Ｂは夜の天体を期間指定合成撮影モードによって撮影して得られる画像を示しており、時間の経過と共に合成画像が画像８０ａから８０ｂに変化する様子を示している。画像８０ａには、星の移動による軌跡の画像８１ａが含まれている。星の軌跡の画像８１ａは、時間の経過と共に延びる。ここで、ユーザは、星の軌跡の画像がある地点まで延びたら、合成撮影を停止させることを希望するものとする。この場合には、ユーザは指８５ａで所定の光点をタッチし、光点が移動すると考えられる方向（矢印８６の方向）に指を移動させて、星の軌跡の画像の延びを停止させたい位置まで指をスライドさせる。図１８Ａでは、指８５ｂの位置で停止させるスライド操作が行われたことを示している。
FIG. 18A and FIG. 18B show images obtained by shooting night celestial bodies in the period-designated composite shooting mode, and show how the composite image changes from
ユーザによるこのような合成撮影の停止タイミングの予約処理は、図１６のステップＳ２２において検出される。合成撮影制御部２６は、図１７のステップＳ８１において、ユーザのタッチを検出する。合成撮影制御部２６は、ユーザのタッチを検出すると、処理をステップＳ８２に移行して、タッチ位置が光点であるか否かを判定する。ユーザのタッチ位置が光点である場合には、合成撮影制御部２６は、ユーザのスライド操作の終点位置を検出し、検出結果を例えば蓄積部２５に与えて記憶させる（ステップＳ８３）。
Such a reservation processing for the stop timing of the composite shooting by the user is detected in step S22 of FIG. The composite photographing
次に、合成撮影制御部２６は、ステップＳ８４において、ユーザがタッチした光点に対応する光の軌跡が、ユーザのスライド操作の終点位置に対応する位置近傍に到達したか否かを判定する。合成撮影制御部２６は、到達したものと判定した場合には、処理をステップＳ８５に移行して、ユーザに通知を行う。例えば、合成撮影制御部２６は、通信部３０を制御して、スマートフォン等の外部機器に、ユーザが指定した終点位置に光点の軌跡が到達したことを示す情報を通知させる。また、合成撮影制御部２６は、外部機器に通知を行う場合には、表示画面３１ｂ上に通知を行ったことを示すメッセージ表示を表示させてもよい。合成撮影制御部２６は、ステップＳ８５において、合成指定期間の終了を設定し、合成撮影を停止する。
Next, in step S84, the composite photographing
図１８Ｂはこの状態を示している。図１８Ｂに示す画像８０ｂは、時間の経過によって星の軌跡の画像８１ａ（図１８Ａ）が延びて画像８１ｂに変化したことを示している。画像８１ｂの変化の終点位置は、ユーザのスライド操作の終点位置に対応しており、画像８１ｂの終点位置に対応する光点がユーザの指定した終点位置に到達することによって、図１８Ｂの通知表示８３が表示され、ユーザに終了位置まで撮影が行われたことが通知される。
FIG. 18B shows this state. An
なお、図１７では、合成撮影制御部２６は、光点がユーザがスライド操作によって指定した終了位置に到達すると、合成撮影を停止させる例を説明したが、合成撮影制御部２６は、単に通知のみを行い、合成撮影を継続するようにしてもよい。
In FIG. 17, the example has been described in which the composite
このように本実施の形態においては、簡単な操作で合成指定期間を事前に指定して、ユーザは希望する画像を得ることができる。 As described above, in the present embodiment, the user can obtain a desired image by specifying the composition specifying period in advance with a simple operation.
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。ここでは特に、暗いシーンで、ゆっくり露光する例を説明したが、短時間の露光で、それを足したり引いたりして画像を得る場合にも利用できる。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、内視鏡や顕微鏡に適用することで、被検体中の不要な光による画像を除去して観察しやすい画像を得ることも可能である。検査やチェックのための画像をリアルタイムの観察ではなく、記録によって得ることは、例えば、非貫通型潜望鏡のような、極端に異なる分野においても行われることである。この場合、潜望鏡なので波の影響などを受ける場合があるが、本発明と同様の考え方で、そうした障害物の部分を削除して観察することも出来る。 Furthermore, in each embodiment of the present invention, a digital camera has been described as an apparatus for photographing. However, the camera may be a lens type camera, a digital single-lens reflex camera, or a compact digital camera, a video camera, A camera for moving images such as a movie camera may be used, and a camera built in a personal digital assistant (PDA) such as a mobile phone or a smartphone may of course be used. Here, an example in which exposure is performed slowly in a dark scene has been described, but the present invention can also be used when an image is obtained by adding or subtracting the exposure with a short exposure. In addition, it may be an industrial or medical optical device such as an endoscope or a microscope, such as a surveillance camera, an on-vehicle camera, a stationary camera, for example, a camera attached to a television receiver or a personal computer. There may be. For example, by applying to an endoscope or a microscope, it is possible to remove an image due to unnecessary light in the subject and obtain an image that is easy to observe. Obtaining an image for inspection or check by recording instead of real-time observation is performed in extremely different fields such as a non-penetrating periscope. In this case, since it is a periscope, it may be affected by waves, etc., but it is also possible to observe by removing such an obstacle part in the same way as the present invention.
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。例えば、各実施の形態においては、合成指定期間に対応した期間指定合成画像を生成するための１種類の調整処理の説明のみを行ったが、各実施の形態における調整処理を組み合わせて用いるようにしてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. For example, in each embodiment, only one type of adjustment process for generating a period-designated composite image corresponding to a composition-designated period has been described. However, the adjustment processes in each embodiment are used in combination. May be.
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。 It should be noted that even if the operation flow in the claims, the description, and the drawings is described using “first,” “next,” etc. for convenience, it is essential to carry out in this order. It doesn't mean. In addition, it goes without saying that the steps constituting these operation flows can be omitted as appropriate for portions that do not affect the essence of the invention.
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮像装置を実現することができる。 Of the technologies described here, many of the controls and functions mainly described in the flowcharts can be set by a program, and the above-described controls and functions can be realized by a computer reading and executing the program. it can. As a computer program product, the program may be recorded or stored in whole or in part on a portable medium such as a non-volatile memory such as a flexible disk or a CD-ROM, or a storage medium such as a hard disk or a volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or communication line. The user can easily realize the imaging apparatus according to the present embodiment by downloading the program via a communication network and installing the program on a computer or installing the program from a recording medium on the computer.
１…撮像装置、１０…撮像部、２０…制御部、２１…画像取得部、２２…撮像制御部、２３…蓄積合成制御部、２５…蓄積部、２６…合成撮影制御部、２７…記録制御部、２８…操作判定部、２９…表示制御部、３０…通信部、３１…表示部、３１ａ…タッチパネル、３２…操作部、３３…記録部、３５…軌跡判定部。
DESCRIPTION OF
Claims (13)
上記複数の撮像画像を蓄積するための蓄積制御部と、
上記第１の期間内の指定タイミングを指定する操作を受け付ける操作判定部と、
上記複数の撮像画像のうち上記指定タイミングに応じた合成指定期間を設定する合成撮影制御部と、
上記合成撮影制御部によって設定された前記合成指定期間に対応する撮像画像を合成した合成画像を得る合成部と、
を具備したことを特徴とする撮像装置。 An imaging unit that repeatedly captures an image of a subject over a first period and outputs a plurality of combined captured images;
An accumulation control unit for accumulating the plurality of captured images;
An operation determination unit that receives an operation of specifying a specified timing within the first period;
A composite photographing control unit that sets a composite designated period according to the designated timing among the plurality of captured images;
A synthesizing unit that obtains a synthesized image obtained by synthesizing the captured images corresponding to the synthesis designated period set by the synthetic imaging control unit;
An imaging apparatus comprising:
上記合成部は、上記蓄積制御部によって蓄積された合成画像を用いて上記合成指定期間に応じた合成画像を得る
ことを特徴とする請求項１に記載の撮像装置。 The accumulation control unit accumulates a composite image of a plurality of captured images obtained by the imaging unit at one or more accumulation timings in the first period,
The imaging apparatus according to claim 1, wherein the synthesis unit obtains a synthesized image corresponding to the synthesis designation period using the synthesized image accumulated by the accumulation control unit.
ことを特徴とする請求項１又は２に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the designated timing is a first timing and a second timing that are different from each other.
ことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 3, wherein the operation determination unit receives an operation for specifying the specified timing by an operation on a bar display indicating the first period.
ことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。 The operation determining unit receives an operation of specifying the specified timing by an operation on a display based on a composite image of a plurality of captured images obtained by the imaging unit in the first period. The imaging device according to any one of 1 to 3.
ことを特徴とする請求項５に記載の撮像装置。 The imaging apparatus according to claim 5, wherein the composite shooting control unit sets the composite designation period based on a direction of change of an image being displayed based on the composite image and a direction of a slide operation. .
ことを特徴とする請求項５に記載の撮像装置。 The imaging apparatus according to claim 5, wherein the composite shooting control unit sets the composite designation period based on a direction of change of an image being displayed based on the composite image and a position of a touch operation. .
上記合成撮影制御部は、上記軌跡判定部の判定結果に基づいて意図しない軌跡の変化が生じた期間を求めて、上記合成指定期間を設定する
ことを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。 A trajectory determination unit for obtaining a trajectory of change of each part in the series of the plurality of captured images,
The composite photography control unit obtains a period during which an unintended trajectory change has occurred based on a determination result of the trajectory determination unit, and sets the composite designation period. The imaging device according to one.
を具備したことを特徴とする請求項８に記載の撮像装置。 The imaging apparatus according to claim 8, further comprising a notification unit configured to notify an external device when an unintended track change occurs based on a determination result of the track determination unit.
ことを特徴とする請求項１乃至９のいずれか１つに記載の撮像装置。 The composite shooting control unit sets the combination designation period based on a determination result of the operation determination unit before the first period elapses from the start of shooting of the imaging unit. The imaging device according to any one of 1 to 9.
ことを特徴とする請求項１０に記載の撮像装置。 The imaging apparatus according to claim 10, wherein the composite shooting control unit sets the composite designation period based on a change in an image being displayed based on the composite image and an end point position of a slide operation.
上記複数の撮像画像を蓄積するための蓄積制御ステップと、
上記第１の期間内の指定タイミングを指定する操作を受け付ける操作判定ステップと、
上記複数の撮像画像のうち上記指定タイミングに応じた合成指定期間を設定する合成撮影制御ステップと、
上記合成撮影制御ステップにおいて設定された前記合成指定期間に対応する撮像画像を合成した合成画像を得る合成ステップと、
を具備したことを特徴とする合成撮影方法。 An imaging step of repeatedly capturing an image of a subject over a first period and outputting a series of captured images for synthesis;
An accumulation control step for accumulating the plurality of captured images;
An operation determination step for accepting an operation for designating a designated timing within the first period;
A composite photographing control step for setting a composite designated period according to the designated timing among the plurality of captured images;
A synthesis step of obtaining a composite image obtained by combining the captured images corresponding to the composite designation period set in the composite photographing control step;
A composite photographing method characterized by comprising:
第１の期間に亘り被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、
上記複数の撮像画像を蓄積するための蓄積制御ステップと、
上記第１の期間内の指定タイミングを指定する操作を受け付ける操作判定ステップと、
上記複数の撮像画像のうち上記指定タイミングに応じた合成指定期間を設定する合成撮影制御ステップと、
上記合成撮影制御ステップにおいて設定された前記合成指定期間に対応する撮像画像を合成した合成画像を得る合成ステップと、
を実行させるための合成撮影プログラム。 On the computer,
An imaging step of repeatedly capturing an image of a subject over a first period and outputting a series of captured images for synthesis;
An accumulation control step for accumulating the plurality of captured images;
An operation determination step for accepting an operation for designating a designated timing within the first period;
A composite photographing control step for setting a composite designated period according to the designated timing among the plurality of captured images;
A synthesis step of obtaining a composite image obtained by combining the captured images corresponding to the composite designation period set in the composite photographing control step;
A composite shooting program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015079304A JP6659230B2 (en) | 2015-04-08 | 2015-04-08 | Imaging apparatus, composite photographing method, and composite photographing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015079304A JP6659230B2 (en) | 2015-04-08 | 2015-04-08 | Imaging apparatus, composite photographing method, and composite photographing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016201628A true JP2016201628A (en) | 2016-12-01 |
| JP6659230B2 JP6659230B2 (en) | 2020-03-04 |
Family
ID=57424546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015079304A Active JP6659230B2 (en) | 2015-04-08 | 2015-04-08 | Imaging apparatus, composite photographing method, and composite photographing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6659230B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009232383A (en) * | 2008-03-25 | 2009-10-08 | Sony Corp | Imaging apparatus and imaging method |
-
2015
- 2015-04-08 JP JP2015079304A patent/JP6659230B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009232383A (en) * | 2008-03-25 | 2009-10-08 | Sony Corp | Imaging apparatus and imaging method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6659230B2 (en) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5895409B2 (en) | Imaging device | |
| JP4884417B2 (en) | Portable electronic device and control method thereof | |
| US9888182B2 (en) | Display apparatus | |
| JP5936183B2 (en) | Photography equipment | |
| JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
| KR20120119794A (en) | Method and apparatus for photographing using special effect | |
| JP6031670B2 (en) | Imaging device | |
| JP2006067452A (en) | Video recording apparatus and electronic camera | |
| JP2009272840A (en) | Image recording/reproducing device, image recording/reproducing method, image processing device, and image processing method | |
| JP6643036B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
| JP2010004113A (en) | Imaging apparatus, imaging method, image processing device and image processing method | |
| KR20120002834A (en) | Image pickup device for providing a reference image and a reference image providing method thereof | |
| JP2019022026A (en) | Imaging device | |
| KR20110020518A (en) | Shaking Image Judgment Method and Device Using Auto Focusing | |
| CN104144285B (en) | Photographing device, photographing assistance method, display device, and display method | |
| JP2014053863A (en) | Photographing apparatus | |
| JP2017005626A (en) | Image effect processing support device, image effect processing support method, and image effect processing support program | |
| WO2018116824A1 (en) | Control device, control method, and program | |
| JP2016167767A (en) | Imaging apparatus, synthetic imaging method and synthetic imaging program | |
| KR20100093955A (en) | Method of magnifying the image in digital image processing device | |
| JP2007336522A (en) | Imaging apparatus | |
| JP6659230B2 (en) | Imaging apparatus, composite photographing method, and composite photographing program | |
| JP2013115656A (en) | Photographing apparatus | |
| JP5612934B2 (en) | Portable device and playback display method | |
| JP2016131378A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190418 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191212 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20191223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200206 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6659230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |