JP2012124601A - Imaging apparatus and imaging program - Google Patents

Imaging apparatus and imaging program Download PDF

Info

Publication number
JP2012124601A
JP2012124601A JP2010271863A JP2010271863A JP2012124601A JP 2012124601 A JP2012124601 A JP 2012124601A JP 2010271863 A JP2010271863 A JP 2010271863A JP 2010271863 A JP2010271863 A JP 2010271863A JP 2012124601 A JP2012124601 A JP 2012124601A
Authority
JP
Japan
Prior art keywords
unit
odor
visual effect
visual
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010271863A
Other languages
Japanese (ja)
Inventor
Koichi Shintani
浩一 新谷
Yoko Saito
陽子 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2010271863A priority Critical patent/JP2012124601A/en
Publication of JP2012124601A publication Critical patent/JP2012124601A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus and an imaging program capable of visualizing a smell which a user felt when imaging a subject.SOLUTION: An imaging apparatus 1 which images a subject and generates electronic image data comprises: a visual effect processing part 111b which adds a visual effect to the image data; a smell detection part 4 which detects the smell surrounding the imaging apparatus 1; a visual information conversion part 112 which converts the smell detected by the smell detection part 4 to visual information; and a visual effect setting part 113 which sets the visual effect which is added by the visual effect processing part, on the basis of the visual information converted by the visual information conversion part 112.

Description

本発明は、被写体を撮像して電子的な画像データを生成する撮像装置および撮像プログラムに関する。   The present invention relates to an imaging apparatus and an imaging program for imaging a subject and generating electronic image data.

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、被写体を撮像した画像データに撮影時の匂い情報を対応付けて記録することができる技術が知られている（特許文献１および特許文献２参照）。この技術では、撮像装置に匂いセンサを設け、この匂いセンサが撮影時に検出した匂い情報を画像データに対応付けて記録させている。さらに、撮像した画像データを表示モニタに表示させる際に画像データに対応付けて記録された匂い情報と撮像装置に設けられた複数の芳香剤とを用いて撮影時の匂いを再現している。   In recent years, in an imaging apparatus such as a digital camera or a digital video camera, there is known a technique capable of recording image data obtained by imaging a subject in association with odor information at the time of shooting (see Patent Document 1 and Patent Document 2). ). In this technique, an odor sensor is provided in an imaging apparatus, and odor information detected by the odor sensor at the time of photographing is recorded in association with image data. Furthermore, when the captured image data is displayed on the display monitor, the odor at the time of shooting is reproduced using the odor information recorded in association with the image data and the plurality of fragrances provided in the imaging device.

また、匂いセンサが検出した匂い情報に応じて、表示モニタに表示させるゲームキャラクターの表情を変化させるものが知られている（特許文献３参照）。   In addition, there is known one that changes the facial expression of a game character displayed on a display monitor in accordance with odor information detected by an odor sensor (see Patent Document 3).

特開２０１０−８７９４０号公報JP 2010-87940 A 特開２０１０−１３０３８８号公報JP 2010-130388 A 特開２００３−２９０５４６号公報JP 2003-290546 A

ところで、従来の撮像装置では、撮影時の匂いを再現することにより、ユーザに撮影時の記憶を呼び起していた。しかしながら、匂いの再現のみでは、ユーザにとって十分に満足し得るものではなかった。このため、ユーザが撮影時に体感した匂いを可視化する技術が求められていた。   By the way, in the conventional imaging apparatus, the memory at the time of imaging | photography was called to the user by reproducing the smell at the time of imaging | photography. However, the reproduction of odor alone has not been sufficient for the user. For this reason, there has been a demand for a technique for visualizing the scent experienced by the user during shooting.

本発明は、上記に鑑みてなされたものであって、撮影時にユーザが体感した匂いを可視化することができる撮像装置および撮像プログラムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an imaging apparatus and an imaging program capable of visualizing a scent experienced by a user during shooting.

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像して電子的な画像データを生成する撮像装置であって、前記画像データに視覚効果を付加する視覚効果処理部と、当該撮像装置における周囲の匂いを検出する匂い検出部と、前記匂い検出部が検出した前記匂いを視覚情報に変換する視覚情報変換部と、前記視覚情報変換部が変換した前記視覚情報に基づいて、前記視覚効果処理部が付加する前記視覚効果を設定する視覚効果設定部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention is an imaging apparatus that images a subject and generates electronic image data, and adds a visual effect to the image data. A visual effect processing unit, an odor detection unit for detecting an odor around the imaging apparatus, a visual information conversion unit for converting the odor detected by the odor detection unit into visual information, and the visual information conversion unit And a visual effect setting unit that sets the visual effect added by the visual effect processing unit based on the visual information.

また、本発明にかかる撮像装置は、上記発明において、前記画像データに特殊効果処理を行う特殊効果処理部をさらに備え、前記視覚効果処理部は、前記特殊効果処理部が前記特殊効果処理を行った前記画像データに対して前記視覚効果を付加することを特徴とする。   The imaging apparatus according to the present invention may further include a special effect processing unit that performs special effect processing on the image data, and the visual effect processing unit includes the special effect processing unit that performs the special effect processing. The visual effect is added to the image data.

また、本発明にかかる撮像装置は、上記発明において、前記視覚情報は、色空間の変数であることを特徴とする。   The imaging apparatus according to the present invention is characterized in that, in the above invention, the visual information is a color space variable.

また、本発明にかかる撮像装置は、上記発明において、前記匂い検出部は、検出する匂いの成分がそれぞれ異なる複数の匂いセンサを有し、前記視覚情報変換部は、前記複数の匂いセンサがそれぞれ検出した匂いを、前記視覚情報としての互いに独立な色空間の変数に変換し、前記視覚効果設定部は、前記色空間の変数を用いて前記視覚効果としての色を設定することを特徴とする。   In the imaging device according to the present invention, in the above invention, the odor detection unit includes a plurality of odor sensors having different odor components to be detected, and the visual information conversion unit includes the plurality of odor sensors. The detected odor is converted into a variable in an independent color space as the visual information, and the visual effect setting unit sets a color as the visual effect using the variable in the color space .

また、本発明にかかる撮像装置は、上記発明において、複数の撮影モードの中からいずれかの撮影モードを設定する撮影モード設定部をさらに備え、前記視覚効果設定部は、前記撮影モード設定部が設定した前記撮影モードに基づいて、前記画像データに対応する画像内における前記視覚効果の表示領域を設定することを特徴とする。   The imaging apparatus according to the present invention may further include a shooting mode setting unit that sets one of a plurality of shooting modes in the above invention, and the visual effect setting unit includes the shooting mode setting unit. The visual effect display area in the image corresponding to the image data is set based on the set shooting mode.

また、本発明にかかる撮像装置は、上記発明において、前記画像データに含まれる前記被写体の顔を検出する顔検出部と、複数の匂い成分がそれぞれ設定された匂い情報を記憶する匂い情報記憶部と、をさらに備え、前記視覚情報変換部は、前記匂い情報記憶部が記憶する前記匂い情報を参照して、前記匂い検出部が検出する匂いを匂いの成分に変換し、前記視覚効果設定部は、前記匂い成分に基づいて、前記顔検出部が検出した前記被写体の顔に付加する前記視覚効果を設定することを特徴とする。   In the image pickup apparatus according to the present invention, in the above invention, a face detection unit that detects the face of the subject included in the image data, and an odor information storage unit that stores odor information in which a plurality of odor components are respectively set. The visual information conversion unit refers to the odor information stored in the odor information storage unit, converts the odor detected by the odor detection unit into an odor component, and the visual effect setting unit Is configured to set the visual effect to be added to the face of the subject detected by the face detection unit based on the odor component.

また、本発明にかかる撮像装置は、上記発明において、前記視覚効果処理部が前記画像データに付加する前記視覚効果に関する情報の入力を受け付ける操作入力部と、前記操作入力が入力を受け付けた情報に応じた前記視覚効果が前記匂い情報を使用する視覚効果か否かを判定する視覚効果判定部をさらに備え、前記匂い検出部は、前記視覚効果判定部が前記視覚効果に前記匂いを使用すると判定した場合、前記匂いを検出することを特徴とする。   In the imaging device according to the present invention, in the above invention, an operation input unit that receives input of information related to the visual effect that the visual effect processing unit adds to the image data, and information that the operation input receives input. A visual effect determination unit that determines whether the corresponding visual effect is a visual effect that uses the odor information; and the odor detection unit determines that the visual effect determination unit uses the odor for the visual effect. In this case, the odor is detected.

また、本発明にかかる撮像装置は、上記発明において、当該撮像装置の停止時に当該撮像装置の前面を覆う初期位置と当該撮像装置の起動時に前記前面から移動した起動位置との間でスライド可能なバリア部をさらに備え、前記匂い検出部は、前記バリア部が前記初期位置のときに被覆される一方、前記バリア部が前記起動位置のときに露出されることを特徴とする。   The imaging device according to the present invention is slidable between an initial position covering the front surface of the imaging device when the imaging device is stopped and an activation position moved from the front surface when the imaging device is activated. The odor detection unit is further covered when the barrier unit is at the initial position, and is exposed when the barrier unit is at the activation position.

また、本発明にかかる撮像装置は、上記発明において、前記匂い検出部は、当該撮像装置に着脱自在であることを特徴とする。   Moreover, the imaging apparatus according to the present invention is characterized in that, in the above invention, the odor detection unit is detachable from the imaging apparatus.

また、本発明にかかる撮像装置は、上記発明において、前記画像データに対応する画像を表示する表示部をさらに備えたことを特徴とする。   Moreover, the imaging device according to the present invention is characterized in that in the above-mentioned invention, the imaging device further includes a display unit for displaying an image corresponding to the image data.

また、本発明にかかる撮像プログラムは、被写体を撮像して電子的な画像データを生成する画像を表示可能な撮像装置に、前記画像データに視覚効果を付加する視覚効果処理ステップと、当該撮像装置における周囲の匂いを検出する匂い検出ステップと、前記匂い検出ステップで検出した前記匂いを視覚情報に変換する視覚情報変換ステップと、前記視覚情報変換ステップで変換した前記視覚情報に基づいて、前記視覚効果処理ステップで付加させる前記視覚効果を設定する視覚効果設定ステップと、を実行させることを特徴とする。   Further, an imaging program according to the present invention includes a visual effect processing step of adding a visual effect to the image data on an imaging apparatus capable of displaying an image that images a subject and generates electronic image data, and the imaging apparatus. The odor detection step for detecting the odor of the surroundings, the visual information conversion step for converting the odor detected in the odor detection step into visual information, and the visual information based on the visual information converted in the visual information conversion step. A visual effect setting step of setting the visual effect to be added in the effect processing step.

本発明によれば、視覚情報変換部が匂い検出部によって検出された撮像装置における周囲の匂いを視覚情報に変換し、視覚効果設定部が視覚情報変換部によって変換された視覚情報に基づいて、視覚効果処理部が付加する視覚効果を設定する。この結果、撮影時にユーザが体感した匂いを画像として可視化することができる。   According to the present invention, the visual information conversion unit converts the ambient odor in the imaging device detected by the odor detection unit into visual information, and the visual effect setting unit is based on the visual information converted by the visual information conversion unit, The visual effect added by the visual effect processing unit is set. As a result, the scent experienced by the user at the time of shooting can be visualized as an image.

図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 図２は、本発明の一実施の形態にかかる撮像装置の被写体に面する側の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of the imaging device according to the embodiment of the present invention on the side facing the subject. 図３は、本発明の一実施の形態にかかる撮像装置のユーザに面する側の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of a side facing the user of the imaging apparatus according to the embodiment of the present invention. 図４は、本実施の形態にかかる匂い検出部が有する匂いセンサの概略構成を示す模式図である。FIG. 4 is a schematic diagram illustrating a schematic configuration of an odor sensor included in the odor detection unit according to the present embodiment. 図５は、本実施の形態にかかる撮像装置の視覚情報記憶部が記憶する視覚効果情報テーブルの一例を示す図である。FIG. 5 is a diagram illustrating an example of the visual effect information table stored in the visual information storage unit of the imaging apparatus according to the present embodiment. 図６は、本実施の形態にかかる撮像装置が行う処理の概要を示すフローチャートである。FIG. 6 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to the present embodiment. 図７は、本実施の形態にかかる撮像装置の各匂いセンサが検出した匂いの濃度と時間変化との関係を示す図である。FIG. 7 is a diagram illustrating the relationship between the odor concentration detected by each odor sensor of the imaging apparatus according to the present embodiment and the change over time. 図８は、本実施の形態にかかる撮像装置の視覚情報変換部が各匂いセンサによって検出された濃度に応じたＲＧＢに変換する変換方法を説明する図である。FIG. 8 is a diagram for explaining a conversion method in which the visual information conversion unit of the imaging apparatus according to the present embodiment converts to RGB corresponding to the density detected by each odor sensor. 図９は、本実施の形態にかかる撮像装置の視覚情報変換部が各匂いセンサによって検出された濃度に応じたＲＧＢに変換する変換方法を説明する図である。FIG. 9 is a diagram for explaining a conversion method in which the visual information conversion unit of the imaging apparatus according to the present embodiment converts to RGB corresponding to the density detected by each odor sensor. 図１０は、本実施の形態にかかる撮像装置の表示部が表示するライブビュー画像の一例を示す図である。FIG. 10 is a diagram illustrating an example of a live view image displayed on the display unit of the imaging apparatus according to the present embodiment. 図１１は、本実施の形態にかかる撮像装置の表示部が表示するライブビュー画像の一例を示す図である。FIG. 11 is a diagram illustrating an example of a live view image displayed on the display unit of the imaging apparatus according to the present embodiment. 図１２は、本発明の一実施の形態の変形例１にかかる撮像装置の撮影モード設定部が撮影モードをマクロ撮影モードに設定した際に視覚効果設定部が設定した視覚効果の大きさで視覚効果処理部が視覚効果を付加した画像の一例を示す図である。FIG. 12 shows the visual effect size set by the visual effect setting unit when the shooting mode setting unit of the imaging apparatus according to the first modification of the embodiment of the invention sets the shooting mode to the macro shooting mode. It is a figure which shows an example of the image which the effect process part added the visual effect. 図１３は、本発明の一実施の形態の変形例１にかかる撮像装置の撮影モード設定部が撮影モードを風景撮影モードに設定した際に視覚効果設定部が設定した視覚効果の大きさで視覚効果処理部が視覚効果を付加した画像の一例を示す図である。FIG. 13 shows the visual effect size set by the visual effect setting unit when the shooting mode setting unit of the imaging apparatus according to the first modification of the embodiment of the present invention sets the shooting mode to the landscape shooting mode. It is a figure which shows an example of the image which the effect process part added the visual effect. 図１４は、本発明の一実施の形態の変形例２にかかる撮像装置の顔検出部が検出した被写体の顔に対して視覚効果設定部が設定した視覚効果を視覚効果処理部に付加させた画像の一例を示す図である。FIG. 14 adds the visual effect set by the visual effect setting unit to the visual effect processing unit for the face of the subject detected by the face detection unit of the imaging apparatus according to the second modification of the embodiment of the present invention. It is a figure which shows an example of an image. 図１５は、本発明の一実施の形態の変形例２にかかる撮像装置の顔検出部が検出した被写体の顔に対して視覚効果設定部が設定した視覚効果を視覚効果処理部に付加させた画像の一例を示す図である。FIG. 15 shows the visual effect processing unit adding the visual effect set by the visual effect setting unit to the face of the subject detected by the face detection unit of the imaging apparatus according to the second modification of the embodiment of the present invention. It is a figure which shows an example of an image. 図１６は、本発明の一実施の形態の変形例３にかかる停止時の撮像装置の概略構成を示す斜視図である。FIG. 16: is a perspective view which shows schematic structure of the imaging device at the time of the stop concerning the modification 3 of one embodiment of this invention. 図１７は、本発明の一実施の形態の変形例３にかかる起動時の撮像装置の概略構成を示す斜視図である。FIG. 17: is a perspective view which shows schematic structure of the imaging device at the time of starting concerning the modification 3 of one embodiment of this invention.

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。   DESCRIPTION OF EMBODIMENTS Hereinafter, modes for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. The present invention is not limited to the embodiments described below. In the description of the drawings, the same parts are denoted by the same reference numerals.

図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図２は、本発明の一実施の形態にかかる撮像装置の被写体に面する側（前面側）の構成を示す図である。図３は、本発明の一実施の形態にかかる撮像装置のユーザに面する側（背面側）の構成を示す図である。   FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a configuration of a side facing the subject (front side) of the imaging apparatus according to the embodiment of the present invention. FIG. 3 is a diagram illustrating a configuration of a side (back side) facing the user of the imaging apparatus according to the embodiment of the present invention.

図１〜図３に示すように、撮像装置１は、被写体を撮像し、撮像した被写体の電子的な画像データを生成する撮像部２と、撮像部２が撮像する視野領域に光を照射する発光部３と、撮像装置１における雰囲気の匂いを検出する匂い検出部４と、撮影日時の判定機能やタイマー機能を有する時計５と、撮像装置１の各種情報の入力を受け付ける操作入力部６と、撮像部２が生成した画像データに対応する画像を表示する表示部７と、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル８と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部９と、インターネットを介して外部処理装置と相互方向に送受信を行う通信部１０と、撮像装置１の動作を制御する制御部１１と、を備える。   As shown in FIGS. 1 to 3, the imaging device 1 images a subject, generates an electronic image data of the captured subject, and irradiates light to a field area captured by the imaging unit 2. The light emitting unit 3, the odor detecting unit 4 for detecting the odor of the atmosphere in the imaging device 1, the timepiece 5 having a photographing date determination function and a timer function, and the operation input unit 6 for receiving input of various information of the imaging device 1. The display unit 7 that displays an image corresponding to the image data generated by the imaging unit 2, the touch panel 8 that receives an input of a signal corresponding to the contact position from the outside, and various types including image data generated by the imaging unit 2 A storage unit 9 that stores information, a communication unit 10 that performs transmission and reception with an external processing device via the Internet, and a control unit 11 that controls the operation of the imaging device 1 are provided.

撮像部２は、レンズ部２１と、レンズ駆動機構２２と、絞り２３と、絞り駆動機構２４と、シャッタ２５と、シャッタ駆動機構２６と、撮像素子２７と、信号処理部２８と、を有する。   The imaging unit 2 includes a lens unit 21, a lens driving mechanism 22, a diaphragm 23, a diaphragm driving mechanism 24, a shutter 25, a shutter driving mechanism 26, an imaging element 27, and a signal processing unit 28.

レンズ部２１は、一または複数のレンズを用いて構成され、所定の視野領域から光を集光する。レンズ駆動機構２２は、ＤＣモータ等を用いて構成され、レンズ部２１のレンズを光軸Ｌ１上で移動させることにより、レンズ部２１のピント位置や焦点距離等の変更を行う。   The lens unit 21 is configured using one or a plurality of lenses, and collects light from a predetermined visual field region. The lens driving mechanism 22 is configured using a DC motor or the like, and changes the focus position, focal length, and the like of the lens unit 21 by moving the lens of the lens unit 21 on the optical axis L1.

絞り２３は、レンズ部２１が集光した光の入射量を制限することにより。撮像装置１における露出の調整を行う。絞り駆動機構２４は、ステッピングモータ等を用いて構成され、絞り２３を駆動する。   The diaphragm 23 limits the incident amount of light collected by the lens unit 21. Exposure adjustment in the imaging apparatus 1 is performed. The aperture driving mechanism 24 is configured using a stepping motor or the like, and drives the aperture 23.

シャッタ２５は、撮像素子２７の状態を露光状態または遮断状態に設定する。シャッタ駆動機構２６は、ステッピングモータ等を用いて構成され、レリーズ信号に応じてシャッタ２５を駆動する。   The shutter 25 sets the state of the image sensor 27 to an exposure state or a blocking state. The shutter drive mechanism 26 is configured by using a stepping motor or the like, and drives the shutter 25 according to a release signal.

撮像素子２７は、レンズ部２１が集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成され、変換した電気信号を信号処理部２８に出力する。   The image sensor 27 is configured using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like that receives the light collected by the lens unit 21 and converts it into an electrical signal (analog signal). The signal is output to the signal processing unit 28.

信号処理部２８は、撮像素子２７から出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換に変換して制御部１１に出力する。   The signal processing unit 28 performs signal processing such as amplification on the electrical signal output from the image sensor 27, and then converts the signal into digital image data by performing A / D conversion, and outputs the digital image data to the control unit 11. .

発光部３は、キセノンランプやＬＥＤ（Light Emitting Diode）等を用いて構成される。発光部３は、撮像部２の視野領域へ向けて補助光であるストロボ光を照射する。   The light emitting unit 3 is configured using a xenon lamp, an LED (Light Emitting Diode), or the like. The light emitting unit 3 emits strobe light that is auxiliary light toward the field of view of the imaging unit 2.

匂い検出部４は、撮像装置１の前面側に設けられる（図２を参照）。匂い検出部４は、撮像装置１における雰囲気の匂いを検出し、検出した匂いを制御部１１に出力する。匂い検出部４は、匂いセンサ４１〜４３を有する。匂いセンサ４１〜４３は、それぞれ異なる匂いを検出する。なお、匂いセンサの数は、３個に限定して解釈する必要はなく、３個より少なくても多くてもよい。   The odor detection unit 4 is provided on the front side of the imaging device 1 (see FIG. 2). The odor detection unit 4 detects the odor of the atmosphere in the imaging apparatus 1 and outputs the detected odor to the control unit 11. The odor detection unit 4 includes odor sensors 41 to 43. The odor sensors 41 to 43 detect different odors. It should be noted that the number of odor sensors need not be interpreted as being limited to three, and may be smaller or larger than three.

図４は、匂いセンサ４１の概略構成を示す模式図である。図４に示すように、匂いセンサ４１は、人工脂質膜４１ａと、イオン感受性電界効果型トランジスタ（ＩＳＦＥＴ：Ion Sensitive Field Effect Transistor）４１ｂと、を有する。   FIG. 4 is a schematic diagram showing a schematic configuration of the odor sensor 41. As shown in FIG. 4, the odor sensor 41 includes an artificial lipid film 41a and an ion sensitive field effect transistor (ISFET) 41b.

以上の構成を有する匂いセンサ４１は、人工脂質膜４１ａに匂い物質ｆ１が吸着することによって発生する表面の電位変化をイオン感受性電界効果型トランジスタ４１ｂが検出することで匂いの強さに相当する匂い物資ｆ１の濃度を検出する。匂いセンサ４１は、検出した匂いの濃度を電気信号に変換して制御部１１に出力する。なお、匂いセンサ４２，４３は、人工脂質膜４１ａが吸着する匂い物質のみが異なり、他の構成は匂いセンサ４１と同様の構成を有するので、説明を省略する。   The odor sensor 41 having the above-described configuration is an odor corresponding to the odor intensity when the ion-sensitive field-effect transistor 41b detects a change in the surface potential caused by the adsorption of the odor substance f1 to the artificial lipid membrane 41a. The concentration of the material f1 is detected. The odor sensor 41 converts the detected odor concentration into an electrical signal and outputs it to the control unit 11. The odor sensors 42 and 43 are different only in the odor substance adsorbed by the artificial lipid membrane 41a, and the other configurations have the same configuration as the odor sensor 41, and thus the description thereof is omitted.

時計５は、撮像装置１の動作の基準となる時間信号を出力する。これにより、制御部１１は、撮像素子２７から画像データを取得する取得時間や撮像素子２７の露光時間等を設定することができる。   The timepiece 5 outputs a time signal that serves as a reference for the operation of the imaging apparatus 1. Accordingly, the control unit 11 can set an acquisition time for acquiring image data from the image sensor 27, an exposure time for the image sensor 27, and the like.

操作入力部６は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ６１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ６２と、撮像装置１の各種撮影モードを切換える撮影モード切換スイッチ６３と、撮像装置１の各種設定を切換える操作スイッチ６４と、撮像装置１の各種撮影モード、特殊効果および視覚効果に関する情報を表示部７に表示させるメニュースイッチ６５と、動画撮影の指示を与える動画レリーズ信号を入力する動画スイッチ６６と、を有する。   The operation input unit 6 includes a power switch 61 that switches the power state of the imaging apparatus 1 to an on state or an off state, a release switch 62 that inputs a release signal that gives a still image shooting instruction, and various shooting modes of the imaging apparatus 1. Shooting mode switch 63 for switching, operation switch 64 for switching various settings of the imaging device 1, menu switch 65 for displaying information on various shooting modes, special effects, and visual effects of the imaging device 1, and moving image shooting And a moving image switch 66 for inputting a moving image release signal for giving the instruction.

表示部７は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部７は、撮像部２が生成する画像データに対応する画像を表示する。表示部７は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。   The display unit 7 is realized using a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like. The display unit 7 displays an image corresponding to the image data generated by the imaging unit 2. The display unit 7 appropriately displays operation information of the imaging apparatus 1 and information related to shooting.

タッチパネル８は、表示部７の表示画面上に重ねて設けられる（図３を参照）。タッチパネル８は、ユーザが表示部７で表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。   The touch panel 8 is provided so as to overlap the display screen of the display unit 7 (see FIG. 3). The touch panel 8 detects a position touched by the user based on information displayed on the display unit 7 and accepts an input of an operation signal corresponding to the contact position. In general, the touch panel includes a resistance film method, a capacitance method, an optical method, and the like. In the present embodiment, any type of touch panel is applicable.

記憶部９は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部９は、撮像部２が撮像した画像データを記憶する画像データ記憶部９１と、撮像装置１が実行する各種プログラムおよび本実施の形態にかかる撮像プログラムを記憶するプログラム記憶部９２と、各撮影シーンに適したパラメータが設定された撮影モードに関する情報が記憶された撮影モード情報記憶部９３と、特殊効果（アートフィルタ）に関する情報を記憶する特殊効果情報記憶部９４と、匂い検出部４が検出する匂いを使用する視覚効果（エフェクト）が設定された視覚効果情報テーブルを記憶する視覚効果情報記憶部９５と、複数の匂い成分がそれぞれ設定された匂い情報テーブルを記憶する匂い情報記憶部９６と、を有する。なお、記憶部９に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。   The storage unit 9 is realized using a semiconductor memory such as a flash memory or a RAM (Random Access Memory) that is fixedly provided inside the imaging apparatus 1. The storage unit 9 includes an image data storage unit 91 that stores image data captured by the imaging unit 2, a program storage unit 92 that stores various programs executed by the imaging device 1 and the imaging program according to the present embodiment, and A shooting mode information storage unit 93 that stores information on a shooting mode in which parameters suitable for the shooting scene are set, a special effect information storage unit 94 that stores information on special effects (art filters), and an odor detection unit 4 A visual effect information storage unit 95 that stores a visual effect information table in which a visual effect (effect) that uses the detected odor is set, and an odor information storage unit 96 that stores an odor information table in which a plurality of odor components are respectively set. And having. The storage unit 9 may be provided with a function as a recording medium interface that reads information stored in the storage medium while storing information in a storage medium such as a memory card mounted from the outside.

ここで、視覚効果情報記憶部９５が記憶する視覚効果情報テーブルについて説明する。図５は、視覚効果情報記憶部９５が記憶する視覚効果情報テーブルを示す図である。   Here, the visual effect information table stored in the visual effect information storage unit 95 will be described. FIG. 5 is a diagram showing a visual effect information table stored in the visual effect information storage unit 95.

図５に示すように、視覚効果情報テーブルＴ１は、視覚効果処理部１１１ｂに設定可能な視覚効果のうち匂い検出部４が検出する匂いを使用する場合に選択可能な視覚効果を示す。図５に示す視覚効果情報テーブルＴ１では、匂い検出部４が検出する匂いを使用する際に選択可能な視覚効果として、クロス、枠、フレア、照明およびシャボン玉に「○」が記載されている。それ以外のシェーディング、ノイズ、ボケおよびホワイトアウトは、匂い検出部４が検出する匂いを使用しない際に選択可能となる「×」が記載されている。   As shown in FIG. 5, the visual effect information table T1 shows visual effects that can be selected when using the odor detected by the odor detecting unit 4 among the visual effects that can be set in the visual effect processing unit 111b. In the visual effect information table T1 shown in FIG. 5, “◯” is written in the cross, the frame, the flare, the illumination, and the soap bubble as the visual effects that can be selected when using the odor detected by the odor detecting unit 4. . Other shading, noise, blur, and whiteout are described as “X” that can be selected when the odor detected by the odor detection unit 4 is not used.

このように、視覚効果情報テーブルＴ１には、匂い検出部４が検出する匂いを使用する際に選択可能な視覚効果が記載されている。なお、視覚効果情報テーブルＴ１の内容は、ユーザが操作スイッチ６４を操作することにより適宜変更することが可能である。さらに、視覚効果情報テーブルＴ１の内容は、ユーザの使用頻度に応じて重み付けを行ってもよい。さらにまた、視覚効果の種類は、視覚効果情報テーブルＴ１の内容に限定されず、たとえば、アート、ボール、カラーマスク、キューブ、ミラー、モザイク、セピア、白黒、ウェーブ等を追加することも可能である。   Thus, the visual effect information table T1 describes the visual effects that can be selected when using the odor detected by the odor detecting unit 4. The contents of the visual effect information table T1 can be changed as appropriate by the user operating the operation switch 64. Furthermore, the contents of the visual effect information table T1 may be weighted according to the usage frequency of the user. Furthermore, the types of visual effects are not limited to the contents of the visual effect information table T1, and for example, art, balls, color masks, cubes, mirrors, mosaics, sepia, black and white, waves, etc. can be added. .

ここで、図５に示した各視覚効果について説明する。シェーディングは、画像の端部周辺を黒くする処理を行う。クロスは、画像に星型のアイコンを付加する処理を行う。枠は、画像に枠を付加する処理を行う。ノイズは、画像全体にノイズを付加する処理を行う。フレアは、画像に斜線を付加する処理を行う。ボケは、画像全体に対してぼかす処理を行う。ホワイトアウトは、画像の端部周辺を白くする処理を行う。照明は、画像全体にカラーフィルタを施した処理を行う。シャボン玉は、画像にシャボン玉のアイコンを付加する処理を行う。   Here, each visual effect shown in FIG. 5 will be described. In the shading process, the periphery of the edge of the image is blackened. Cross performs a process of adding a star icon to an image. The frame performs processing for adding a frame to the image. Noise is processed to add noise to the entire image. Flare performs processing to add diagonal lines to an image. The blur is performed on the entire image. Whiteout performs processing for whitening the periphery of the edge of the image. Illumination is performed by applying a color filter to the entire image. The soap bubble performs processing for adding a soap bubble icon to the image.

通信部１０は、通信インターフェースとしての機能を有し、ネットワークを介してパーソナルコンピュータ等の外部処理装置（図示せず）と相互方向に送受信を行う。通信部１０は、外部処理装置との間で送受信を行うことにより、撮像装置１の各種プログラムに関するデータを取得する。なお、通信部１０は、有線または無線ＬＡＮ（Local Area Network）を介してネットワークに接続される。   The communication unit 10 has a function as a communication interface, and performs transmission / reception in the mutual direction with an external processing device (not shown) such as a personal computer via a network. The communication unit 10 acquires data related to various programs of the imaging device 1 by performing transmission and reception with the external processing device. The communication unit 10 is connected to a network via a wired or wireless LAN (Local Area Network).

制御部１１は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部１１は、操作入力部６からの操作信号等に応じて記憶部９のプログラム記憶部９２からプログラムを読み出して実行し、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１１は、画像処理部１１１と、視覚情報変換部１１２と、視覚効果設定部１１３と、視覚効果判定部１１４と、撮影モード設定部１１５と、顔検出部１１６と、を有する。   The control unit 11 is realized by a CPU (Central Processing Unit) or the like. The control unit 11 reads out and executes a program from the program storage unit 92 of the storage unit 9 in response to an operation signal from the operation input unit 6, and performs instructions and data transfer to each unit constituting the imaging device 1. The operation of the image pickup apparatus 1 is comprehensively controlled. The control unit 11 includes an image processing unit 111, a visual information conversion unit 112, a visual effect setting unit 113, a visual effect determination unit 114, a shooting mode setting unit 115, and a face detection unit 116.

画像処理部１１１は、信号処理部２８から入力された画像データに対して各種の画像処理を施して記憶部９に出力する。具体的には、画像処理部１１１は、画像データに対してエッジ強調、色補正およびγ補正等の通常の画像処理を行う。画像処理部１１１は、画像データに対して複数の画像処理を組み合わせることにより画像に画像効果を生じさせる特殊効果処理を行う特殊効果処理部１１１ａと、通常の画像処理または特殊効果処理を行った画像データに対して視覚効果を付加する視覚効果処理部１１１ｂと、を有する。   The image processing unit 111 performs various types of image processing on the image data input from the signal processing unit 28 and outputs the processed image data to the storage unit 9. Specifically, the image processing unit 111 performs normal image processing such as edge enhancement, color correction, and γ correction on the image data. The image processing unit 111 includes a special effect processing unit 111a that performs special effect processing for generating an image effect on an image by combining a plurality of image processings on image data, and an image that has undergone normal image processing or special effect processing. A visual effect processing unit 111b for adding a visual effect to the data.

特殊効果処理部１１１ａは、画像データに対して複数の画像処理を組み合わせることにより画像に視覚効果を生じさせる特殊効果処理を行う。この特殊効果処理としては、たとえばトーンカーブ処理、ぼかし処理および画像合成処理を組み合わせた処理である。   The special effect processing unit 111a performs special effect processing for generating a visual effect on an image by combining a plurality of image processing on the image data. As this special effect processing, for example, tone curve processing, blur processing, and image composition processing are combined.

視覚効果処理部１１１ｂは、通常の画像処理または特殊効果処理が行われた画像データに対し視覚効果を付加する視覚効果処理を行う。この視覚効果処理としては、画像データに対して特殊効果処理と異なる画像処理を行う。具体的には、図５に示した視覚効果情報テーブルＴ１の視覚効果を付加する。   The visual effect processing unit 111b performs visual effect processing for adding a visual effect to image data on which normal image processing or special effect processing has been performed. As the visual effect processing, image processing different from the special effect processing is performed on the image data. Specifically, the visual effect of the visual effect information table T1 shown in FIG. 5 is added.

視覚情報変換部１１２は、匂い検出部４が検出した匂いを視覚情報に変換する。視覚情報変換部１１２は、各匂いセンサ４１〜４３がそれぞれ検出した匂いを色空間の変数に変換する。たとえば、視覚情報変換部１１２は、各匂いセンサ４１〜４３が検出した匂いをＲＧＢ情報に変換する。   The visual information conversion unit 112 converts the odor detected by the odor detection unit 4 into visual information. The visual information conversion unit 112 converts the odors detected by the odor sensors 41 to 43 into color space variables. For example, the visual information conversion unit 112 converts odors detected by the odor sensors 41 to 43 into RGB information.

視覚効果設定部１１３は、視覚情報変換部１１２が変換した視覚情報に基づいて、視覚効果処理部１１１ｂが付加する視覚効果を設定する。たとえば、視覚効果設定部１１３は、視覚情報変換部１１２が変換した色空間の変換を用いて視覚効果処理部１１１ｂが付加する視覚効果の色を設定する。   The visual effect setting unit 113 sets the visual effect added by the visual effect processing unit 111b based on the visual information converted by the visual information conversion unit 112. For example, the visual effect setting unit 113 sets the color of the visual effect added by the visual effect processing unit 111b using the color space conversion converted by the visual information conversion unit 112.

視覚効果判定部１１４は、操作入力部６によって視覚効果処理部１１１ｂが付加する視覚効果を設定する設定指示信号が入力された場合、視覚効果処理部１１１ｂが画像データに対して付加する視覚効果が匂いを使用する視覚効果であるか否かを判定する。   When the setting instruction signal for setting the visual effect added by the visual effect processing unit 111b is input by the operation input unit 6, the visual effect determination unit 114 receives the visual effect added to the image data by the visual effect processing unit 111b. Determine whether the visual effect uses odors.

撮影モード設定部１１５は、各撮影シーンに適した撮影条件が予め設定された複数の撮影モードの中からいずれかの撮影モードを撮像装置１に設定する。具体的には、撮影モード設定部１１５は、撮影モード切換スイッチ６３またはメニュースイッチ６５等から入力される操作信号、あるいは撮像部２が生成する画像データの特性に基づいて撮像装置１の撮影モードを設定する。ここで、撮影条件とは、絞り値、シャッタ速度、ＩＳＯ感度、ホワイトバランスおよび彩度等のパラメータ情報である。また、画像データの特性とは、画像データに含まれるコントラスト、彩度および主要被写体が画像内に占める占有面積等である。   The shooting mode setting unit 115 sets one of the shooting modes in the imaging apparatus 1 from a plurality of shooting modes in which shooting conditions suitable for each shooting scene are set in advance. Specifically, the shooting mode setting unit 115 sets the shooting mode of the imaging apparatus 1 based on the operation signal input from the shooting mode changeover switch 63 or the menu switch 65 or the characteristics of the image data generated by the imaging unit 2. Set. Here, the photographing conditions are parameter information such as aperture value, shutter speed, ISO sensitivity, white balance, and saturation. The characteristics of the image data include contrast, saturation, and occupied area occupied by the main subject in the image.

顔検出部１１６は、撮像部２が生成する画像データに対応する画像に含まれる被写体の顔をパターンマッチング等で検出する。   The face detection unit 116 detects the face of the subject included in the image corresponding to the image data generated by the imaging unit 2 by pattern matching or the like.

以上の構成を有する撮像装置１が行う処理について説明する。図６は、撮像装置１が行う処理の概要を示すフローチャートである。   Processing performed by the imaging apparatus 1 having the above configuration will be described. FIG. 6 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1.

図６において、まず、制御部１１は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０１）。撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は後述するステップＳ１０２に移行する。一方、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は後述するステップＳ１２９に移行する。   In FIG. 6, first, the control unit 11 determines whether or not the imaging device 1 is set to the shooting mode (step S <b> 101). When the imaging device 1 is set to the shooting mode (step S101: Yes), the imaging device 1 proceeds to step S102 described later. On the other hand, when the imaging device 1 is not set to the imaging mode (step S101: No), the imaging device 1 proceeds to step S129 described later.

ステップＳ１０２において、撮像部２は、被写体の撮像を開始する。具体的には、撮像素子２７は、微小な時間間隔で連続的に画像データを生成し、この生成した画像データを、信号処理部２８を介して制御部１１に出力する。   In step S102, the imaging unit 2 starts imaging the subject. Specifically, the image sensor 27 continuously generates image data at a minute time interval, and outputs the generated image data to the control unit 11 via the signal processing unit 28.

続いて、制御部１１は、撮像装置１に特殊効果処理が設定されているか否かを判断する（ステップＳ１０３）。具体的には、メニュースイッチ６５が操作された際に表示部７が表示するメニュー設定画面に基づいて、ユーザが操作スイッチ６４を操作することにより、操作スイッチ６４から入力される操作信号に応じて特殊効果処理部１１１ａが行う特殊効果処理が設定されたか否かを判断する。撮像装置１に特殊効果処理が設定されている場合（ステップＳ１０３：Ｙｅｓ）、制御部１１は、撮像装置１に視覚効果処理部１１１ｂによる視覚効果処理が設定されているか否かを判断する（ステップＳ１０４）。視覚効果処理部１１１ｂによる視覚効果処理が設定されていない場合（ステップＳ１０４：Ｎｏ）、撮像装置１は後述するステップＳ１２６に移行する。一方、視覚効果処理部１１１ｂによる視覚効果処理が設定されている場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は後述するステップＳ１０５に移行する。   Subsequently, the control unit 11 determines whether or not special effect processing is set in the imaging device 1 (step S103). Specifically, when the user operates the operation switch 64 based on a menu setting screen displayed on the display unit 7 when the menu switch 65 is operated, according to an operation signal input from the operation switch 64. It is determined whether or not special effect processing performed by the special effect processing unit 111a is set. When special effect processing is set in the imaging device 1 (step S103: Yes), the control unit 11 determines whether the visual effect processing by the visual effect processing unit 111b is set in the imaging device 1 (step S103). S104). When the visual effect processing by the visual effect processing unit 111b is not set (step S104: No), the imaging device 1 proceeds to step S126 described later. On the other hand, when the visual effect processing by the visual effect processing unit 111b is set (step S104: Yes), the imaging device 1 proceeds to step S105 described later.

ステップＳ１０５において、視覚効果判定部１１４は、視覚効果情報記憶部９５が記憶する視覚効果情報テーブルＴ１を参照して、視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果であるか否かを判定する。視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果である場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１はステップＳ１０６に移行する。   In step S105, the visual effect determination unit 114 refers to the visual effect information table T1 stored in the visual effect information storage unit 95, and the visual effect set in the visual effect processing unit 111b is a visual effect that uses an odor. It is determined whether or not. When the visual effect set in the visual effect processing unit 111b is a visual effect using an odor (step S105: Yes), the imaging device 1 proceeds to step S106.

視覚効果判定部１１４により視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果であると判定された後、制御部１１は、匂い検出部４が検出する撮像装置１の周囲の匂いを取得する（ステップＳ１０６）。   After the visual effect determination unit 114 determines that the visual effect set in the visual effect processing unit 111b is a visual effect using an odor, the control unit 11 detects the surroundings of the imaging device 1 detected by the odor detection unit 4. An odor is acquired (step S106).

続いて、視覚情報変換部１１２は、匂い検出部４が検出した匂いを視覚情報に変換する（ステップＳ１０７）。たとえば、視覚情報変換部１１２は、各匂いセンサ４１〜４３がそれぞれ検出した匂いの濃度に応じたＲＧＢ情報に変換する。   Subsequently, the visual information conversion unit 112 converts the odor detected by the odor detection unit 4 into visual information (step S107). For example, the visual information conversion unit 112 converts the information into RGB information corresponding to the odor concentration detected by each of the odor sensors 41 to 43.

図７は、各匂いセンサ４１〜４３が検出した匂いの濃度と時間変化との関係を示す図である。図８および図９は、視覚情報変換部１１２が各匂いセンサによって検出された匂いの濃度に応じたＲＧＢに変換する変換方法を説明する図である。   FIG. 7 is a diagram showing the relationship between the odor concentration detected by each of the odor sensors 41 to 43 and the change over time. FIG. 8 and FIG. 9 are diagrams for explaining a conversion method in which the visual information conversion unit 112 converts to RGB according to the concentration of the odor detected by each odor sensor.

図７に示すように、視覚情報変換部１１２は、所定のタイミング毎、たとえば静止画の場合、時点Ｔ１で各匂いセンサ４１〜４３が検出する匂いの濃度を取得する。その後、視覚情報変換部１１２は、各匂いセンサ４１〜４３から取得した匂いの濃度に応じたＲＧＢの大きさに変換する（図８を参照）。さらに、視覚情報変換部１１２は、動画の場合、画像データを記録するタイミング毎、たとえば時点ｔ１、時点ｔ２および時点ｔ３それぞれで各匂いセンサ４１〜４３が検出する匂いの濃度を取得する（図７）。その後、視覚情報変換部１１２は、取得した匂いの濃度に応じたＲＧＢの大きさに変換する（図９を参照）。なお、図８および図９では、匂いセンサ４１が検出する匂いがＲに対応し、匂いセンサ４２が検出する匂いがＧに対応し、匂いセンサ４３が検出する匂いＢに対応する。 As shown in FIG. 7, the visual information converting unit 112, at predetermined timing, for example, in the case of a still image, the odor sensor 41 to 43 at time T 1 is to acquire the concentration of the odor to be detected. Thereafter, the visual information conversion unit 112 converts the size into RGB in accordance with the odor density acquired from each of the odor sensors 41 to 43 (see FIG. 8). Furthermore, in the case of a moving image, the visual information conversion unit 112 acquires the odor concentration detected by each of the odor sensors 41 to 43 at each timing of recording image data, for example, at each of the time point t 1 , the time point t 2, and the time point t 3. (FIG. 7). Thereafter, the visual information conversion unit 112 converts the size into RGB in accordance with the acquired odor density (see FIG. 9). 8 and 9, the odor detected by the odor sensor 41 corresponds to R, the odor detected by the odor sensor 42 corresponds to G, and corresponds to the odor B detected by the odor sensor 43.

ステップＳ１０８において、視覚効果設定部１１３は、視覚情報変換部１１２が変換した視覚情報を用いて視覚効果処理部１１１ｂが付加する視覚効果の色を設定する。具体的には、視覚効果設定部１１３は、視覚情報変換部１１２が匂いセンサ４１〜４３によってそれぞれ検出された匂いを変換した視覚情報としての互いの独立な色空間の変数を用いて視覚効果の色を設定する。   In step S108, the visual effect setting unit 113 sets the color of the visual effect added by the visual effect processing unit 111b using the visual information converted by the visual information conversion unit 112. Specifically, the visual effect setting unit 113 uses the variables of the independent color space as visual information obtained by converting the odors detected by the odor sensors 41 to 43 by the visual information conversion unit 112. Set the color.

続いて、特殊効果処理部１１１ａは、撮像部２が生成した画像データに対して、撮像装置１に設定された特殊効果処理を行う（ステップＳ１０９）。   Subsequently, the special effect processing unit 111a performs special effect processing set in the imaging device 1 on the image data generated by the imaging unit 2 (step S109).

その後、視覚効果処理部１１１ｂは、特殊効果処理部１１１ａが特殊効果処理を行った画像データに対して、視覚効果設定部１１３が設定した色を用いて撮像装置１に設定された視覚効果を付加する視覚効果処理を行う（ステップＳ１１０）。   Thereafter, the visual effect processing unit 111b adds the visual effect set in the imaging device 1 using the color set by the visual effect setting unit 113 to the image data that has been subjected to the special effect processing by the special effect processing unit 111a. The visual effect processing is performed (step S110).

続いて、表示部７は、特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データに対応するライブビュー画像を表示する（ステップＳ１１１）。具体的には、図１０に示すように、表示部７は、ライブビュー画像Ｗ１を表示する。このライブビュー画像Ｗ１では、ボケを強調した特殊効果処理が行われた画像に対して、視覚効果としてクロスＥ１が付加されているとともに、各クロスＥ１に色が付加されている。これにより、ユーザは、撮像装置１の雰囲気の匂いが加味された視覚効果および特殊効果処理がそれぞれ行われた画像をリアルタイムで確認しながら撮影の構図を決定することができる。なお、図１０では、視覚効果の色を表現するため、視覚効果に斜線を付して表現した。   Subsequently, the display unit 7 displays a live view image corresponding to the image data on which the special effect processing unit 111a and the visual effect processing unit 111b have performed the special effect processing and the visual effect processing, respectively (step S111). Specifically, as shown in FIG. 10, the display unit 7 displays a live view image W1. In the live view image W1, a cross E1 is added as a visual effect to the image on which the special effect processing with emphasis is performed, and a color is added to each cross E1. Thereby, the user can determine the composition of the shooting while checking in real time the images on which the visual effect and the special effect processing in which the odor of the atmosphere of the imaging device 1 is added are added. In FIG. 10, in order to express the color of the visual effect, the visual effect is expressed with diagonal lines.

レリーズ信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、制御部１１は、静止画の画像データを記憶部９の画像データ記憶部９１に記憶させる静止画撮影処理を行う（ステップＳ１１３）。たとえば、制御部１１は、特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データをＪＥＰＧ方式で圧縮して画像データ記憶部９１に記憶させる。   When the release signal is input (step S112: Yes), the control unit 11 performs a still image shooting process for storing the image data of the still image in the image data storage unit 91 of the storage unit 9 (step S113). For example, the control unit 11 compresses the image data obtained by performing the special effect processing and the visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b, respectively, and stores the compressed image data in the image data storage unit 91.

続いて、制御部１１は、電源スイッチ６１が操作されることにより、撮像装置１が電源オフになったか否かを判断する（ステップＳ１１４）。撮像装置１が電源オフになっていない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は上述したステップＳ１０１に戻る。一方、撮像装置１が電源オフになっている場合（ステップＳ１１４：Ｙｅｓ）、撮像装置１は本処理を終了する。   Subsequently, the control unit 11 determines whether or not the imaging apparatus 1 has been powered off by operating the power switch 61 (step S114). When the imaging device 1 is not turned off (step S114: No), the imaging device 1 returns to step S101 described above. On the other hand, when the imaging apparatus 1 is turned off (step S114: Yes), the imaging apparatus 1 ends this process.

ステップＳ１１２において、レリーズ信号が入力されていない場合（ステップＳ１１２：Ｎｏ）について説明する。この場合、制御部１１は、動画レリーズ信号が入力されたか否かを判断する（ステップＳ１１５）。動画レリーズ信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、動画記録中であることを示すフラグｆが記憶部９に設定（ｆ＝１）されているか否かを判断する（ステップＳ１１６）。フラグｆが設定されていない場合（ステップＳ１１６：Ｎｏ）、制御部１１は、フラグｆを記憶部９に設定する（ｆ＝１）（ステップＳ１１７）。   The case where the release signal is not input in step S112 (step S112: No) will be described. In this case, the control unit 11 determines whether or not a moving image release signal has been input (step S115). When the moving image release signal is input (step S115: Yes), it is determined whether or not the flag f indicating that the moving image is being recorded is set in the storage unit 9 (f = 1) (step S116). When the flag f is not set (step S116: No), the control unit 11 sets the flag f in the storage unit 9 (f = 1) (step S117).

続いて、制御部１１は、画像データを時系列に沿って連続的に画像データ記憶部９１に記憶させる動画撮影を開始し（ステップＳ１１８）、撮像装置１はステップＳ１１４に移行する。この動画撮影としては、たとえば特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データをＡＶＩ方式の動画ファイルフォーマットで画像データ記憶部９１に記憶させる。   Subsequently, the control unit 11 starts moving image shooting in which the image data is continuously stored in the image data storage unit 91 in time series (step S118), and the imaging device 1 proceeds to step S114. As the moving image shooting, for example, the image data storage unit 91 stores the image data obtained by performing the special effect processing and the visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b, respectively, in the AVI moving image file format.

ステップＳ１１６において、ｆ１が記憶部９に設定（ｆ＝１）されている場合（ステップＳ１１６：Ｙｅｓ）について説明する。この場合、制御部１１は、記憶部９に設定されたフラグｆを初期状態（ｆ＝０）に設定し（ステップＳ１１９）、動画撮影の終了する（ステップＳ１２０）。その後、撮像装置１はステップＳ１１４に移行する。   A case where f1 is set in the storage unit 9 (f = 1) in step S116 (step S116: Yes) will be described. In this case, the control unit 11 sets the flag f set in the storage unit 9 to the initial state (f = 0) (step S119), and ends the moving image shooting (step S120). Thereafter, the imaging apparatus 1 proceeds to step S114.

ステップＳ１１５において、動画レリーズ信号がない場合（ステップＳ１１５：Ｎｏ）について説明する。この場合、制御部１１は、記憶部９にフラグｆが設定（ｆ＝１）されているか否かを判断する（ステップＳ１２１）。記憶部９にフラグｆが設定されていない場合（ステップＳ１２１：Ｎｏ）、撮像装置１はステップＳ１１４に移行する。一方、記憶部９にフラグｆが設定されている場合（ステップＳ１２１：Ｙｅｓ）、制御部１１は、画像データを取得して画像データ記憶部９１に記憶させ（ステップＳ１２２）、撮像装置１はステップＳ１１４に移行する。   A case where there is no moving image release signal in step S115 (step S115: No) will be described. In this case, the control unit 11 determines whether or not the flag f is set (f = 1) in the storage unit 9 (step S121). When the flag f is not set in the storage unit 9 (step S121: No), the imaging device 1 proceeds to step S114. On the other hand, when the flag f is set in the storage unit 9 (step S121: Yes), the control unit 11 acquires image data and stores it in the image data storage unit 91 (step S122). The process proceeds to S114.

ステップＳ１０５において、視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果でない場合（ステップＳ１０５：Ｎｏ）について説明する。この場合、特殊効果処理部１１１ａは、撮像部２が生成した画像データに対して、撮像装置１に設定された特殊効果処理を行う（ステップＳ１２３）。   A case will be described in which the visual effect set in the visual effect processing unit 111b is not a visual effect using an odor in step S105 (step S105: No). In this case, the special effect processing unit 111a performs special effect processing set in the imaging device 1 on the image data generated by the imaging unit 2 (step S123).

続いて、視覚効果処理部１１１ｂは、特殊効果処理部１１１ａが特殊効果処理を行った画像データに対して、視覚効果を付加する視覚効果処理を行う（ステップＳ１２４）。   Subsequently, the visual effect processing unit 111b performs visual effect processing for adding a visual effect to the image data on which the special effect processing unit 111a has performed the special effect processing (step S124).

その後、表示部７は、特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データに対応するライブビュー画像を表示する（ステップＳ１２５）。具体的には、図１１に示すように、表示部７は、ライブビュー画像Ｗ２を表示する。このライブビュー画像Ｗ２では、ボケを強調した特殊効果処理が行われた画像に対して、視覚効果としてクロスＥ１のみが付加されている。これにより、ユーザは、特殊効果および視覚効果がそれぞれ施された画像をリアルタイムで確認しながら撮影の構図を決定することができる。   Thereafter, the display unit 7 displays a live view image corresponding to the image data on which the special effect processing unit 111a and the visual effect processing unit 111b have performed the special effect processing and the visual effect processing, respectively (step S125). Specifically, as shown in FIG. 11, the display unit 7 displays a live view image W2. In the live view image W2, only the cross E1 is added as a visual effect to the image on which the special effect processing with emphasis is performed. Thereby, the user can determine the composition of shooting while confirming in real time the images to which the special effect and the visual effect are respectively applied.

ステップＳ１０４において、撮像装置１に視覚効果が設定されていない場合（ステップＳ１０４：Ｎｏ）について説明する。この場合、特殊効果処理部１１１ａは、撮像部２が生成した画像データに対して、撮像装置１に設定された特殊効果処理を行う（ステップＳ１２６）。
続いて、表示部７は、特殊効果処理部１１１ａが特殊効果処理を行った画像データに対応するライブビュー画像を表示し（ステップＳ１２７）、撮像装置１はステップＳ１１２に移行する。 A case where no visual effect is set in the imaging device 1 in step S104 (step S104: No) will be described. In this case, the special effect processing unit 111a performs special effect processing set in the imaging device 1 on the image data generated by the imaging unit 2 (step S126).
Subsequently, the display unit 7 displays a live view image corresponding to the image data on which the special effect processing unit 111a has performed the special effect processing (step S127), and the imaging device 1 proceeds to step S112.

ステップＳ１０３において、撮像装置１に特殊効果処理が設定されていない場合（ステップＳ１０３：Ｎｏ）について説明する。この場合、表示部７は、画像処理部１１１が通常の画像処理を行った画像データに対応するライブビュー画像を表示し（ステップＳ１２８）、撮像装置１はステップＳ１１２に移行する。   A case where the special effect process is not set in the imaging apparatus 1 in step S103 (step S103: No) will be described. In this case, the display unit 7 displays a live view image corresponding to the image data on which the image processing unit 111 has performed normal image processing (step S128), and the imaging device 1 proceeds to step S112.

ステップＳ１０１において、撮像装置１が撮影モードでない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、制御部１１は、画像データ記憶部９１が記憶する画像データを表示部７に表示させる再生表示処理を行い（ステップＳ１２９）、撮像装置１はステップＳ１１４に移行する。   A case where the imaging apparatus 1 is not in the shooting mode in step S101 (step S101: No) will be described. In this case, the control unit 11 performs reproduction display processing for displaying the image data stored in the image data storage unit 91 on the display unit 7 (step S129), and the imaging device 1 proceeds to step S114.

以上説明した本発明の一実施の形態では、視覚情報変換部１１２が匂い検出部４によって検出された撮像装置１における周囲の匂いを視覚情報として色空間の変数に変換し、視覚効果設定部１１３が視覚情報変換部１１２によって変換された色空間の変数を用いて視覚効果処理部１１１ｂが付加する視覚効果の色を設定する。この結果、撮影時にユーザが体感した匂いを画像データとして可視化することができる。   In the embodiment of the present invention described above, the visual information conversion unit 112 converts the ambient odor in the imaging device 1 detected by the odor detection unit 4 into visual space setting variables as visual information, and the visual effect setting unit 113. The color of the visual effect added by the visual effect processing unit 111b is set using the color space variable converted by the visual information conversion unit 112. As a result, it is possible to visualize the scent experienced by the user during shooting as image data.

また、本発明の一実施の形態では、色空間の変数としてＲＧＢを用いていたが、たとえばＣＭＹやＨＬＳ等であってもよい。   In one embodiment of the present invention, RGB is used as a color space variable, but may be CMY, HLS, or the like.

また、本発明の一実施の形態では、視覚効果としてアイコン等を付加していたが、文字や音であってもよい。たとえば、視覚効果設定部１１３は、視覚情報変換部１１２が変換した色空間の変換に応じて、文字や音声の内容を設定してもよい。   In one embodiment of the present invention, an icon or the like is added as a visual effect, but it may be a character or a sound. For example, the visual effect setting unit 113 may set the contents of characters and sounds according to the conversion of the color space converted by the visual information conversion unit 112.

（変形例１）
上述した一実施の形態において、視覚効果設定部１１３が視覚効果処理部１１１ｂに付加させる視覚効果の色とともに、撮影モードに応じて視覚効果の表示領域を設定することも可能である。図１２は、撮影モード設定部１１５が撮影モードをマクロ撮影モードに設定した際に視覚効果設定部１１３が設定した視覚効果の大きさで視覚効果処理部１１１ｂが視覚効果を付加した画像の一例を示す図である。図１３は、撮影モード設定部１１５が撮影モードを風景撮影モードに設定した際に視覚効果設定部１１３が設定した視覚効果の大きさで視覚効果処理部１１１ｂが視覚効果を付加した画像の一例を示す図である。 (Modification 1)
In the above-described embodiment, it is also possible to set the visual effect display area according to the shooting mode together with the color of the visual effect that the visual effect setting unit 113 adds to the visual effect processing unit 111b. FIG. 12 shows an example of an image in which the visual effect processing unit 111b adds the visual effect with the magnitude of the visual effect set by the visual effect setting unit 113 when the shooting mode setting unit 115 sets the shooting mode to the macro shooting mode. FIG. FIG. 13 shows an example of an image in which the visual effect processing unit 111b adds the visual effect with the magnitude of the visual effect set by the visual effect setting unit 113 when the shooting mode setting unit 115 sets the shooting mode to the landscape shooting mode. FIG.

図１２および図１３に示すように、視覚効果設定部１１３が撮影モード設定部１１５によって設定された撮影モードに基づいて、視覚効果処理部１１１ｂに付加させる視覚効果の大きさを設定することにより、より鮮明に匂いを可視化することができる。具体的には、図１２に示す画像Ｗ１１では、撮影モードがマクロ撮影モードのため、被写体Ａ１１と撮像装置１との距離が近距離になることで、画像Ｗ１１に写る被写体Ａ１１の面積が大きくなる。このため、視覚効果設定部１１３は、画像Ｗ１１に付加する視覚効果Ｅ１１を大きくすることにより、被写体の大きさに合うように匂いを強調して視覚化することができる。さらに、被写体Ａ１１が匂いを発していることを強調して視覚化する。   As shown in FIGS. 12 and 13, the visual effect setting unit 113 sets the size of the visual effect to be added to the visual effect processing unit 111 b based on the shooting mode set by the shooting mode setting unit 115. The odor can be visualized more clearly. Specifically, in the image W11 shown in FIG. 12, since the shooting mode is the macro shooting mode, the area of the subject A11 that appears in the image W11 increases as the distance between the subject A11 and the imaging device 1 becomes a short distance. . For this reason, the visual effect setting unit 113 can visualize the image by enhancing the visual effect E11 added to the image W11 and enhancing the odor so as to match the size of the subject. Further, the fact that the subject A11 is scented is emphasized and visualized.

これに対して、図１３に示す画像Ｗ１２では、撮影モードが風景撮影モードのため、被写体Ａ１２と撮像装置１との距離が遠距離になることで画像Ｗ１２に写る被写体Ａ１２の面積が小さくなる。このため、視覚効果設定部１１３は、画像Ｗ１２に付加する視覚効果Ｅ１２をマクロ撮影モードに比して小さくすることにより、被写体Ａ１２の大きさに合うように視覚効果を弱めることで、撮影状況全体の匂いを視覚化する。   On the other hand, in the image W12 shown in FIG. 13, since the shooting mode is the landscape shooting mode, the area of the subject A12 that appears in the image W12 decreases as the distance between the subject A12 and the imaging device 1 becomes long. For this reason, the visual effect setting unit 113 reduces the visual effect E12 to be added to the image W12 as compared with the macro shooting mode, thereby weakening the visual effect so as to match the size of the subject A12. Visualize the smell.

このように、本発明の一実施の形態にかかる変形例１によれば、視覚効果設定部１１３が視覚効果処理部１１１ｂに付加させる視覚効果の色とともに、撮影モード設定部１１５によって設定された撮影モードに応じて視覚効果処理部１１１ｂに付加させる視覚効果の大きさを設定する。この結果、撮影時にユーザが体感した匂いを画像としてより鮮明に可視化することができる。   As described above, according to the first modification according to the embodiment of the present invention, the shooting set by the shooting mode setting unit 115 together with the color of the visual effect that the visual effect setting unit 113 adds to the visual effect processing unit 111b. The magnitude of the visual effect to be added to the visual effect processing unit 111b is set according to the mode. As a result, the scent experienced by the user at the time of shooting can be visualized more clearly as an image.

（変形例２）
上述した一実施の形態において、視覚効果設定部１１３が顔検出部１１６によって検出された被写体の顔に付加する視覚効果を設定することも可能である。図１４および図１５は、顔検出部１１６によって検出された被写体の顔に対して視覚効果設定部１１３が設定した視覚効果を視覚効果処理部１１１ｂに付加させた画像の一例を示す図である。 (Modification 2)
In the embodiment described above, it is also possible to set the visual effect that the visual effect setting unit 113 adds to the face of the subject detected by the face detection unit 116. 14 and 15 are diagrams illustrating an example of an image in which the visual effect set by the visual effect setting unit 113 is added to the visual effect processing unit 111b with respect to the face of the subject detected by the face detection unit 116. FIG.

図１４および図１５に示すように、視覚情報変換部１１２は、匂い情報記憶部９６が記憶する匂い情報テーブルを参照して、匂い検出部４が検出した匂いに応じた匂い成分に変換する。その後、視覚効果設定部１１３は、視覚情報変換部１１２が変換した匂い成分に応じて、顔検出部１１６が検出した被写体の顔に付加する視覚効果を設定する。具体的には、視覚情報変換部１１２が匂い検出部４によって検出された匂いが悪臭の場合、視覚効果設定部１１３が被写体の顔に付加する視覚効果として顔が引きつった視覚効果Ｅ２１を視覚効果処理部１１１ｂに付加させる（図１４の画像Ｗ２１を参照）。   As shown in FIGS. 14 and 15, the visual information conversion unit 112 refers to the odor information table stored in the odor information storage unit 96 and converts the odor component according to the odor detected by the odor detection unit 4. Thereafter, the visual effect setting unit 113 sets the visual effect to be added to the face of the subject detected by the face detection unit 116 according to the odor component converted by the visual information conversion unit 112. Specifically, when the odor detected by the odor detection unit 4 in the visual information conversion unit 112 is a bad odor, the visual effect setting unit 113 visually recognizes the visual effect E21 that the face has drawn as a visual effect added to the face of the subject. It is added to the effect processing unit 111b (see the image W21 in FIG. 14).

これに対して、視覚情報変換部１１２が匂い検出部４によって検出された匂いがいい匂いである場合、視覚効果設定部１１３が被写体の顔に付加する視覚効果として顔が笑顔になった視覚効果Ｅ２２を視覚効果処理部１１１ｂに付加させる（図１５の画像Ｗ２２を参照）。   On the other hand, when the visual information conversion unit 112 has a good odor detected by the odor detection unit 4, the visual effect that the visual effect setting unit 113 adds to the face of the subject is a visual effect that makes the face smile. E22 is added to the visual effect processing unit 111b (see the image W22 in FIG. 15).

このように、本発明の一実施の形態にかかる変形例２によれば、視覚効果設定部１１３が視覚情報変換部１１２によって変換された匂い成分に応じて、被写体の顔に付加する視覚効果を設定する。この結果、撮影時にユーザおよび被写体が体感した匂いを画像として可視化することができるので、よりエンターテイメント性ある画像を提供することができる。   As described above, according to the second modification according to the embodiment of the present invention, the visual effect setting unit 113 adds the visual effect to the subject's face according to the odor component converted by the visual information conversion unit 112. Set. As a result, the scent experienced by the user and the subject at the time of shooting can be visualized as an image, so that an image with more entertainment properties can be provided.

（変形例３）
図１６は、本発明の一実施の形態の変形例３にかかる停止時の撮像装置の概略構成を示す斜視図を示す。図１７は、本発明の一実施の形態の変形例３にかかる起動時の撮像装置の概略構成を示す斜視図である。なお、本発明の一実施の形態の変形例３にかかる撮像装置は上述した撮像装置１とほぼ同様の構成を有するため、異なる構成のみ説明する。 (Modification 3)
FIG. 16 is a perspective view illustrating a schematic configuration of the imaging apparatus at a stop time according to Modification 3 of the embodiment of the present invention. FIG. 17: is a perspective view which shows schematic structure of the imaging device at the time of starting concerning the modification 3 of one embodiment of this invention. Note that the imaging apparatus according to the third modification of the embodiment of the present invention has substantially the same configuration as the imaging apparatus 1 described above, and therefore only different configurations will be described.

図１６および図１７に示すように、撮像装置２００は、撮像装置２００の停止時に撮像装置２００の前面を覆う初期位置と撮像装置２００の起動時に撮像装置２００の前面から移動した起動位置との間でスライド可能なバリア部２０１を備える。   As illustrated in FIGS. 16 and 17, the imaging device 200 is between an initial position that covers the front surface of the imaging device 200 when the imaging device 200 is stopped and an activation position that is moved from the front surface of the imaging device 200 when the imaging device 200 is activated. And a slidable barrier unit 201.

このように、匂い検出部４は、バリア部２０１が初期位置のときに被膜される一方、バリア部２０１が起動位置のときに露出する位置される。この結果、撮像装置２００の停止時に、バリア部２０１によって匂い検出部４に砂塵等が侵入することを防止することができる。   As described above, the odor detection unit 4 is coated when the barrier unit 201 is at the initial position, and is exposed when the barrier unit 201 is at the activation position. As a result, when the imaging apparatus 200 is stopped, the barrier unit 201 can prevent dust and the like from entering the odor detection unit 4.

（その他の実施の形態）
上述した一実施の形態では、匂い検出部４が撮像装置に着脱自在であってもよい。たとえば、撮像装置に対してライブビューファインダー装置等を取り付けるシューに取り付けてもよい。 (Other embodiments)
In the embodiment described above, the odor detection unit 4 may be detachable from the imaging apparatus. For example, you may attach to the shoe which attaches a live view finder apparatus etc. with respect to an imaging device.

上述した一実施の形態では、表示部７が特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データに対応する画像を表示していたが、これに限定されるわけではない。たとえば、制御部１１は、通信部１０を介して特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データをテレビ、携帯電話およびデジタルフォトフレーム等の表示機能を有する外部表示装置に出力することにより画像の表示を行ってもよい。また、撮像装置１は、外部メモリに特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データを記憶させ、この画像データを記憶させた外部メモリを外部表示装置で表示するようにしてもよい。   In the above-described embodiment, the display unit 7 displays an image corresponding to the image data that has been subjected to the special effect processing and the visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b. It is not limited to. For example, the control unit 11 receives image data that has been subjected to special effect processing and visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b via the communication unit 10, such as a television, a mobile phone, and a digital photo frame. The image may be displayed by outputting to an external display device having a display function. In addition, the imaging apparatus 1 stores image data that has been subjected to special effect processing and visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b in an external memory, and the external memory that stores the image data is stored in the external memory. You may make it display with an external display apparatus.

上述した一実施の形態では、表示部７が撮影時に特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データに対応する画像を表示していたが、たとえば、再生時に特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データに対応する画像を表示部７に表示させるようにしてもよい。これにより、撮影時に表示部７が表示するライブビュー画像のフレームレートを高速化することができ、撮影時のＡＦ機能やＡＦ追従機能が低下することを防止することができる。この結果、被写体のシャッタチャンスを逃すことを防止することができる。   In the above-described embodiment, the display unit 7 displays an image corresponding to the image data that has been subjected to the special effect processing and the visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b at the time of shooting. For example, an image corresponding to image data that has been subjected to special effect processing and visual effect processing by the special effect processing unit 111a and the visual effect processing unit 111b, respectively, may be displayed on the display unit 7 during reproduction. Thereby, the frame rate of the live view image displayed on the display unit 7 at the time of shooting can be increased, and the AF function and AF tracking function at the time of shooting can be prevented from being lowered. As a result, it is possible to prevent the subject from missing a photo opportunity.

上述した一実施の形態では、通信部１０を介してパーソナルコンピュータやサーバ等の外部処理装置に接続することによって、制御部１１が通信部１０を介して受信した情報に基づいて撮影モード情報記憶部９３、特殊効果処理情報記憶部９４、視覚効果情報記憶部９５およびプログラム記憶部９２に記憶された各種情報の更新または書き換えを行ってもよい。これにより、制御部１１は、新たに追加された撮影モード、特殊効果、視覚効果を用いて撮影を行うことができる。   In the above-described embodiment, the photographing mode information storage unit is connected to an external processing device such as a personal computer or a server via the communication unit 10 and based on information received by the control unit 11 via the communication unit 10. 93, the special effect processing information storage unit 94, the visual effect information storage unit 95, and the various types of information stored in the program storage unit 92 may be updated or rewritten. Thereby, the control part 11 can image | photograph using the imaging | photography mode newly added, the special effect, and the visual effect.

また、上述した一実施の形態では、撮像装置をデジタルカメラとして説明したが、たとえばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能と表示機能を備えた各種電子機器に適用することができる。   In the above-described embodiment, the imaging apparatus is described as a digital camera. However, the imaging apparatus can be applied to various electronic devices having a shooting function and a display function such as a digital video camera and a mobile phone with a camera.

１，２００ 撮像装置
２ 撮像部
３ 発光部
４ 匂い検出部
５ 時計
６ 操作入力部
７ 表示部
８ タッチパネル
９ 記憶部
１０ 通信部
１１ 制御部
２１ レンズ部
２２ レンズ駆動機構
２３ 絞り
２４ 絞り駆動機構
２５ シャッタ
２６ シャッタ駆動機構
２７ 撮像素子
２８ 信号処理部
４１〜４３ 匂いセンサ
４１ａ 人工脂質膜、
４１ｂ イオン感受性電界効果型トランジスタ
６１ 電源スイッチ
６２ レリーズスイッチ
６３ 撮影モード切換スイッチ
６４ 操作スイッチ
６５ メニュースイッチ
６６ 動画スイッチ
９１ 画像データ記憶部
９２ プログラム記憶部
９３ 撮影モード情報記憶部
９４ 特殊効果情報記憶部
９５ 視覚効果情報記憶部
９６ 匂い情報記憶部
１１１ 画像処理部
１１１ａ 特殊効果処理部
１１１ｂ 視覚効果処理部
１１２ 視覚情報変換部
１１３ 視覚効果設定部
１１４ 視覚効果判定部
１１５ 撮影モード設定部
１１６ 顔検出部 DESCRIPTION OF SYMBOLS 1,200 Imaging device 2 Imaging part 3 Light emission part 4 Odor detection part 5 Clock 6 Operation input part 7 Display part 8 Touch panel 9 Memory | storage part 10 Communication part 11 Control part 21 Lens part 22 Lens drive mechanism 23 Diaphragm 24 Diaphragm drive mechanism 25 Shutter 26 Shutter drive mechanism 27 Image sensor 28 Signal processor 41 to 43 Odor sensor 41a Artificial lipid membrane,
41b Ion-sensitive field effect transistor 61 Power switch 62 Release switch 63 Shooting mode switch 64 Operation switch 65 Menu switch 66 Movie switch 91 Image data storage unit 92 Program storage unit 93 Shooting mode information storage unit 94 Special effect information storage unit 95 Visual Effect information storage unit 96 Odor information storage unit 111 Image processing unit 111a Special effect processing unit 111b Visual effect processing unit 112 Visual information conversion unit 113 Visual effect setting unit 114 Visual effect determination unit 115 Shooting mode setting unit 116 Face detection unit

Claims (11)

被写体を撮像して電子的な画像データを生成する撮像装置であって、
前記画像データに視覚効果を付加する視覚効果処理部と、
当該撮像装置における周囲の匂いを検出する匂い検出部と、
前記匂い検出部が検出した前記匂いを視覚情報に変換する視覚情報変換部と、
前記視覚情報変換部が変換した前記視覚情報に基づいて、前記視覚効果処理部が付加する前記視覚効果を設定する視覚効果設定部と、
を備えたことを特徴とする撮像装置。 An imaging device that images a subject and generates electronic image data,
A visual effect processing unit for adding a visual effect to the image data;
An odor detection unit for detecting the odor of the surrounding in the imaging device;
A visual information conversion unit that converts the odor detected by the odor detection unit into visual information;
Based on the visual information converted by the visual information conversion unit, a visual effect setting unit that sets the visual effect added by the visual effect processing unit;
An imaging apparatus comprising: 前記画像データに特殊効果処理を行う特殊効果処理部をさらに備え、
前記視覚効果処理部は、前記特殊効果処理部が前記特殊効果処理を行った前記画像データに対して前記視覚効果を付加することを特徴とする請求項１に記載の撮像装置。 A special effect processing unit for performing special effect processing on the image data;
The imaging apparatus according to claim 1, wherein the visual effect processing unit adds the visual effect to the image data on which the special effect processing unit has performed the special effect processing. 前記視覚情報は、色空間の変数であることを特徴とする請求項１または２に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the visual information is a color space variable. 前記匂い検出部は、検出する匂いの成分がそれぞれ異なる複数の匂いセンサを有し、
前記視覚情報変換部は、前記複数の匂いセンサがそれぞれ検出した匂いを、前記視覚情報としての互いに独立な色空間の変数に変換し、
前記視覚効果設定部は、前記色空間の変数を用いて前記視覚効果としての色を設定することを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。 The odor detection unit has a plurality of odor sensors that detect different odor components,
The visual information conversion unit converts the odor detected by each of the plurality of odor sensors into variables of mutually independent color spaces as the visual information,
The imaging apparatus according to claim 1, wherein the visual effect setting unit sets a color as the visual effect using a variable of the color space. 複数の撮影モードの中からいずれかの撮影モードを設定する撮影モード設定部をさらに備え、
前記視覚効果設定部は、前記撮影モード設定部が設定した前記撮影モードに基づいて、前記画像データに対応する画像内における前記視覚効果の表示領域を設定することを特徴とする請求項１〜４のいずれか一つに記載の撮像装置。 A shooting mode setting unit for setting one of the shooting modes from a plurality of shooting modes;
5. The visual effect setting unit sets a display region of the visual effect in an image corresponding to the image data based on the shooting mode set by the shooting mode setting unit. The imaging device according to any one of the above. 前記画像データに含まれる前記被写体の顔を検出する顔検出部と、
複数の匂い成分がそれぞれ設定された匂い情報を記憶する匂い情報記憶部と、
をさらに備え、
前記視覚情報変換部は、前記匂い情報記憶部が記憶する前記匂い情報を参照して、前記匂い検出部が検出する匂いを匂いの成分に変換し、
前記視覚効果設定部は、前記匂い成分に基づいて、前記顔検出部が検出した前記被写体の顔に付加する前記視覚効果を設定することを特徴とする請求項１または２に記載の撮像装置。 A face detection unit for detecting the face of the subject included in the image data;
An odor information storage unit for storing odor information in which a plurality of odor components are set;
Further comprising
The visual information conversion unit refers to the odor information stored in the odor information storage unit, converts the odor detected by the odor detection unit into an odor component,
The imaging device according to claim 1, wherein the visual effect setting unit sets the visual effect to be added to the face of the subject detected by the face detection unit based on the odor component. 前記視覚効果処理部が前記画像データに付加する前記視覚効果に関する情報の入力を受け付ける操作入力部と、
前記操作入力が入力を受け付けた情報に応じた前記視覚効果が前記匂い情報を使用する視覚効果か否かを判定する視覚効果判定部をさらに備え、
前記匂い検出部は、前記視覚効果判定部が前記視覚効果に前記匂いを使用すると判定した場合、前記匂いを検出することを特徴とする請求項１〜６のいずれか一つに記載の撮像装置。 An operation input unit that receives input of information regarding the visual effect that the visual effect processing unit adds to the image data;
A visual effect determination unit that determines whether the visual effect according to the information that the operation input has received is a visual effect that uses the odor information;
The imaging device according to any one of claims 1 to 6, wherein the odor detection unit detects the odor when the visual effect determination unit determines that the odor is used for the visual effect. . 当該撮像装置の停止時に当該撮像装置の前面を覆う初期位置と当該撮像装置の起動時に前記前面から移動した起動位置との間でスライド可能なバリア部をさらに備え、
前記匂い検出部は、前記バリア部が前記初期位置のときに被覆される一方、前記バリア部が前記起動位置のときに露出されることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。 A barrier unit that is slidable between an initial position that covers the front surface of the imaging device when the imaging device is stopped and an activation position that is moved from the front surface when the imaging device is activated;
The odor detection unit is covered when the barrier unit is at the initial position, and is exposed when the barrier unit is at the activation position. The imaging device described. 前記匂い検出部は、当該撮像装置に着脱自在であることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。   The imaging apparatus according to claim 1, wherein the odor detection unit is detachable from the imaging apparatus. 前記画像データに対応する画像を表示する表示部をさらに備えたことを特徴とする請求項１〜９のいずれか一つに記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a display unit that displays an image corresponding to the image data. 被写体を撮像して電子的な画像データを生成する画像を表示可能な撮像装置に、
前記画像データに視覚効果を付加する視覚効果処理ステップと、
当該撮像装置における周囲の匂いを検出する匂い検出ステップと、
前記匂い検出ステップで検出した前記匂いを視覚情報に変換する視覚情報変換ステップと、
前記視覚情報変換ステップで変換した前記視覚情報に基づいて、前記視覚効果処理ステップで付加させる前記視覚効果を設定する視覚効果設定ステップと、
を実行させることを特徴とする撮像プログラム。 In an imaging device capable of displaying an image that images a subject and generates electronic image data,
A visual effect processing step of adding a visual effect to the image data;
An odor detection step for detecting an odor around the imaging apparatus;
A visual information conversion step of converting the odor detected in the odor detection step into visual information;
Based on the visual information converted in the visual information conversion step, a visual effect setting step for setting the visual effect to be added in the visual effect processing step;
The imaging program characterized by performing.
JP2010271863A 2010-12-06 2010-12-06 Imaging apparatus and imaging program Pending JP2012124601A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010271863A JP2012124601A (en) 2010-12-06 2010-12-06 Imaging apparatus and imaging program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010271863A JP2012124601A (en) 2010-12-06 2010-12-06 Imaging apparatus and imaging program

Publications (1)

Publication Number Publication Date
JP2012124601A true JP2012124601A (en) 2012-06-28

Family

ID=46505625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010271863A Pending JP2012124601A (en) 2010-12-06 2010-12-06 Imaging apparatus and imaging program

Country Status (1)

Country Link
JP (1) JP2012124601A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031080A1 (en) * 2014-08-29 2016-03-03 株式会社アロマビット Odour detection system, odour identification device, and odour identification method
WO2018061092A1 (en) * 2016-09-27 2018-04-05 株式会社アロマビット Smell measurement device and smell data management device
JPWO2017085939A1 (en) * 2015-11-17 2018-08-30 株式会社アロマビット Odor sensor and odor measurement system
CN110320268A (en) * 2019-08-15 2019-10-11 杭州市中医院 The method for characterizing the taste substance in solution by sense of taste detection system
JP2020012846A (en) * 2014-08-29 2020-01-23 株式会社アロマビット Olfactory sense system, odor identification device, and odor identification method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031080A1 (en) * 2014-08-29 2016-03-03 株式会社アロマビット Odour detection system, odour identification device, and odour identification method
CN106662517A (en) * 2014-08-29 2017-05-10 株式会社而摩比特 Odour detection system, odour identification device, and odour identification method
JPWO2016031080A1 (en) * 2014-08-29 2017-07-20 株式会社アロマビット Olfactory system, odor identification device, and odor identification method
US10422771B2 (en) 2014-08-29 2019-09-24 Kabushikigaisha Aroma Bit, Inc. Odor detection system, odor identification device, and odor identification method
JP2020012846A (en) * 2014-08-29 2020-01-23 株式会社アロマビット Olfactory sense system, odor identification device, and odor identification method
US11112383B2 (en) 2014-08-29 2021-09-07 Kabushikigaisha Aroma Bit, Inc. Odor detection system, odor identification device, and odor identification method
US11946904B2 (en) 2014-08-29 2024-04-02 Kabushikigaisha Aroma Bit, Inc. Sample information acquisition unit, information processing unit, odor identification device
JPWO2017085939A1 (en) * 2015-11-17 2018-08-30 株式会社アロマビット Odor sensor and odor measurement system
WO2018061092A1 (en) * 2016-09-27 2018-04-05 株式会社アロマビット Smell measurement device and smell data management device
US11237139B2 (en) 2016-09-27 2022-02-01 Aroma Bit, Inc. Odor measurement apparatus and odor data management apparatus
US11686711B2 (en) 2016-09-27 2023-06-27 Aroma Bit, Inc. Odor measurement apparatus and odor data management apparatus
CN110320268A (en) * 2019-08-15 2019-10-11 杭州市中医院 The method for characterizing the taste substance in solution by sense of taste detection system

Similar Documents

Publication Publication Date Title
JP6460653B2 (en) Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program
JP5683418B2 (en) Photographing equipment and photographing method
JP5719223B2 (en) Image recording apparatus, recording method, and program
JP6284408B2 (en) Image processing apparatus, imaging apparatus, determination method, driving method, imaging method, and program
JP2012248937A (en) Imaging apparatus, image processor, and imaging method
JP5750692B2 (en) Imaging apparatus, imaging program, and imaging method
JP2012124601A (en) Imaging apparatus and imaging program
JP2011188318A (en) Camera, camera control program, and photographing teaching method
JP2007251694A (en) Camera, pixel adding area determining method of camera, program, and recording medium
JP2014039084A (en) Imaging apparatus
JP6210772B2 (en) Information processing apparatus, imaging apparatus, control method, and program
JP2012142780A (en) Imaging apparatus and imaging program
JP2011130031A (en) Imaging apparatus, and control method for the same
JP2015159550A (en) Imaging apparatus, imaging method, and program
JP6223173B2 (en) Image processing apparatus, control method thereof, and program
JP2007028546A (en) Imaging apparatus
JP4767118B2 (en) camera
JP2009171006A (en) Imaging apparatus and control method of thereof
JP2004208058A (en) Image pickup device and image pickup program
JP5592778B2 (en) Imaging apparatus, imaging method, and imaging program
JP2013055609A (en) Digital camera
JP2011197999A (en) Image processing apparatus and image processing method
JP2012239078A (en) Photographing device
JP2004179708A (en) Digital camera and control method therefor
JP2007288571A (en) Photographing device and display method