JP2015127851A - Machine device - Google Patents
Machine device Download PDFInfo
- Publication number
- JP2015127851A JP2015127851A JP2013272576A JP2013272576A JP2015127851A JP 2015127851 A JP2015127851 A JP 2015127851A JP 2013272576 A JP2013272576 A JP 2013272576A JP 2013272576 A JP2013272576 A JP 2013272576A JP 2015127851 A JP2015127851 A JP 2015127851A
- Authority
- JP
- Japan
- Prior art keywords
- electroencephalogram
- condition
- image
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 claims abstract description 52
- 238000003860 storage Methods 0.000 claims abstract description 31
- 230000008451 emotion Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 156
- 238000001514 detection method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 14
- 230000007423 decrease Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 210000004761 scalp Anatomy 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000011514 reflex Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、機械装置に関する。 The present invention relates to a mechanical device.
ユーザーの感情を判別し、「感動」などの状況が検出された場合において、その時の撮像画像を保存する撮像装置が知られている(例えば、特許文献1参照)。
[先行技術文献]
[特許文献]
[特許文献1] 特開2008−118527号公報
There is known an imaging device that discriminates a user's emotion and stores a captured image at that time when a situation such as “feeling” is detected (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2008-118527
しかしながら、上記撮像装置は、「感動」という感情が生じたときに二次的に変化する脈拍等を用いて、感情を判別しているので、実際に「感動」した画像を正確に特定できるものではなかった。 However, since the imaging device discriminates emotions using a pulse that changes secondarily when the emotion of “impression” occurs, it can accurately identify the actually “impressed” image. It wasn't.
本発明の第1の態様においては、感情ごとに独立した脳波の条件を予め格納する条件格納部と、使用者からの脳波に関する脳波情報を取得し、取得した前記脳波情報に含まれる脳波が前記条件格納部に格納されている前記脳波の条件を満たすか否かを判断する条件判断部と、前記条件判断部により前記脳波の条件を満たすと判断された場合に、予め定められた操作を実行する機械装置を提供する。 In the first aspect of the present invention, a condition storage unit that stores in advance a condition of an electroencephalogram independent for each emotion, an electroencephalogram information related to an electroencephalogram from a user is acquired, and an electroencephalogram included in the acquired electroencephalogram information includes the electroencephalogram A condition determination unit that determines whether or not the condition of the electroencephalogram stored in the condition storage unit is satisfied, and a predetermined operation is executed when the condition determination unit determines that the condition of the electroencephalogram is satisfied A mechanical device is provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、実験システム100の模式図を示す。実験システム100は、映像提示用コンピュータ102と、プロジェクター104と、100インチスクリーン106と、脳波計測装置108とから構成される。また、脳波計測装置108は、脳波計測用コンピュータ110と、脳波計112とを有する。
FIG. 1 shows a schematic diagram of an
図2は、脳波計112の電極配置の一例を示す図である。脳波計112は、一般的に用いられている国際10−20法に従い、定められた場所に21個の脳波計112が配置されている。
FIG. 2 is a diagram illustrating an example of the electrode arrangement of the
実験システム100において、映像提示用コンピュータ102には、被験者114が、予め、自らが「かわいい」として用意した画像(以後、かわいい画像という)の画像データと、被験者114が、自らが「興味がない」として用意した画像(以後、興味なし画像という)の画像データとが記録されている。
In the
被験者の「かわいい」という感情は、被験者の「興味がない」に相反する「興味がある」という感情に含まれる。また、被験者自らが「かわいい」として用意した画像を提示することから、以後、「興味がある」という感情の一例として「かわいい」という感情を用いて説明する。 The feeling of “cute” of the subject is included in the feeling of “interesting” contrary to the “not interested” of the subject. In addition, since the subject himself / herself presents an image prepared as “cute”, the following description will be made using the emotion “cute” as an example of the emotion “interested”.
実験システム100のプロジェクター104を用いて、かわいい画像および興味なし画像を100インチスクリーン106に投写して、被験者114に提示する。そして、当該画像を、被験者114に提示した場合に生じる被験者114の脳波を、脳波計112を用いて計測する。ここで、脳波とは、人体の頭皮から計測できる電位のことである。図2に示した位置にそれぞれ設けられた脳波計112は、当該電位を検出して、脳波計測用コンピュータ110に出力する。
Using the
図3は、脳波プロファイルの一例を示す。図3において、実線は、被験者Aに、かわいい画像を提示した場合に、Cz位置の脳波計112に生じた脳波プロファイルを示している。また、破線は、同じ被験者Aに、興味なし画像を提示した場合にCz位置の脳波計112に生じた脳波プロファイルを示している。図3に示したプロファイルは、時間波形に関する脳波のプロファイルを示しており、時間を示す横軸の「0」の時点で、かわいい画像または興味なし画像を被験者Aに提示している。
FIG. 3 shows an example of an electroencephalogram profile. In FIG. 3, a solid line indicates an electroencephalogram profile generated in the
図3より、かわいい画像を提示した場合に生じる脳波には、画像を提示してから300ms付近にP300と呼ばれる陽性の振幅を有して出現する事象関連電位が確認されている。そして、300ms付近以降においては、電位が低下して再び上昇する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、画像を提示してから300ms付近にP300が確認された後にも、電位が微増する脳波プロファイルが確認されている。このように、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、300ms付近以降の挙動が異なっている。 From FIG. 3, it is confirmed that an electroencephalogram generated when a cute image is presented has an event-related potential that appears with a positive amplitude called P300 around 300 ms after the image is presented. Then, after about 300 ms, an electroencephalogram profile in which the potential decreases and rises again is confirmed. Further, in the electroencephalogram generated when an uninteresting image is presented, an electroencephalogram profile in which the potential slightly increases is confirmed even after P300 is confirmed around 300 ms after the image is presented. In this way, the electroencephalogram that occurs when a cute image is presented and the electroencephalogram that occurs when an uninteresting image is presented have different behaviors after about 300 ms.
P300の事象関連電位とは、画像の表示からおよそ300ms付近以降に、被験者の頭皮上の中心部から後頭部にかけて陽性の振幅を有して出現する脳電位をいう。P300の事象関連電位は、被験者に関連した内容を認識した場合に、関連しない内容を認識した場合と比較して、高振幅の陽性の脳電位が生じることが知られている。上記において、かわいい画像も興味なし画像の何れも被験者が用意した画像であり、いずれの画像も被験者が知っている被験者に関連した内容である。したがって、かわいい画像および興味なし画像の両方で、P300の事象関連電位が観測されている。しかし、P300の事象関連電位の大きさおよびその後の脳波の挙動は、かわいい画像を提示した場合と、興味なし画像を提示した場合とで明らかに異なることがわかる。 The event-related potential of P300 refers to a brain potential that appears with a positive amplitude from the center of the subject's scalp to the back of the head after about 300 ms from the display of the image. As for the event-related potential of P300, it is known that when the contents related to the subject are recognized, a positive brain potential with a high amplitude is generated as compared with the case where the contents not related are recognized. In the above, both the cute image and the non-interesting image are images prepared by the subject, and both images are contents related to the subject known to the subject. Therefore, an event-related potential of P300 is observed in both cute and non-interesting images. However, it can be seen that the magnitude of the P300 event-related potential and the behavior of the subsequent electroencephalogram are clearly different when a cute image is presented and when an uninteresting image is presented.
図4は、脳波プロファイルの他の例を示す。図4において、実線は、被験者Bに、かわいい画像を提示した場合に、Cz位置の脳波計112に生じた脳波プロファイルを示している。また、破線は、同じ被験者Bに興味なし画像を提示した場合に、Cz位置の脳波計112に生じた脳波プロファイルを示している。図4に示したプロファイルも、図3と同様に、時間波形に関する脳波のプロファイルを示しており、時間を示す横軸の「0」の時点で、かわいい画像または興味なし画像を被験者Bに提示している。
FIG. 4 shows another example of an electroencephalogram profile. In FIG. 4, the solid line indicates an electroencephalogram profile generated in the
図4より、かわいい画像を提示した場合に生じる脳波には、画像を提示してから300msの後に大きな陽性の振幅を有するP300の事象関連電位が確認されている。300ms以降においては、電位が徐々に低下する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、画像を提示していから300msの後に小さなP300の事象関連電位が確認された後に、電位が徐々に減少していく脳波プロファイルが確認されている。このように、被験者Bにおいても、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、300ms付近以降の挙動は明らかに異なっている。 As shown in FIG. 4, in the electroencephalogram generated when a cute image is presented, an event-related potential of P300 having a large positive amplitude is confirmed 300 ms after the image is presented. An electroencephalogram profile in which the potential gradually decreases after 300 ms has been confirmed. In addition, in the electroencephalogram generated when an uninteresting image is presented, an electroencephalogram profile in which the potential gradually decreases is confirmed after a small P300 event-related potential is confirmed 300 ms after the image is presented. Yes. Thus, also in the subject B, the behavior of the electroencephalogram generated when the cute image is presented and the electroencephalogram generated when the non-interesting image is presented are clearly different after about 300 ms.
また、かわいい画像を提示した場合に生じる被験者Aの脳波プロファイルと、かわいい画像を提示した場合に生じる被験者Bの脳波プロファイルは異なっている。さらに、興味なし画像を提示した場合に生じる被験者Aの脳波プロファイルと、興味なし画像を提示した場合に生じる被験者Bの脳波プロファイルも異なっていることがわかる。 Further, the brain wave profile of the subject A generated when the cute image is presented is different from the brain wave profile of the subject B generated when the cute image is presented. Furthermore, it can be seen that the electroencephalogram profile of the subject A generated when the uninteresting image is presented is different from the electroencephalogram profile of the subject B generated when the noninteresting image is presented.
図5は、脳波プロファイルの他の例を示す。図5において、実線は、被験者Aに、かわいい画像を提示した場合に、Fz位置の脳波計112に生じた脳波プロファイルを示している。また、破線は、同じ被験者Aに、興味なし画像を提示した場合に、Fz位置の脳波計112に生じた脳波プロファイルを示している。
FIG. 5 shows another example of an electroencephalogram profile. In FIG. 5, a solid line indicates an electroencephalogram profile generated in the
図5より、かわいい画像を提示した場合に生じる脳波には、他の脳波プロファイルと同様に、画像を提示してから300ms付近に小さいながらもP300の事象関連電位が確認されている。また、300ms付近以降においては、電位が低下した後に上昇し、再び低下する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、他の脳波プロファイルと同様に、画像を提示していから300ms付近にP300の事象関連電位が確認された後に、その電圧を維持して上下する脳波プロファイルが確認されている。このように、Fzの位置に生じる脳波においても、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、300ms付近以降の挙動が明らかに異なっている。さらに、被験者Aにおいて、かわいい画像を提示した場合にCz位置に生じる脳波と、Fz位置に生じる脳波は異なり、興味なし画像を提示した場合にCz位置に生じる脳波と、Fz位置に生じる脳波も異なっている。 As shown in FIG. 5, in the brain wave generated when a cute image is presented, the event-related potential of P300 is confirmed although it is small in the vicinity of 300 ms after the image is presented, as in other brain wave profiles. In addition, after about 300 ms, an electroencephalogram profile that increases after the potential decreases and then decreases again is confirmed. Similarly to other brain wave profiles, the EEG generated when an uninteresting image is presented is maintained at the voltage after the P300 event-related potential is confirmed around 300 ms after the image is presented. A brain wave profile is confirmed. Thus, also in the electroencephalogram generated at the position of Fz, the electroencephalogram generated when a cute image is presented and the electroencephalogram generated when an uninteresting image is presented are clearly different in behavior after 300 ms. Furthermore, in the subject A, the brain wave generated at the Cz position when the cute image is presented is different from the brain wave generated at the Fz position, and the brain wave generated at the Cz position when the uninteresting image is presented is different from the brain wave generated at the Fz position. ing.
このように、脳波は、かわいい画像を視認した場合に生じた場合と、興味なし画像を視認した場合とで、当該画像を提示した後から300ms付近以降に異なる挙動を示す。したがって、脳波を検出することで、「かわいい」と感じた場合と「興味がない」と感じた場合とで明確に区別可能である。本実施形態は、デジタルスチルカメラ・ビデオカメラにおいて静止画・動画を撮影する場合、および、画像に対する処理、例えば、分類・保存・検索・再利用をする場合に、上記知見を適用する。 As described above, the electroencephalogram shows different behaviors in the vicinity of 300 ms after the presentation of the image depending on whether the image is generated when the cute image is viewed or when the uninteresting image is viewed. Therefore, by detecting an electroencephalogram, it is possible to clearly distinguish between a case where the user feels “cute” and a case where he / she feels “not interested”. In the present embodiment, the above knowledge is applied when a still image / moving image is shot with a digital still camera / video camera, and when processing, for example, classification / storage / search / reuse, is performed on an image.
図6は、上記知見を適用させた本実施形態の画像処理システム10の一例を説明する図である。画像処理システム10は、画像処理装置12と脳波測定装置13とを備える。なお、画像処理装置12は、機械装置の一例である。
FIG. 6 is a diagram illustrating an example of the
脳波測定装置13は、使用者11から脳波に関する脳波情報を取得して、画像処理装置12に出力する。脳波測定装置13は、帽子部14と、ベルト部15と、脳波計16とを有する。帽子部14は、剛性のある布または皮製の帽子であり、使用者11の頭を覆うように装着される。帽子部14の左右の両端部には、帽子部14と同じ材質から構成されるベルト部15が設けられている。脳波計16は、帽子部14の使用者11の頭皮と接触する側にであって、国際10‐20法のFz、Cz、Pzの三カ所の位置に設けている。脳波計16は、使用者11からの脳波を検出して、画像処理装置12に出力する。なお、画像処理装置12への出力は無線であっても有線であってもよいが、本実施形態において、脳波計16は、例えば、UWB、ZigBee(登録商標)、Wi−Fi、Bluetooth(登録商標)、3G、および/又は、LTE等の無線通信規格に準拠して画像処理装置12と通信する。
The
ベルト部15は、帽子部14を使用者11の頭皮に密着させるように固定する。これにより、脳波計16は、使用者11の頭皮に密着されるので、脳波計16は、使用者11の頭皮から発する微弱な脳波を検出できる。
The
また、脳波計16は、図2に示した国際10−20法に従い、21個の脳波計16を設けてもよい。しかし、脳波の検出には、少なくとも一つの脳波計16があればよく、また事象関連電位は、大脳の中央部にある大脳縦裂に沿って大きく検出されるので、本実施形態においては、国際10−20法における中央部のCz、Fz、Pz位置に脳波計16を設けている。このように、事象関連電位が測定される部分に絞って脳波計16を配置することで、脳波の検出精度を低下させず、脳波計の個数を減らすことができ、装置コストを低減できる。
The
画像処理装置12は、脳波測定装置13から取得した脳波情報に含まれる脳波が、画像処理装置12に格納された、感情ごとに独立した脳波の条件を満たすか否かを判断する。画像処理装置12は、取得した脳波情報が、脳波の条件を満たすと判断した場合、被写界を撮像して画像を生成する。なお、本実施形態において、画像処理装置12による被写界の撮像は、画像処理装置12における画像に対する処理の一例である。
The
図7は、画像処理装置12の機能ブロック図を示す。画像処理装置12は、撮影レンズ20と、撮像素子22と、駆動部24と、A/D変換回路28と、メモリ30と、制御部32と、メモリカードIF34と、メモリカード36と、LCD駆動回路38と、表示部40と、AFセンサ42と、操作部44と、脳波判断部50とを有する。また、脳波判断部50は、条件格納部52と、条件判断部54と、画像処理部56とを有する。
FIG. 7 shows a functional block diagram of the
撮像素子22は、撮影レンズ20の焦点面近傍に配置されている。撮像素子22は、二次元的に複数の光電変換素子が配された、例えばCCD、CMOSセンサ等のイメージセンサである。
The
駆動部24は、撮像素子22の光電変換素子からの画像信号を読み取るべく撮像素子22を駆動する。画像処理装置12は、駆動部24によりタイミング制御されて、受光面上に結像された被写界を画像信号に変換してA/D変換回路28へ出力する。A/D変換回路28は、撮像素子22が出力する画像信号をデジタル画像信号に変換してメモリ30へ出力する。
The
制御部32は、メモリ30をワークスペースとして種々の画像処理を施して、画像データを生成する。制御部32によって生成された画像データは、LCD駆動回路38により表示信号に変換され、表示部40に表示される。また、メモリカードIF34に装着されているメモリカード36に記録される。
The
AFセンサ42は、被写界空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写界像のデフォーカス量を検出する。撮像シーケンスに付随するAF、AE等の各種動作は、制御部32に制御されて実行される。例えば、制御部32は、AFセンサ42の検出信号を解析して、撮影レンズ20の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、撮像素子22をAFセンサ42の代わりに用いてもよく、その場合には別個のAFセンサ42は設けなくてよい。
The
条件格納部52は、感情ごとに独立した脳波の条件を格納する。感情ごとに独立した脳波の条件は、使用者11が、かわいいと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルと、使用者11が、興味がないと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルに基づいて予め定められる。また、使用者11がかわいいと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルと使用者11が、興味がないと感じた場合に使用者に生じる300ms付近以降の脳波プロファイルとの差によって、それぞれの脳波の条件を定めてもよい。なお、当該脳波プロファイルは、予め、使用者11が用意したかわいい画像と、興味なし画像を使用者11に視認させて、視認した後に生じる脳波プロファイルを取得して、条件格納部52に格納されている。
The
「かわいい」という感情の脳波の条件の一例は、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味がないと感じた場合に生じる脳波プロファイルには生じない脳波プロファイルの特徴の有無である。例えば、図3に示した例においては、かわいい画像を提示した場合に生じた脳波プロファイルは、300ms付近以降に大きな電位の減少が確認されたが、興味なし画像を提示した場合に生じる脳波プロファイルには確認されていない。このように、図3に示した例においては、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味なしと感じた場合に生じない300ms付近以降に大きな電位の減少の有無を、脳波の条件と設定できる。そして、取得した脳波情報に含まれる脳波から脳波プロファイルを作成した場合において、脳波プロファイルに300ms付近以降に大きな電位の減少が確認された場合に、画像処理装置12は、使用者11が、かわいいと感じたと判断する。
An example of the EEG condition for the emotion of “cute” is the characteristics of an electroencephalogram profile that occurs when you feel cute, and the presence or absence of an electroencephalogram profile that does not occur in an electroencephalogram profile that occurs when you feel uninterested is there. For example, in the example shown in FIG. 3, the electroencephalogram profile that occurred when a cute image was presented showed a large potential decrease after about 300 ms, but the electroencephalogram profile that occurred when an uninteresting image was presented. Has not been confirmed. As described above, in the example shown in FIG. 3, the presence or absence of a large potential decrease after about 300 ms, which is a characteristic of an electroencephalogram profile that occurs when it is felt cute and does not occur when it is felt that there is no interest, Can be set with conditions. Then, when a brain wave profile is created from the brain wave included in the acquired brain wave information, and when a large potential decrease is observed in the brain wave profile after about 300 ms, the
一方、取得された脳波プロファイルに、300ms付近以降の大きな電位の減少が確認されなかった場合に、画像処理装置12は、使用者11が、かわいいと感じていないと判断する。また、脳波の条件は、複数の脳波計16のそれぞれにおいて定めることができ、脳波の条件を満たすか否かを、脳波の条件を満たした脳波計16の個数によって定めてもよい。
On the other hand, when a large potential decrease after about 300 ms is not confirmed in the acquired electroencephalogram profile, the
また、「興味がない」という感情の脳波の条件の一例は、同様に興味がないと感じた場合に生じる脳波プロファイルの特徴であって、かわいいと感じた場合に生じる脳波プロファイルには生じない脳波プロファイルの特徴の有無である。条件格納部52は、これら感情ごとに独立した脳波の条件を格納する。
An example of the EEG condition for emotions of “not interested” is the characteristics of the EEG profile that occurs when the user feels that they are not interested in the same. Whether there is a profile feature. The
上記脳波の条件は、横軸を時間とする時間波形に関する条件となるが、脳波の条件は、脳波の周波数分布に関する条件、または周波数分布の時間変化に関する条件で定めてもよい。その場合の脳波の条件は、かわいいと感じた場合に生じる脳波の周波成分を含むとしてもよい。 The brain wave condition is a condition related to a time waveform having time on the horizontal axis, but the brain wave condition may be determined based on a condition related to the frequency distribution of the brain wave or a condition related to a time change of the frequency distribution. The electroencephalogram condition in that case may include an electroencephalogram frequency component generated when the user feels cute.
また、脳波の条件として、脳波の測定を開始するトリガー条件も併せて条件格納部52に格納される。本実施形態において、トリガー条件は、操作部44を半押しすることとしている。したがって、使用者11は、被写界を定めて、操作部44を半押しすることで、脳波の測定が開始される。この場合、操作部44は、動作検知部として機能する。
In addition, a trigger condition for starting the measurement of an electroencephalogram is also stored in the
条件判断部54は、使用者11の指示に基づいて、条件格納部52に格納されている感情ごとに独立した脳波の条件を選択して読み出す。この場合において、条件判断部54は、脳波条件選択部として機能する。
The
条件判断部54は、脳波計16から使用者11の脳波情報を取得する。脳波情報とは、脳波の電位と時間との関係を示す時間波形に関する情報である。条件判断部54は、取得した脳波情報から、300ms付近以降の脳波プロファイルを作成する。条件判断部54は、作成した300ms付近以降の脳波プロファイルが、条件格納部52から読み出した脳波の条件を満たすか否かを判断する。画像処理部56は、条件判断部54により脳波の条件を満たすと判断された場合に、制御部32へ撮像信号を出力する。制御部32は、撮像信号を取得すると、被写界を撮像して画像データを生成する。
The
また、条件判断部54は、作成した脳波プロファイルに基づいて、感情を定量的に判断してもよい。例えば、かわいいという感情を、図3に示したプロファイルに基づいた脳波の条件で判断する場合において、300ms付近以降に生じた電位の減少が小さい場合は、使用者11が「少しかわいい」と感じているとし、300ms付近以降に生じた電位の減少が大きい場合は、使用者11が「すごくかわいい」と感じているとして、脳波の条件を満たすか否かの判断を変えてもよい。
Moreover, the
なお、脳波の条件が、脳波の周波数分布に関する条件、または周波数分布の時間変化に関する条件で定められている場合においては、条件判断部54は、取得した脳波を高速フーリエ変換して、脳波の周波数成分のピークを検出する。そして、検出した周波数成分の予め定めた閾値以上のピークの分布が、かわいいと感じた場合に生じる脳波から検出された閾値以上のピークの分布と同じである場合に、条件判断部54は、当該条件を満たすと判断してもよい。
In the case where the condition of the electroencephalogram is determined by the condition related to the frequency distribution of the electroencephalogram or the condition related to the time change of the frequency distribution, the
操作部44は、使用者11からの撮像指示を受け付けて、制御部32に当該撮像信号を入力する。制御部32は、撮像信号を取得すると、被写界を撮像して画像データを生成する。このように、画像処理装置12は、画像処理部56から撮像信号が入力されることによって被写界を撮像するとともに、操作部44から操作指示が入力されることによっても被写界を撮像できる。また、操作部44は、条件格納部52に複数の脳波の条件が格納されている場合に、使用者11からどの脳波の条件を使用するかの操作指示を受け付ける。
The
図8は、画像処理装置12の画像処理の一例を説明するフローチャートである。なお、図8に示したフローチャートにおいては、かわいいという感情の脳波の条件を用いて、使用者11が、かわいいと感じているか否かを判断する例について説明する。図8に示すフローチャートは、画像処理装置12の電源が入れられ、画像処理装置12の脳波制御がONとなっており、撮像ができる状態になった場合に開始する。
FIG. 8 is a flowchart for explaining an example of image processing of the
ステップS101において、条件判断部54は、使用者11の確認を行う。例えば、画像処理装置12の使用を開始する場合に使用者11のIDを登録する場合においては、条件判断部54は、使用者11により登録されたIDを参照する。
In step S <b> 101, the
条件判断部54は、条件格納部52に格納されているトリガー条件を参照して、トリガーを検出する(S102)。本実施形態において、操作部44の半押しがトリガー条件として条件格納部52に格納されている。使用者11が操作部44を半押しした場合に、操作部44は、トリガー信号を出力する。条件判断部54は、当該トリガー信号を検出する。
The
トリガーを検出した後に、条件判断部54は、脳波の測定を開始するために脳波計16から脳波情報を取得する(S103)。条件判断部54は、脳波情報を取得すると、300ms付近以降の脳波プロファイルを作成する。条件判断部54は、使用者11のIDに対応する脳波の条件を条件格納部52から読み出して、取得した脳波情報が脳波の条件を満たすか否かを判断する(S104)。条件判断部54は、例えば、図3に示した脳波プロファイルが、使用者11のIDに対応した脳波の条件として条件格納部52に格納されている場合においては、作成した脳波プロファイルに、300ms付近以降の大きな電位の減少が確認された場合に、脳波の条件を満たすと判断し(S104:Yes)、条件判断部54は、画像処理部56にその旨を示す信号を出力する。画像処理部56は、制御部32に撮像信号を出力する(S105)。
After detecting the trigger, the
制御部32は、撮像条件を設定する(S106)。撮像条件の設定の一例は、AFセンサ42の検出信号を解析して、撮影レンズ20の合焦制御を実行することである。制御部32は、駆動部24を用いて撮像素子22を駆動して、被写界を撮像して、画像データを生成する(S107)。制御部32は、作成した画像データをメモリカードIF34に装着されているメモリカード36に記録する(S108)。
The
一方、ステップS103において、条件判断部54は、例えば、作成した脳波プロファイルに、300ms付近以降の大きな電位の減少が確認されない場合に、脳波の条件を満たさないと判断し(S104:No)、ステップS105からステップS108をスキップして、処理をステップS109へ進める。制御部32は、使用者11から終了指示があったか否かを判断する(S109)。制御部32は、使用者11から終了指示があったと判断した場合(S109:Yes)、画像処理を終了する。一方、使用者11から終了指示があったと判断しない場合(S109:No)、制御部32は、処理をステップS102に戻す。
On the other hand, in step S103, the
図9は、表示部40に表示される画像の一例を示す。表示部40には、被写界に存在する被写体46と、撮像条件47と、脳波制御のON/OFFを表示する脳波制御表示48とが表示される。画像処理装置12において、脳波制御のON/OFFは、操作部44を用いて切り替えることができる。そして、表示部40には、脳波制御のON/OFFの切り替えに応じて、脳波制御表示48を切り変えて表示する。これにより、使用者11は、現在の画像処理装置12の脳波制御がONかOFFかを容易に知ることができる。
FIG. 9 shows an example of an image displayed on the
使用者11が自ら意識してかわいいと判断した場合にシャッターを押す場合、本来の無意識的な感性反応に対して年齢・性別といった社会的制約によって意識的な抑圧がかかってしまい、適切な操作ができない場合がある。以上説明したような、画像処理装置12は、具体的に、使用者11から生じる脳波の300ms付近以降の脳波プロファイルを用いて、使用者11の「かわいい」という感情を検出して、被写界を撮像できる。これにより、使用者11は、年齢・性別といった社会的制約にかかわらず、かわいいと判断した画像を取得できる。
When the
なお、脳波の条件を満たすか否かの判断は、少なくとも300ms以上の時間を要する。そのため、脳波の条件を満たすか否かの判断を行っているとかわいい瞬間を逃す可能性がある。その場合には、脳波の条件を満たしたか否かに関わらず撮像信号を出力して被写界の撮像を行い、脳波の条件を満たしたか否かの結果を事後的に反映させてもよい。すなわち、仮に、取得した脳波情報が脳波の条件を満たさなかった場合には、当該撮像により作成された画像データを事後的に消去してもよい。これにより、かわいい瞬間を逃すことなく、使用者11のかわいいという感情を検出して撮像を行うことができる。
Note that it takes at least 300 ms to determine whether or not the electroencephalogram condition is satisfied. Therefore, a cute moment may be missed if it is determined whether or not the condition of the electroencephalogram is satisfied. In that case, an imaging signal may be output to capture an image of the object field regardless of whether or not the electroencephalogram condition is satisfied, and the result of whether or not the electroencephalogram condition is satisfied may be reflected afterwards. That is, if the acquired electroencephalogram information does not satisfy the electroencephalogram conditions, the image data created by the imaging may be deleted afterwards. Thereby, without missing a cute moment, it is possible to detect and capture the emotion of the
また、本実施例において、脳波情報の取得を開始するトリガーは、操作部44の半押しを検出することによって、検出する例で説明したが、これに限られない。他の脳波情報の取得を開始するトリガーの例を、図10を用いて説明する。
In the present embodiment, the trigger for starting acquisition of electroencephalogram information has been described as being detected by detecting half-press of the
図10は、デジタル一眼レフカメラ19の機能ブロック図を示す。なお、図10において、図7と共通の要素には同じ参照番号を付して重複する説明を省略する。デジタル一眼レフカメラ19は、撮影レンズ20と、撮像素子22、ミラー23、プリズム25、サブ撮像素子27、ビューファインダー29、近接センサ31、制御部32と、検出部33と、脳波判断部50とを有する。
FIG. 10 is a functional block diagram of the digital single-
ミラー23は、撮影レンズ20から入射した光束を、サブ撮像素子27の方向に反射する。プリズム25は、ミラー23により反射された光束を、サブ撮像素子27の方向と、ビューファインダー29の方向とに分割する。サブ撮像素子27は、プリズム25によって分割された光束を受光して、画像データを作成する。サブ撮像素子27は、作成した画像データを検出部33に出力する。
The
ビューファインダー29は、使用者11がデジタル一眼レフカメラ19の視野を見て、視野を確認するためのファインダーである。近接センサ31は、ビューファインダー29に設置され、使用者11の目が接近したことを検出する。近接センサ31は、使用者11の目が接近したことを検出すると、使用者11の目が近接したことを示す信号を検出部33に出力する。また、近接センサ31は、さらに、使用者11の視線を検出することによって、使用者11が注目している被写体を検知してもよい。その場合、近接センサ31は、使用者11がどの被写体に注目しているかを示す信号を検出部33に出力する。
The
検出部33は、サブ撮像素子27から画像データを取得する。また、検出部33は、近接センサ31から使用者11の目が近接したことを示す信号を取得する。検出部33は、使用者11の目が近接したことを示す信号を取得している場合であって、画面の変化を検出すると、使用者11が注目している被写体が変化したと判断して、トリガー信号を脳波判断部50に出力する。また、近接センサ31が、使用者11がどの被写体に注目しているかを示す信号を検出部33に出力する場合においては、検出部33は、使用者11が注目している被写体画像の変化を検出すると、使用者11が注目している被写体が変化したと判断して、トリガー信号を脳波判断部50に出力する。
The
脳波判断部50は、トリガー信号を取得すると、脳波測定装置13から脳波情報を取得する。このように、使用者11が注目している被写体が変化した場合に、検出部33は、トリガー信号を出力して、脳波判断部50は、脳波情報の取得を開始する。
When acquiring the trigger signal, the
さらに他のトリガーの例として、他の動作検出部を設け、種々の使用者11の予め定められた動作を検出してもよい。予め定められた動作とは、例えば、使用者11の意図的なウィンクまたは瞬き、画像処理装置12を構える動作、使用者の表情の変化、またはトリガー専用のボタンを設け、当該ボタンを押すことであってよい。他の動作検出部によって上記動作を検知された場合に、他の動作検知部は、トリガー信号を出力する。条件判断部54は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者11の脳波情報の取得を開始してもよい。
Furthermore, as another example of the trigger, another operation detection unit may be provided to detect predetermined operations of
さらに他のトリガーの例として、画像処理装置12に、使用者11の生体反応を検知する生体反応検知部を設け、当該生体反応検知部によって、使用者の予め定められた生体反応が検知された場合に、体反応検知部は、トリガー信号を出力する。条件判断部54は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者11の脳波の測定を開始してもよい。なお、予め定められた生体反応とは、例えば、使用者11の心拍、血圧または筋電位が予め定められた値を超えた場合である。また、上記トリガーを脳波によって検出してもよく、予め定められた脳波を脳波計16が検出した場合に、条件判断部54は、トリガーが検出されたと判断してもよい。判断条件判断部54は、生体反応検知部により、当該生体反応が検知された場合に、トリガーが検出されたと判断して、使用者11の脳波情報の取得を開始してもよい。
As another example of the trigger, the
さらに他のトリガーの例として、画像処理装置12に、外部からの入力を受け付ける外部入力部を設け、当該外部入力部によって、予め定められた外部からの入力が受け付けられた場合に、外部入力部はトリガー信号を出力する。前記条件判断部54は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者11の脳波の測定を開始してもよい。なお、予め定められた外部からの入力とは、外部の明るさ、音、温度の変化であってもよく、被写体または第三者からの入力であってもよい。条件判断部54は、外部入力部により、外部からの入力が受け付けられた場合に、トリガーが検出されたと判断して、使用者11の脳波情報の取得を開始してもよい。
As another example of the trigger, the
さらには、画像処理装置12側でトリガーを定めて、使用者11にトリガータイミングを知らせてもよい。その場合、画像処理装置12は、使用者11に表示部40からトリガーのタイミングを表示させてもよく、使用者11に振動、電気刺激または音を与えることによってトリガーのタイミングを知らせてもよい。また、上記に併せて、撮影枚数毎、所定時間経過毎に自動的にトリガーとなる設定としてもよい。
Furthermore, a trigger may be determined on the
また、本実施形態において、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味なしと感じた場合に生じない脳波プロファイルの特徴を有するか否かをかわいいという感情の脳波の条件とする例を示した。しかしながら、かわいいと感じた場合に生じた脳波プロファイルにおける特徴的な波形を用いて、パターンマッチングにより、特徴的な波形の有無を、かわいいという感情の脳波の条件として設定してもよい。この場合、トリガーの検出は不要であり、条件判断部54は、脳波プロファイルを作成しながらパターンマッチングを行う。そして、パターンマッチングにより、当該特徴的な波形が作成した脳波のプロファイルに確認されたことで、条件判断部54は、脳波の条件を満たすと判断してもよい。
Also, in this embodiment, whether or not it has a characteristic of an electroencephalogram profile that occurs when it feels cute and does not occur when it feels uninterested is set as a condition of the electroencephalogram of emotion that is cute An example is shown. However, the presence or absence of a characteristic waveform may be set as a condition of the electroencephalogram of cute feeling by pattern matching using a characteristic waveform in an electroencephalogram profile generated when the user feels cute. In this case, detection of a trigger is unnecessary, and the
さらに、かわいいと感じた場合に生じる脳波プロファイルの複数人の平均の脳波プロファイルと、興味なしと感じた場合に生じる脳波プロファイルの複数人の平均の脳波プロファイルとを算出して、当該平均のプロファイルの特徴的な波形を用いてパターンマッチングを行ってもよい。この場合、複数人の平均を算出する場合において、性別、年齢等で被験者を分けて当該平均の脳波プロファイルを算出してもよい。なお、この場合、条件判断部54は、使用者11のIDを特定することに代えて、使用者11の性別、年齢を特定する。
Furthermore, an average electroencephalogram profile of a plurality of electroencephalogram profiles generated when feeling cute and an average electroencephalogram profile of multiple electroencephalogram profiles generated when feeling uninteresting are calculated, and the average profile of the average profile is calculated. Pattern matching may be performed using a characteristic waveform. In this case, when calculating the average of a plurality of persons, the average electroencephalogram profile may be calculated by dividing subjects by sex, age, and the like. In this case, the
さらに、興味なしと感じた場合の脳波プロファイルには生じない波形であって、多くの被験者において、かわいいと感じた場合の脳波プロファイルに確認される特徴的な波形がある場合においては、当該波形の有無をかわいいという感情の脳波の条件として設定してもよい。この場合において、条件判断部54は、使用者11のIDを特定しなくてもよい。
Furthermore, when there is a waveform that does not occur in the electroencephalogram profile when feeling uninteresting and there are characteristic waveforms confirmed in the electroencephalogram profile when feeling cute in many subjects, Presence / absence may be set as a condition of an electroencephalogram of cute feeling. In this case, the
さらに、画像処理装置12は、かわいいという感情の脳波の条件を満たすことをトレーニングするトレーニングモードを有してもよい。使用者11は操作部44を用いて、撮影モードとトレーニングモードとを切り変えることができてもよい。なお、以後の説明において、トレーニングモードに対して、被写界を撮影するモードを撮影モードとよぶ。
Furthermore, the
図11は、画像処理装置12のトレーニングモードの処理の一例を説明するフローチャートである。ステップS201において、条件判断部54は、使用者11の確認を行う。例えば、画像処理装置12の使用を開始する場合に使用者11のIDを登録する場合においては、条件判断部54は、使用者11により登録されたIDを参照する。
FIG. 11 is a flowchart illustrating an example of training mode processing of the
条件判断部54は、参照したIDに対応付いて格納されたかわいい画像を条件格納部52から読み出す(S202)。なお、条件格納部52には、使用者11により撮像された画像であって、使用者11が操作部44からの入力により、かわいいと選択した画像が、使用者11のIDに対応付いて格納されている。
The
条件判断部54は、画像処理部56を介して制御部32に当該画像を出力する。制御部32は、当該画像を取得すると、表示部40にトリガーを表示する(S203)。なお、トリガーの表示として、例えば、制御部32は、表示部40に、かわいい画像を表示する旨を表示させる。
The
制御部32は、表示部40に、条件判断部54から取得したかわいい画像を改めて表示する(S204)。そして、条件判断部54は、脳波計16から脳波情報を取得する(S205)。条件判断部54は、取得した脳波情報が脳波の条件を満たすか否かを判断する(S206)。条件判断部54は、取得した脳波情報が脳波の条件を満たすと判断した場合(S206:Yse)、画像処理部56に、脳波の条件を満たした旨と、予め格納されたかわいいと感じたときに取得された脳波プロファイルと、作成した脳波のプロファイル画像を出力する。画像処理部56は、かわいいと感じた場合に取得された脳波プロファイルと作成した脳波プロファイルとを重ねて表示した画像データを作成して、脳波の条件を満たした旨とともに、制御部32に出力する。
The
制御部32は、脳波の条件を満たした旨を取得すると、脳波条件を満たしたか否かを区別した、脳波の条件を満たしたことを示す画像データを作成して、表示部40に表示させる(S207)。また、制御部32は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データも併せて、表示部40に表示させる(S208)。
When acquiring the fact that the condition of the electroencephalogram is satisfied, the
一方、条件判断部54は、取得した脳波情報が脳波の条件を満たさないと判断した場合(S206:No)、条件判断部54は、画像処理部56に、脳波の条件を満たさなかった旨と、予め格納されたかわいいと感じたときに取得された脳波プロファイルと、作成した脳波のプロファイル画像を制御部32に出力する。画像処理部56は、かわいいと感じた場合に取得された脳波プロファイルと作成した脳波のプロファイル画像を取得すると、制御部32は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データを作成して、脳波の条件を満たさない旨とともに、制御部32に出力する。
On the other hand, when the
制御部32は、脳波の条件を満たさない旨を取得すると、脳波条件を満たしたか否かを区別した、脳波の条件を満たさないことを示す画像データを作成して、表示部40に表示させる(S209)。また、制御部32は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データも併せて、表示部40に表示させる(S210)。
When the
制御部32は、トレーニングモードを継続するか否かを判断する(S211)。制御部32は、トレーニングモードを継続するか否かを問う画像データを作成して、表示部40に表示させる。制御部32は、操作部44を通じて、使用者11からトレーニングモードを継続するか否かの意思を取得する。制御部32は、取得した使用者11の意思がトレーニングモードの継続であった場合(S211:Yes)、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、再び、ステップS201の処理を実行する。なお、2回目以降は、ステップS201をスキップしてステップS202の処理を実行してもよい。一方、取得した使用者の意思がトレーニングモード終了であった場合(S211:No)、制御部32は、モードを撮影モードに戻して(S212)、トレーニングモードは終了する。
The
学習することによって、かわいいと感じた場合に生じる脳波プロファイルを、予め格納された自身がかわいいと感じた場合に生じる脳波プロファイルに近づけることができる。したがって、画像処理装置12にトレーニングモードを設けることによって、使用者11は、かわいいと感じた場合に生じる脳波情報を、脳波の条件を満たすようにトレーニングすることができる。
By learning, an electroencephalogram profile that occurs when it feels cute can be brought close to an electroencephalogram profile that is generated when the pre-stored self feels cute. Therefore, by providing the training mode in the
さらに、画像処理装置12は、「かわいい」という感情の脳波の条件を更新するキャリブレーションモードを有してもよい。使用者11は操作部44を用いて、撮影モードと条件再設定モードとを切り変えることができてもよい。なお、使用者11が初めて画像処理装置12を使用する場合においては、キャリブレーションモードを使用して、使用者11のIDに対応した脳波の条件を設定する。
Furthermore, the
図12は、画像処理装置12のキャリブレーションモードにおける処理の一例を説明するフローチャートである。キャリブレーションモードの処理において、ステップS201、ステップS202、ステップS203、ステップS204、ステップS205およびステップS212は、図11に示したトレーニングモードにおける処理と同じであるので説明を省略する。
FIG. 12 is a flowchart illustrating an example of processing in the calibration mode of the
条件判断部54は、脳波情報を取得すると(S205)、脳波プロファイルを作成して、画像処理部56へ出力する。画像処理部56は、脳波プロファイルを表示した画像データを作成して、制御部32へ出力する。制御部32は、取得した画像データを、表示部40に表示させる(S301)。
When acquiring the electroencephalogram information (S205), the
制御部32は、取得した脳波情報を脳波の条件に設定するか否かを判断する(S302)制御部32は、取得した脳波情報を脳波の条件に設定するか否かを問う画像データを作成して、表示部40に表示させる。制御部32は、操作部44を通じて、使用者11から脳波の条件に設定するか否かの意思を取得する。制御部32は、取得した使用者11の意思が、脳波の条件の設定するであった場合(S302:Yes)、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、取得した脳波から作成した脳波プロファイルを、かわいいと感じた場合に生じた脳波プロファイルとして更新する(S303)。そして、条件判断部54は、当該脳波のプロファイルに基づいて、脳波の条件を変更する。
The
一方、取得した使用者の意思が、脳波の条件に設定しないであった場合(S302:No)、制御部32は、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、取得した脳波から作成した脳波プロファイルを消去する(S304)。
On the other hand, when the acquired intention of the user is not set to the electroencephalogram condition (S302: No), the
制御部32は、キャリブレーションモードを継続するか否かを判断する(S305)。制御部32は、キャリブレーションモードを継続するか否かを問う画像データを作成して、表示部40に表示させる。制御部32は、操作部44を通じて、使用者11からキャリブレーションモードを継続するか否かの意思を取得する。制御部32は、取得した使用者11の意思がキャリブレーションモードの継続であった場合(S305:Yes)、その旨を、画像処理部56を通じて条件判断部54に出力する。条件判断部54は、再び、ステップS201の処理を実行する。なお、2回目以降は、ステップS201をスキップしてステップS202の処理を実行してもよい。一方、取得した使用者の意思がキャリブレーションモード終了であった場合(S305:No)、制御部32は、モードを撮影モードに戻して(S212)、キャリブレーションモードは終了する。
The
以上説明したように、キャリブレーションモードを設けることによって、使用者の状況、撮影時期、撮影場所によって、以前に生じた脳波が出現しなくなった場合においても、脳波の条件を修正して、使用者11のかわいいという感情を検出できる。したがって、使用者11のかわいいという感情が全く検出されないという状況を回避できる。
As explained above, by providing the calibration mode, even if the previously generated EEG does not appear depending on the user's situation, shooting time, and shooting location, the EEG condition is corrected and the user is corrected. Eleven cute feelings can be detected. Therefore, it is possible to avoid a situation in which the cute feeling of the
なお、本実施形態において、脳波判断部50は画像処理装置12に含まれる例を示したが、脳波判断部50と画像処理装置12とは別の機器であってもよい。さらに、本実施形態において、脳波測定装置13と脳波判断部50とは別の機器とした例を示したが、一体であってもよく、さらに、脳波測定装置13は、画像処理装置12に含まれてもよい。
In the present embodiment, the example in which the
図13は、別の画像処理システム60を説明する図である。なお、図13において、図6と同じ要素には同じ参照番号を付して重複する説明を省略する。画像処理システム60は、画像処理装置62と、脳波測定装置13とを備える。画像処理装置62は、操作部64と表示部66とを有するパーソナルコンピュータである。なお、画像処理装置62は、スマートフォンまたはタブレット等の携帯端末であってもよい。
FIG. 13 is a diagram for explaining another
図14は、画像処理装置62の表示部66に表示される画像の一例を示す。表示部66には、メニューバー78と、パラメータ入力欄80と、実行釦81と、ツールボックス82と、コントロールバー84と、ドキュメントウインドウ86と、脳波制御表示88とが表示される。
FIG. 14 shows an example of an image displayed on the
使用者70は、ツールボックス82またはコントロールバー84に対する指示を操作部64から入力する。操作部64は、例えば、マウス、キーバードまたはタッチパネルである。これにより、使用者70は、画像を加工するパラメータ種類およびパラメータ値を入力できる。画像処理装置62は、使用者70に入力されたパラメータ種類およびパラメータ値で加工をした複数の加工画像を作成して表示部66に表示する。画像処理装置62は、取得した脳波情報から、使用者70が、かわいいと感じているパラメータ種類およびパラメータ値を特定する。画像処理装置62は、特定したパラメータ種およびパラメータ値に基づいて、使用者70がかわいいと感じたパラメータ種およびパラメータ値で加工した加工画像を作成して、表示部66に表示する。
The
図15は、画像処理装置62の機能ブロック図を示す。なお、図15において、図7と同じ要素には共通の参照番号を付して、重複する説明を省略する。画像処理装置62は、操作部64と、表示部66と、通信部90と、画像格納部92と、条件格納部52と、条件判断部54と、画像処理部94とを有する。
FIG. 15 is a functional block diagram of the
使用者70は、操作部64から、画像処理部94で加工する元画像を選択する指示を入力する。なお、加工する元画像は、画像格納部92に格納されている画像であってもよく、ネットワーク98を通じて外部サーバ96に格納されている画像であってもよい。ネットワーク98を介して外部サーバ96に格納されている画像を選択した場合、通信部90は、画像処理部94に入力された指示に基づいて、ネットワーク98を介して外部サーバ96に格納された画像を取得する。画像処理部94は、使用者70の選択した画像を、画像格納部92または通信部90から読み出し、元画像として表示部66のドキュメントウインドウ86に表示する。
The
画像処理部94は、ドキュメントウインドウ86に表示された元画像に対し、操作部64からパラメータ入力欄80に入力されたパラメータ種類における種々のパラメータで加工をした複数の加工画像を作成して表示部66に順次表示する。画像処理部94は、複数の加工画像に対する処理として、複数の加工画像のうち、格納部に格納された脳波の条件を満たすと判断された脳波情報を取得した時点で、表示部66に表示された加工画像の加工情報に、使用者70により選択されたことを示す指標を付与する。
The
図16は、元画像の加工条件を決定する画像処理の一例を説明するフローチャートである。なお、図16に示したフローチャートにおいては、かわいいという感情の脳波の条件を用いて、使用者70が、かわいいと感じているか否かを判断する例について説明する。上記画像処理は、パラメータ入力欄80にパラメータ種類が入力され、実行釦81が選択されることによって開始する。
FIG. 16 is a flowchart illustrating an example of image processing for determining processing conditions for an original image. In the flowchart shown in FIG. 16, an example will be described in which it is determined whether or not the
ステップS401において、条件判断部54は、使用者70の確認を行う。例えば、画像処理装置62の使用を開始する場合に使用者70のIDを登録する場合においては、条件判断部54は、使用者70により登録されたIDを参照する。
In step S <b> 401, the
画像処理部94は、入力されたパラメータ種類の中から変更するパラメータ種類を設定する(S402)。画像処理部94は、入力されたパラメータ種類の変更可能範囲における全てのパラメータについて、加工条件を記録した加工情報を作成する(S403)。画像処理部94は、トリガー画像を作成して、表示部66に表示した後(S404)、画像処理部94は、ある一つの加工情報に基づいてパラメータ値を変更した加工画像を表示部66に表示する(S405)。
The
条件判断部54は、脳波計16から脳波情報を取得する(S406)。条件判断部54は、取得した脳波情報が脳波の条件を満たすか否かを判断する(S407)。条件判断部54は、取得した脳波情報が脳波の条件を満たすと判断した場合(S407:Yes)、条件判断部54は、加工情報に、選択されたことを示す指標を記録する(S408)。一方、条件判断部54は、取得した脳波情報が脳波の条件を満たさないと判断した場合(S407:No)、加工情報に、選択されないことを示す指標を記録する(S409)。
The
条件判断部54は、ステップS403で作成した全ての加工情報に指標が記録されたか否かを判断する(S410)。条件判断部54は、全ての加工情報に指標が記録されたと判断すると(S410:Yes)、処理をステップS412へ進める。一方、条件判断部54は、全ての加工情報に指標が記録されていないと判断すると(S410:No)、表示部66に表示する画像の加工情報を、指標が記録されていない加工情報に変更する指示を画像処理部94に出力して(S411)、処理をステップS404へ戻す。
The
画像処理部94は、パラメータ入力欄80に入力された全てのパラメータ種類で脳波条件を判断したか否かを判断する(S412)。画像処理部94は、パラメータ種類に指標が記録されていない加工情報があると判断すると、全てのパラメータ種類で脳波の条件を判断していないとして(S412:No)、処理をS402に戻して、加工情報がないパラメータ種類に変更するパラメータを設定する。一方、画像処理部94は、全てのパラメータ種類に指標が記録されていない加工情報がないと判断すると、全てのパラメータ種類で脳波の条件を判断したとして(S412:Yes)、選択されて指標が記録された加工情報を読み出し(S413)、当該加工情報に基づいて元画像を加工した画像を生成して、表示部66のドキュメントウインドウ86に表示する(S414)。
The
画像処理部94は、表示した画像を記録するか否かを判断する(S415)。画像処理部94は、使用者70に記録するか否かを問う画像データを作成し、当該画像データを表示部66に表示させる。使用者70は、操作部64から、当該画像を記録する旨または記録しない旨を入力する。画像処理部94は、使用者70から画像を記録する旨の入力があった場合、表示した画像を記録すると判断し(S415:Yes)、表示部66に表示した画像データを画像格納部92に記録して(S416)、画像処理は終了する。一方、使用者70から画像を記録しない旨の入力があった場合(S415:No)、表示部66に表示した画像データを消去して(S417)、画像処理は終了する。
The
以上説明したように、画像処理装置62は、脳波情報を用いて、特定のパラメータで加工した加工画像を、使用者70が、かわいいと感じているか否かを検出する。そして、使用者70がかわいいと感じる加工情報を元画像に反映させることによって、使用者70がかわいいと感じる加工画像を生成して、表示することができる。これにより、使用者70は、元画像を年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工することができる。
As described above, the
なお、図16に示した例において、変更する加工情報を定めて、全ての加工情報を盛り込んだ加工画像を、使用者がかわいいと感じる加工画像であるとした。しかしながら、例えば、同種のパラメータで複数の加工情報が選択された場合においては、同種のパラメータの加工情報を1つずつ組み合わせた組み合わせ画像を加工して、当該画像で脳波の条件を満たすか否かを判断してもよい。また、脳波の条件を満たすか否かの判断において、条件判断部54は、かわいいと感じた脳波プロファイルに基づいた領域により多く含まれる脳波情報を優先して選択するとしてもよい。また、画像処理装置62を使用者70が初めて使用する場合においては、図12に示したキャリブレーションモードと同じ処理を画像処理装置62においても実行して、使用者70の脳波の条件を格納してもよい。
In the example illustrated in FIG. 16, it is assumed that the processing information to be changed is defined and the processing image including all the processing information is the processing image that the user feels cute. However, for example, when a plurality of pieces of processing information are selected with the same type of parameters, whether or not a combined image in which the pieces of processing information of the same type of parameters are combined one by one is processed and the conditions of the electroencephalogram are satisfied with the images May be judged. Further, in determining whether or not the condition of the electroencephalogram is satisfied, the
また、本実施形態において、脳波情報を用いて元画像の加工条件を決定する処理について説明したが、画像処理装置62を用いて、アルバムにおける画像レイアウトを決定してもよく、洋服や、家具等の色や形を決定してもよい。
In the present embodiment, the processing for determining the processing conditions of the original image using the electroencephalogram information has been described. However, the image layout in the album may be determined by using the
また、他の例として、脳波情報および脳波の条件を用いてかわいいという感情を検出して、例えば、メガネのフレームを光らせてもよい。また、同様に、使用者のかわいいという感情を検出して、仮想空間における使用者のアバターにかわいいという感情を表現させてもよい。 As another example, the emotion of cuteness may be detected using the electroencephalogram information and the electroencephalogram conditions, and for example, a frame of glasses may be illuminated. Similarly, the user's cute feeling may be detected to cause the user's avatar in the virtual space to express the cute feeling.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
10、60 画像処理システム、11、70 使用者、12、62 画像処理装置、13 脳波測定装置、14 帽子部、15 ベルト部、16 脳波計、19 一眼レフカメラ、20 撮影レンズ、22 撮像素子、23 ミラー、24 駆動部、25 プリズム、27 サブ撮像素子、28 A/D変換回路、29 ビューファインダー、30 メモリ、31 近接センサ、32 制御部、33 検出部、34 メモリカードIF、36 メモリカード、38 LCD駆動回路、40、66 表示部、42 AFセンサ、44、64 操作部、46 被写体、47 撮像条件、48、88 脳波制御表示、50 脳波判断部、52 条件格納部、54 条件判断部、56、94 画像処理部、78 メニューバー、80 パラメータ入力欄、81 実行釦、82 ツールボックス、84 コントロールバー、86 ドキュメントウインドウ、90 通信部、92 画像格納部、96 外部サーバ、98 ネットワーク、100 実験システム、102 映像提示用コンピュータ、104 プロジェクター、106 100インチスクリーン、108 脳波計測装置、110 脳波計測用コンピュータ、112 脳波計、114 被験者 10, 60 Image processing system, 11, 70 User, 12, 62 Image processing device, 13 EEG measurement device, 14 Hat part, 15 Belt part, 16 EEG, 19 SLR camera, 20 Shooting lens, 22 Image sensor, 23 mirror, 24 drive unit, 25 prism, 27 sub image sensor, 28 A / D conversion circuit, 29 viewfinder, 30 memory, 31 proximity sensor, 32 control unit, 33 detection unit, 34 memory card IF, 36 memory card, 38 LCD drive circuit, 40, 66 display unit, 42 AF sensor, 44, 64 operation unit, 46 subject, 47 imaging condition, 48, 88 electroencephalogram control display, 50 electroencephalogram judgment unit, 52 condition storage unit, 54 condition judgment unit, 56, 94 Image processing section, 78 Menu bar, 80 Parameter input field, 81 Execution button, 82 Control box, 84 control bar, 86 document window, 90 communication unit, 92 image storage unit, 96 external server, 98 network, 100 experimental system, 102 video presentation computer, 104 projector, 106 100 inch screen, 108 brain wave measuring device, 110 Computer for electroencephalogram measurement, 112 electroencephalograph, 114 subjects
Claims (19)
使用者からの脳波に関する脳波情報を取得し、取得した前記脳波情報に含まれる脳波が前記条件格納部に格納されている前記脳波の条件を満たすか否かを判断する条件判断部と、
を備え、
前記条件判断部により前記脳波の条件を満たすと判断された場合に、予め定められた操作を実行する機械装置。 A condition storage unit that pre-stores brain wave conditions independent for each emotion;
A condition determination unit that acquires brain wave information related to an electroencephalogram from a user, and determines whether or not an electroencephalogram included in the acquired electroencephalogram information satisfies the condition of the electroencephalogram stored in the condition storage unit;
With
A mechanical device that executes a predetermined operation when the condition determination unit determines that the condition of the electroencephalogram is satisfied.
前記複数の脳波の条件から脳波の条件を選択する脳波条件選択部をさらに備え、
前記条件判断部は、取得した脳波情報に含まれる脳波が、前記脳波条件選択部により選択された脳波の条件を満たすか否かを判断する請求項1記載の機械装置。 The condition storage unit stores a plurality of electroencephalogram conditions corresponding to a plurality of types of emotions,
An electroencephalogram condition selection unit for selecting an electroencephalogram condition from the plurality of electroencephalogram conditions;
The machine device according to claim 1, wherein the condition determination unit determines whether or not an electroencephalogram included in the acquired electroencephalogram information satisfies a condition of an electroencephalogram selected by the electroencephalogram condition selection unit.
前記予め定められた操作は、前記画像処理部による画像に対する処理である請求項1から5の何れか1項に記載の機械装置。 An image processing unit for executing processing on the image;
The machine apparatus according to claim 1, wherein the predetermined operation is a process on an image by the image processing unit.
元画像に対して異なる加工条件で加工をした複数の加工画像を生成し、画像表示部に順次表示するとともに、前記処理として、前記複数の加工画像のうち、前記脳波の条件を満たすと判断された前記脳波情報を取得した時点で前記画像表示部に表示されていた加工画像の加工条件に、前記使用者により選択されたことを示す指標を付与する請求項6または7に記載の機械装置。 The image processing unit
A plurality of processed images processed with different processing conditions with respect to the original image are generated and sequentially displayed on the image display unit. As the processing, it is determined that the conditions of the electroencephalogram are satisfied among the plurality of processed images. The mechanical device according to claim 6 or 7, wherein an index indicating that the user has selected is added to the processing condition of the processed image displayed on the image display unit at the time of acquiring the electroencephalogram information.
前記動作検知部によって、前記使用者の予め定められた動作が検知された場合に、前記動作検知部は、前記トリガー信号を発生する請求項14に記載の機械装置。 An operation detection unit for detecting a predetermined operation of the user;
The mechanical device according to claim 14, wherein the motion detection unit generates the trigger signal when a predetermined motion of the user is detected by the motion detection unit.
前記生体反応検知部によって、前記使用者の予め定められた生体反応が検知された場合に、前記生体反応検知部は、前記トリガー信号を発生する請求項14に記載の機械装置。 A biological reaction detector for detecting a predetermined biological reaction of the user;
The mechanical device according to claim 14, wherein the biological reaction detection unit generates the trigger signal when the biological reaction detection unit detects a predetermined biological reaction of the user.
前記外部入力部によって、予め定められた外部からの入力が受けつけられた場合に、前記外部入力部は、前記トリガー信号を発生する請求項14に記載の機械装置。 It further includes an external input unit that accepts external input,
The mechanical device according to claim 14, wherein the external input unit generates the trigger signal when a predetermined external input is received by the external input unit.
前記表示部に表示された画像が、前記使用者にとって「興味がある」という感情に対応した画像であるか否かを受け付ける入力部と、をさらに備え、
前記入力部で受け付けられた「興味がある」という感情に対応した画像を前記表示部に改めて表示した場合に、前記使用者に生じた脳波情報に基づいて、前記脳波の条件を更新する請求項1から17の何れか1項に記載の機械装置。 A display unit for displaying an image to the user;
An input unit that receives whether or not the image displayed on the display unit is an image corresponding to an emotion of “interesting” for the user;
The condition of the electroencephalogram is updated based on electroencephalogram information generated by the user when an image corresponding to the feeling of “interesting” received by the input unit is displayed on the display unit again. The mechanical device according to any one of 1 to 17.
前記表示部に表示された画像が、前記使用者にとって「興味がある」という感情に対応した画像であるか否かを受け付ける入力部と、をさらに備え、
前記入力部で受け付けられた「興味がある」という感情に対応した画像を前記表示部に改めて表示した場合において、前記使用者に生じた前記脳波情報が、前記脳波の条件を満たしたか否かを区別して前記表示部に表示する請求項1から18の何れか1項に記載の機械装置。 A display unit for displaying an image to the user;
An input unit that receives whether or not the image displayed on the display unit is an image corresponding to an emotion of “interesting” for the user;
Whether or not the electroencephalogram information generated by the user satisfies the electroencephalogram condition when the image corresponding to the emotion of “interesting” received by the input unit is displayed on the display unit anew. The machine device according to any one of claims 1 to 18, wherein the machine device is displayed in a distinguishable manner on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013272576A JP6356963B2 (en) | 2013-12-27 | 2013-12-27 | Machinery |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013272576A JP6356963B2 (en) | 2013-12-27 | 2013-12-27 | Machinery |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015127851A true JP2015127851A (en) | 2015-07-09 |
JP6356963B2 JP6356963B2 (en) | 2018-07-11 |
Family
ID=53837840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013272576A Active JP6356963B2 (en) | 2013-12-27 | 2013-12-27 | Machinery |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6356963B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015136377A (en) * | 2014-01-20 | 2015-07-30 | 株式会社ニコン | Image processor |
WO2019078325A1 (en) * | 2017-10-20 | 2019-04-25 | パナソニック株式会社 | Brain wave assessment system, brain wave assessment method, program, and non-transient recording medium |
CN109844797A (en) * | 2016-09-28 | 2019-06-04 | 株式会社NeU | Selection system, selection method and option program |
JP2019129914A (en) * | 2018-01-29 | 2019-08-08 | 富士ゼロックス株式会社 | Information processing device, information processing system and program |
JP2019129913A (en) * | 2018-01-29 | 2019-08-08 | 富士ゼロックス株式会社 | Information processing device, information processing system and program |
KR20200054718A (en) * | 2018-11-12 | 2020-05-20 | 성균관대학교산학협력단 | Methods and apparatuses for recognizing user sensitivity based on brain wave |
JP2021079041A (en) * | 2019-11-22 | 2021-05-27 | パナソニックIpマネジメント株式会社 | Empathy degree evaluation system, empathy degree evaluation method and program |
JP2021089465A (en) * | 2019-12-02 | 2021-06-10 | 株式会社カネカ | Memory auxiliary device, memory auxiliary method, and program |
WO2021215266A1 (en) * | 2020-04-23 | 2021-10-28 | ソニーグループ株式会社 | Control device and control method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1156810A (en) * | 1997-08-27 | 1999-03-02 | Technol Res Assoc Of Medical & Welfare Apparatus | Mri |
JP2000235588A (en) * | 1999-02-12 | 2000-08-29 | Matsushita Electric Works Ltd | Design construction support system |
WO2008059878A1 (en) * | 2006-11-15 | 2008-05-22 | Panasonic Corporation | Adjusting device for brain wave identification method, adjusting method and computer program |
US20110134026A1 (en) * | 2009-12-04 | 2011-06-09 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
JP2012120206A (en) * | 2012-01-12 | 2012-06-21 | Sony Corp | Information processor, imaging control method, and program |
-
2013
- 2013-12-27 JP JP2013272576A patent/JP6356963B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1156810A (en) * | 1997-08-27 | 1999-03-02 | Technol Res Assoc Of Medical & Welfare Apparatus | Mri |
JP2000235588A (en) * | 1999-02-12 | 2000-08-29 | Matsushita Electric Works Ltd | Design construction support system |
WO2008059878A1 (en) * | 2006-11-15 | 2008-05-22 | Panasonic Corporation | Adjusting device for brain wave identification method, adjusting method and computer program |
US20110134026A1 (en) * | 2009-12-04 | 2011-06-09 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
JP2012120206A (en) * | 2012-01-12 | 2012-06-21 | Sony Corp | Information processor, imaging control method, and program |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015136377A (en) * | 2014-01-20 | 2015-07-30 | 株式会社ニコン | Image processor |
CN109844797A (en) * | 2016-09-28 | 2019-06-04 | 株式会社NeU | Selection system, selection method and option program |
CN109844797B (en) * | 2016-09-28 | 2023-03-28 | 株式会社NeU | Selection system, selection method, and selection program |
JPWO2019078325A1 (en) * | 2017-10-20 | 2020-12-17 | パナソニック株式会社 | EEG determination system, EEG determination method, program, and non-temporary recording medium |
WO2019078325A1 (en) * | 2017-10-20 | 2019-04-25 | パナソニック株式会社 | Brain wave assessment system, brain wave assessment method, program, and non-transient recording medium |
US12076152B2 (en) | 2017-10-20 | 2024-09-03 | Lifescapes Inc. | Electroencephalogram decision system, electroencephalogram decision method, program, and non-transitory storage medium |
JP2019129914A (en) * | 2018-01-29 | 2019-08-08 | 富士ゼロックス株式会社 | Information processing device, information processing system and program |
US11412974B2 (en) | 2018-01-29 | 2022-08-16 | Agama-X Co., Ltd. | Information processing apparatus, information processing system, and non-transitory computer readable medium |
JP2019129913A (en) * | 2018-01-29 | 2019-08-08 | 富士ゼロックス株式会社 | Information processing device, information processing system and program |
KR102239039B1 (en) | 2018-11-12 | 2021-04-12 | 성균관대학교산학협력단 | Methods and apparatuses for recognizing user sensitivity based on brain wave |
KR20200054718A (en) * | 2018-11-12 | 2020-05-20 | 성균관대학교산학협력단 | Methods and apparatuses for recognizing user sensitivity based on brain wave |
JP2021079041A (en) * | 2019-11-22 | 2021-05-27 | パナソニックIpマネジメント株式会社 | Empathy degree evaluation system, empathy degree evaluation method and program |
JP2021089465A (en) * | 2019-12-02 | 2021-06-10 | 株式会社カネカ | Memory auxiliary device, memory auxiliary method, and program |
WO2021215266A1 (en) * | 2020-04-23 | 2021-10-28 | ソニーグループ株式会社 | Control device and control method |
US12001606B2 (en) | 2020-04-23 | 2024-06-04 | Sony Group Corporation | Control device comprising detection unit configured to perform detection of brain wave and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6356963B2 (en) | 2018-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6356963B2 (en) | Machinery | |
US10205869B2 (en) | Video processing apparatus, control method, and recording medium | |
CN112118380B (en) | Camera control method, device, equipment and storage medium | |
JP6263617B2 (en) | Display control method and apparatus, electronic device | |
JP5713055B2 (en) | Imaging apparatus, imaging method, and program | |
US20190297271A1 (en) | Virtual makeup device, and virtual makeup method | |
EP2053843A2 (en) | Camera and Image Recording Program Product | |
EP4055812B1 (en) | A system for performing ambient light image correction | |
JP6307626B2 (en) | Operation device, information processing device including operation device, and operation reception method for information processing device | |
US20210157400A1 (en) | Electronic device and control method for electronic device | |
KR20170060411A (en) | Method and photographing device for controlling the photographing device according to proximity of a user | |
JP2008033718A (en) | Imaging device and regional enlargement display method | |
JP6406966B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM | |
JP6198530B2 (en) | Image processing device | |
JP2015103991A (en) | Image processing apparatus, method and computer program | |
US9641757B2 (en) | Image processing apparatus that sets moving image area, image pickup apparatus, and method of controlling image processing apparatus | |
JP2016219991A (en) | Image processor and control method thereof and program | |
JP2018007082A (en) | Image reproduction device, control method therefor, and program | |
JP6494455B2 (en) | Video processing apparatus, video processing method, and program | |
JP6310597B2 (en) | Imaging apparatus and object confirmation method | |
JP7550223B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
CN111314608B (en) | Image focusing prompting method, computer device and computer readable storage medium | |
JP5780750B2 (en) | Automatic focusing device, control method thereof, and program | |
CN113631094A (en) | System, device, method, and computer program for determining physical and mental states | |
JP2016095476A (en) | Imaging apparatus, method for controlling imaging apparatus, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6356963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |