JP2009141516A - Image display device, camera, image display method, program, image display system - Google Patents
Image display device, camera, image display method, program, image display system Download PDFInfo
- Publication number
- JP2009141516A JP2009141516A JP2007313875A JP2007313875A JP2009141516A JP 2009141516 A JP2009141516 A JP 2009141516A JP 2007313875 A JP2007313875 A JP 2007313875A JP 2007313875 A JP2007313875 A JP 2007313875A JP 2009141516 A JP2009141516 A JP 2009141516A
- Authority
- JP
- Japan
- Prior art keywords
- image
- text
- emotion
- sentence
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Circuits (AREA)
Abstract
Description
この発明は、画像表示装置，カメラ，画像表示方法，プログラム，画像表示システム、詳しくはテキストと画像とを効果的に組み合わせて作成される合成画像による新たな鑑賞形態を提供する画像表示装置と、この画像表示装置を持つカメラと、その画像表示方法と、この画像表示方法をコンピューターに実行させるプログラムと、その画像表示システムに関するものである。 The present invention relates to an image display device, a camera, an image display method, a program, an image display system, and more specifically, an image display device that provides a new appreciation mode using a composite image created by effectively combining text and an image, The present invention relates to a camera having the image display device, an image display method thereof, a program for causing a computer to execute the image display method, and an image display system thereof.
近年、画像をデジタルデータ等の電子データとして取り扱うデジタルカメラや画像表示装置等が一般に普及しつつある。これに伴って、個人レベルにおいても、携帯電話等の通信機器やインターネット及び小型コンピュータ等を利用することにより、画像を不特定多数に対して公開する等といった行為を容易に実現し得る環境が存在するようになっている。このような環境下にあって、画像データに基づく画像は、多数の人が楽しむための素材として、また重要なコンテンツ（内容物，展示物等の情報）等として発展しつつある。 In recent years, digital cameras and image display devices that handle images as electronic data such as digital data are becoming popular. Along with this, even at the individual level, there is an environment where it is possible to easily realize an action such as releasing an image to an unspecified number of people by using a communication device such as a mobile phone, the Internet, and a small computer. It is supposed to be. Under such circumstances, an image based on image data is developing as a material for many people to enjoy and as important content (information on contents, exhibits, etc.).
画像データに基づく画像の鑑賞方法としては、例えば画像を所定の順番で所定の時間間隔で自動的に切り換え表示するいわゆるスライドショー形式の表示方法はよく知られている。 As a method of appreciating images based on image data, for example, a so-called slide show type display method for automatically switching and displaying images at a predetermined time interval in a predetermined order is well known.
また、単に画像を表示するだけでは単調になることから、例えば画像表示の際に音楽を流し、その音楽に合わせて表示に変化を持たせたり、表示画像に所定のテキスト（文章）等を重ねて表示させる等、画像を用いて、その表示を楽しむために各種の形態の表示方法が考えられており、種々の提案がなされている。 In addition, since displaying an image is monotonous, for example, music is played during image display, and the display is changed according to the music, or predetermined text (sentence) is overlaid on the display image. In order to enjoy the display using an image such as displaying the image, various display methods have been considered, and various proposals have been made.
例えば、特開２００６−３３９９５１号公報によって開示されている装置は、歌詞を重畳した形態の画像を作成する写真撮影装置であって、歌詞エリアが設けられたテンプレート画像と、所望の歌詞フレーズを選択した後、撮影をおこなうと、予め選択した歌詞フレーズが所定の歌詞エリアに重畳された形態の画像を出力するというものである。 For example, the device disclosed in Japanese Patent Application Laid-Open No. 2006-339951 is a photography device that creates an image in a form in which lyrics are superimposed, and selects a template image provided with a lyrics area and a desired lyrics phrase Then, when shooting is performed, an image in a form in which a previously selected lyrics phrase is superimposed on a predetermined lyrics area is output.
また、特開２００７−１４８５１６号公報によって開示されている装置は、使用者が任意に入力した文章に含まれるキーワードに適切な画像を自動的に選択する画像処理装置であって、撮影日時情報や被写体に応じたキーワード等の情報を画像データに関連付けて格納しておくと共に、そのキーワードの重みをも格納しておき、使用者が任意に入力した文章に含まれるキーワードに対応する画像を、キーワードの重みの合計値の多い画像の中から選択して表示するようにしている。この選択方法おいて、具体的には例えばキーワードが「夜」であるとした場合、「夜景」の画像が選択されるというものである。
ところが、上記特開２００６−３３９９５１号公報によって開示されている手段は、例えばゲームセンター等に設置されるような大規模な装置システムに用いることを想定したものであって、合成する画像はその場で撮影するというものであり、個人が所有する小型デジタルカメラを用いて取得した画像を気軽に利用するというものではない。 However, the means disclosed in Japanese Patent Application Laid-Open No. 2006-339951 is assumed to be used for a large-scale apparatus system installed in, for example, a game center. It is not intended to use images acquired using a small digital camera owned by an individual.
一方、上記特開２００７−１４８５１６号公報によって開示されている手段では、例えば「夜」というキーワードがある場合には、これに対応する決まった画像、つまり「夜景」の画像が常に選択されるのみである。このことは、撮影日時情報や撮影条件情報等あるいは被写体情報等、その画像データに付随する各種の情報を参照して、選択されたテキストに応じた画像を選択するという方法である。したがって、単にキーワードに基いて画像検索をおこなう場合と同様のことをしているのみであり、従来の鑑賞方法の延長であると言える。 On the other hand, in the means disclosed in the above Japanese Patent Application Laid-Open No. 2007-148516, for example, when there is a keyword “night”, a fixed image corresponding to this keyword, that is, an image of “night view” is always selected. It is. This is a method of selecting an image according to the selected text with reference to various information accompanying the image data such as shooting date / time information, shooting condition information, or subject information. Therefore, it is merely the same as the case where the image search is performed based on the keyword, and can be said to be an extension of the conventional viewing method.
今後は、使用者を充分に引き付けるような魅力があり、かつ使用者に対して意外性をも感じさせることができるような形態で、テキストと画像とを組み合せた合成画像を作成し表示させ得る工夫によって、これまでにない新しい鑑賞方法の提案が望まれる。 In the future, it is possible to create and display a composite image that combines text and images in a form that is attractive enough to attract the user and that makes the user feel even surprising. It is hoped that a new appreciation method will be proposed.
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、テキストの情感に合わせてストーリー化した画像の組合せの選択をおこなって、これによって取得された合成画像を表示部に表示させるように構成した画像表示装置と、この画像表示装置を持つカメラと、その画像表示方法及びこの画像表示方法を実現するプログラム、画像表示システムを提供することである。 The present invention has been made in view of the above-described points, and an object of the present invention is to select a combination of images made into a story according to the emotion of the text, and to obtain a composite image obtained thereby. An image display device configured to be displayed on a display unit, a camera having the image display device, an image display method thereof, a program for realizing the image display method, and an image display system are provided.
上記目的を達成するために、本発明による画像表示装置は、テキストの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記テキストに対応する画像として、上記情感判定部により判定される上記テキストの情感に、上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、を備えてなることを特徴とする。 In order to achieve the above object, an image display device according to the present invention includes an emotion determination unit that determines an emotion of a text, an expression determination unit that determines an expression of a subject of the image, and the emotion as an image corresponding to the text. An image selection unit that selects an image in which the facial expression of the subject determined by the facial expression determination unit corresponds to the emotion of the text determined by the determination unit, and the text and the image selected by the image selection unit. A text composition unit that composes a text image and a display unit that displays the text image created by the text composition unit.
本発明によるカメラは、被写体像を結像させる撮影レンズと、上記撮影レンズにより結像される被写体像を受光して光電変換処理をおこない電気的な画像信号を出力する撮像素子と、上記撮像素子から出力される画時信号に基いて被写体の顔を検出する顔検出部と、テキストの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記テキストに対応する画像として上記情感判定部により判定される上記テキストの情感に上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部とを備えてなる画像表示装置と、を具備し、上記表情判定部は、上記顔検出部によって検出された被写体の顔についての笑顔の度合いに基いて上記被写体の表情を判定することを特徴とする。 The camera according to the present invention includes a photographing lens that forms a subject image, an imaging element that receives the subject image formed by the photographing lens, performs photoelectric conversion processing, and outputs an electrical image signal, and the imaging element Corresponding to the text, a face detection unit that detects the face of the subject based on the image signal output from the image, an emotion determination unit that determines the emotion of the text, a facial expression determination unit that determines the facial expression of the subject of the image An image selection unit that selects an image in which the facial expression of the subject determined by the facial expression determination unit corresponds to the emotion of the text determined by the emotion determination unit as an image, and is selected by the text and the image selection unit An image comprising a text composition unit that creates a text image by synthesizing an image, and a display unit that displays the text image created by the text composition unit Comprising a display device, and the facial expression determination unit may determine the expression of the subject based on the degree of smile of the face of the detected subject by the face detection unit.
本発明による画像表示方法は、テキストを構成する各センテンスの情感の度合いを判定し、上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択し、上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成し、上記テキスト合成画像を上記テキストの各センテンスの順番に表示することを特徴とする。 The image display method according to the present invention determines the degree of emotion of each sentence constituting the text, selects an image corresponding to the expression of the subject photographed in the emotion of each sentence as an image corresponding to each sentence, Each sentence and the selected image are respectively combined to create a text composite image, and the text composite image is displayed in the order of each sentence of the text.
本発明によるプログラムは、画像表示方法をコンピュータに実行させるプログラムであって、テキストを構成する各センテンスの情感の度合いを判定するステップと、上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択するステップと、上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成するステップと、上記テキスト合成画像を上記テキストの各センテンスの順番に表示するステップと、を有することを特徴とする。 The program according to the present invention is a program that causes a computer to execute an image display method, and includes a step of determining the degree of feeling of each sentence that constitutes text, and an image corresponding to each sentence is photographed in the feeling of each sentence. Selecting an image corresponding to the facial expression of the subject, synthesizing each sentence and the selected image to create a text composite image, and combining the text composite image with each sentence of the text And displaying in order.
本発明による画像表示システムは、画像表示装置と、この画像表示装置との間でネットワークを介して接続されるサーバ装置とからなる画像表示システムにおいて、上記サーバ装置は、文書が格納される文書データベースと、上記文書の各センテンスの情感を数値で表現する情感データが格納された情感データベースと、使用者から送信されたテーマに対応してストーリーを構成できる複数のセンテンスを上記文書データベースから抽出し、かつ抽出したそのセンテンスに対応する情感データを上記情感データベースから抽出するセンテンス抽出部と、上記センテンス抽出部により抽出されたセンテンスと、これに対応する情感データとを使用者に送信する通信部と、を具備し、上記画像表示装置は、上記サーバから送信された上記情感データを含む各センテンスからなるテキストを記録するテキスト記録部と、上記各センテンスの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記各センテンスに対応する画像として、この各センテンスの情感に上記被写体の表情が対応する画像を選択する画像選択部と、上記各センテンスと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、を備えてなることを特徴とする。 An image display system according to the present invention is an image display system comprising an image display device and a server device connected to the image display device via a network. The server device is a document database in which documents are stored. And an emotion database storing emotion data expressing the emotion of each sentence of the document numerically, and a plurality of sentences that can compose a story corresponding to the theme transmitted from the user are extracted from the document database, And a sentence extracting unit that extracts emotion data corresponding to the extracted sentence from the emotion database, a sentence extracted by the sentence extracting unit, and a communication unit that transmits emotion data corresponding to the sentence to the user, The image display device includes the emotion data transmitted from the server. As an image corresponding to each sentence, a text recording unit that records text including each sentence, an emotion determination unit that determines the emotion of each sentence, a facial expression determination unit that determines the facial expression of the subject of the image, and An image selection unit that selects an image in which the expression of the subject corresponds to the feeling of each sentence; a text synthesis unit that creates a text image by synthesizing each sentence and the image selected by the image selection unit; And a display unit for displaying the text image created by the text synthesis unit.
本発明によれば、テキストの情感に合わせてストーリー化した画像の組合せの選択をおこなって、これによって取得された合成画像を表示部に表示させるように構成した画像表示装置と、この画像表示装置を持つカメラと、その画像表示方法及びこの画像表示方法を実現するプログラム、画像表示システムを提供することができる。 According to the present invention, an image display device configured to select a combination of images made into a story in accordance with the emotion of a text and display a composite image acquired thereby on the display unit, and the image display device , An image display method thereof, a program for realizing the image display method, and an image display system can be provided.
以下、図示の実施の形態によって本発明を説明する。 The present invention will be described below with reference to the illustrated embodiments.
本発明の一実施形態の画像表示装置と、この画像表示装置を含んで形成される画像表示システムの構成について、以下に説明する。 A configuration of an image display device according to an embodiment of the present invention and an image display system formed by including the image display device will be described below.
図１は、本発明の一実施形態の画像表示システムの全体構成を概略的に示すブロック構成図である。 FIG. 1 is a block diagram schematically showing the overall configuration of an image display system according to an embodiment of the present invention.
図１に示すように、本実施形態の画像表示システム１は、本発明が適用される画像表示装置を含んで構成されるデジタルカメラ（以下、単にカメラという）１０と、通信ネットワーク５０と、小型コンピュータ（ＰＣ）４０と、外部サーバー１００と、データベース１１０等によって主に構成される。
As shown in FIG. 1, an
カメラ１０は、撮影レンズ１１と、合焦レンズ位置制御部（以下、ＡＦ部という）１２と、光量調整部１３と、光量制御部１４と、撮像素子１５と、アナログフロントエンド部（以下、ＡＦＥ部という）１６と、画像処理部１７と、この画像処理部１７内に設けられる顔検出部１７ａと、圧縮伸長部１８と、記録再生部１９と、記録媒体２０と、表示制御部２１と、表示部２２と、通信部２３と、補助光発光部２４と、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、時計３１ａと、ＲＯＭ３２と、操作スイッチ（図１では操作ＳＷと表記している）３３と、表情判定及び感情類推部２５と、テキストデータベース２６と、情感判定部２７と、画像選択部２８と、画像判定部２９と、テキスト合成部３０等によって主に構成されている。
The
ＭＰＵ３１は、例えばＲＯＭ３２等に格納されているプログラムに基づいて本カメラ１０全体の制御を司る制御回路である。ＭＰＵ３１は、その内部に時間を計時する時計３１ａを有している。ＭＰＵ３１は、撮影動作に伴う画像データの記録動作時に、この時計３１ａにより計時される撮影時点の時間情報を画像処理部１７へと出力するようになっている。これにより、本カメラ１０による撮影動作の結果、取得され最終的に記録媒体２０に記録される画像データには、撮影時点の撮影日時情報が付与されるようになっている。
The MPU 31 is a control circuit that controls the
撮影レンズ１１は、被写体３５の側からの光束（被写体光）を透過させて、被写体３５の光像（被写体像）を結像させるものである。この撮影レンズ１１は、変倍機能を実現するズームレンズ部や、自動焦点検出及び調節（オートフォーカス）機能を実現するフォーカスレンズ部等、複数の光学レンズや、これらの光学レンズを保持するレンズ保持枠及びこれらのレンズ保持枠等を光軸に沿う方向に所定の時に所定の量だけ移動させる駆動機構等によって構成されている。
The photographing
ＡＦ部１２は、ＭＰＵ３１の制御下で自動焦点検出及び調節（オートフォーカス）動作のための制御を実行する制御部であって、撮影レンズ１１のフォーカスレンズ部に作用して焦点調節動作のための駆動制御をおこなう制御回路である。また、ＡＦ部１２は、使用者の所定の操作部材の操作による指示指令によって、オートフォーカス動作によって得られた合焦位置の切り換え制御をおこなったり、変倍用レンズの駆動制御をおこなって撮影画角の切り換え動作（いわゆるズーミング動作）の制御等をもおこない得るようになっている。
The
光量調整部１３は、撮影レンズ１１の保持枠内部やその近傍等に配設され、撮影レンズ１１を透過して本カメラ１０の内部に入射する被写体光の入射光量（即ち露出量）を制御するシャッター機構や絞り調整機構等によって構成されている。
The light
光量制御部１４は、ＭＰＵ３１の制御下で、撮影動作をおこなう際の環境下における被写体光の測定をおこなって（測光動作）、撮影レンズ１１を介して撮像素子１５に到達する光量が画像を生成するのに適切な光量（適正露出量）となるように自動的に調整する自動露出制御をおこなったり、使用者が所定の操作部材を用いて任意に露出値（シャッター速度及び絞り値）を設定する手動露出制御をおこなう際に光量調整部１３を駆動制御する制御回路である。
The light
例えば、光量調整部１３の絞り調整機構の絞り制御を意図的におこなうと、撮影レンズ１１の被写界深度を調整することができる。つまり、被写界深度を調整することによって、画像の背景部分のぼけ具合等を好みに応じて調整することができるので、例えば背景をぼかして近景の主要被写体を浮かび上がらせるような効果を持たせた描写にしたり、近景から背景までの広い範囲で合焦状態とした描写にする等、使用者の表現意図に応じた所望の画像を得るための調整をおこなうことができる。
For example, if the aperture control of the aperture adjustment mechanism of the light
また、自動露出制御によって設定される露出値に対して使用者の意図により露出補正をおこなう場合には、所定の操作部材の操作によって、自動設定される露出値に対して使用者の所望の補正をおこなうこともできる。この場合、例えば光量制御部１４により自動設定される露出値に対して使用者が任意にシャッター速度値や絞り値の制御を変更することで、画像の明暗のコントロール等をおこなって、使用者の表現意図を効果的に表すようにすることができる。
Further, when the exposure correction is performed on the exposure value set by the automatic exposure control according to the user's intention, the user's desired correction is performed on the exposure value automatically set by operating a predetermined operation member. Can also be done. In this case, for example, the user arbitrarily controls the shutter speed value and the aperture value with respect to the exposure value automatically set by the light
撮像素子１５は、撮影レンズ１１により結像される被写体像を受光して光電変換処理をおこない電気的な画像信号を生成し出力する光電変換素子である。撮像素子１５としては、例えば、多数の受光素子（画素）からなるＣＣＤセンサやＣＭＯＳセンサ等が適用される。
The
ＡＦＥ部１６は、撮像素子１５からの出力信号（アナログ信号）を受けてデジタル信号に変換するいわゆるＡＤ変換処理等をおこなってデジタル画像信号を出力する信号処理回路である。また、ＡＦＥ部１６は、撮像素子１５の出力信号を取捨選択する機能も有しており、撮像素子１５の全受光面のうち所定の範囲の画像データを抽出することができるようにもなっている。
The
画像処理部１７は、本カメラ１０において扱うデジタル画像信号に関する各種の信号処理、例えば色や階調やシャープネス等の補正処理等をおこなう信号処理回路である。また、画像処理部１７は、取得したデジタル画像信号を所定の信号レベルに増幅し、適正な濃淡や適正なグレーレベルに設定する増感処理等もおこなうようになっている。ここで、増感処理は、デジタル化された信号レベルが所定のレベルになるようにデジタル演算をおこなう処理である。また、画像処理部１７は、取得したデジタル画像信号に基いて表示部２２で表示するのに最適な形態の画像データを生成する処理、例えばリサイズ処理等をおこなうようになっている。
The
さらに、画像処理部１７は、オートフォーカス動作に利用するためのコントラスト信号も出力する。このコントラスト信号は、ＡＦ部１２へと出力されるようになっており、これを受けたＡＦ部１２は、被写体像のコントラストを判定し、コントラストが最も高くなる位置に撮影レンズ１１を移動させる制御をおこなうようになっている。
Furthermore, the
圧縮伸長部１８は、撮影動作時には画像処理部１７で所定の処理が施されて出力されるデジタル画像信号を受けて所定の記録方式に準拠した画像信号に変換処理する信号圧縮処理をおこなって記録用の画像信号を生成し、これを記録再生部１９へと出力する信号処理部である。また、圧縮伸長部１８は、再生動作時には記録媒体２０に記録されている画像データを読み出して本カメラ１０で取り扱い得る形態の画像信号に変換処理する信号伸長処理をおこなって表示用の画像信号を生成し、これを画像処理部１７を介して表示制御部２１へと出力する信号処理回路である。
The compression /
記録再生部１９は、圧縮伸長部１８によって圧縮処理された画像データやその他のデータ（時間情報等）等を記録媒体２０の記録領域へと記録する処理回路である。
The recording / reproducing unit 19 is a processing circuit that records the image data compressed by the compression /
記録媒体２０は、記録再生部１９から出力される画像信号を画像データとして記録するための媒体である。この記録媒体２０は、例えば通常の場合、例えば不揮発性半導体メモリ，フラッシュメモリ等からなる着脱式の記録媒体が主に適用されるが、それ以外にも、例えばＣＤ−ＲＯＭ，ＤＶＤ等の光学記録媒体，ＭＤ等の光磁気記録媒体，テープ媒体等の磁気記録媒体，ＩＣカード等の半導体メモリや、内蔵型のフラッシュメモリ等が用いられる。
The
表示制御部２１は、ＭＰＵ３１の制御下において画像処理部１７からの出力信号を受けて表示部２２に画像を表示させるために、当該表示部２２を駆動制御する制御回路である。
The
表示部２２は、表示制御部２１によって駆動制御されることで、各種の画像、例えば撮影動作により取得され記録媒体２０に記録済みの画像や後述するテキスト合成部３０により作成されたテキスト合成画像（テキスト画像）を表示したり、各種の設定メニュー画面等を表示するメイン表示装置である。表示部２２としては、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬ（有機エレクトロルミネッセンス；Organic Electro-Luminescence）ディスプレイ等が適用される。
The
表示部２２には、撮影動作時にはモニタ画像が表示される。このモニタ画像は、次のようにして生成されるものである。即ち、撮像素子１５からの出力信号を受けたＡＦＥ部１６は、入力された画像信号を高速で読み出すための間引き読出し処理をおこなって画像処理部１７へと出力する。これを受けて画像処理部１７は、入力信号（間引き読出しされた画像信号）をＡＤ変換処理した後、リサイズ処理を施して表示用の画像信号を生成し、表示制御部２１へと出力する。これを受けて表示制御部２１は、表示部２２を駆動制御して、その表示画面上に画像を表示する。
A monitor image is displayed on the
このようにして、本カメラ１０が撮影動作モードで動作し撮影待機状態にあるときの表示部２２には、ＭＰＵ３１の制御下で撮像素子１５において取得された画像信号に基づく画像が表示される。したがって、使用者は、撮影動作に先立って表示部２２を用いて撮影されるべき画像を予め確認することができる。このことから、表示部２２は、画像観察手段（ファインダー）として機能している。つまり、使用者は、撮影動作時には、撮像素子１５によって取得され続ける画像、即ち表示部２２に表示されるモニタ画像を見ながら構図を決定したり、撮影のタイミングを測ったり、やシャッターチャンスを決定することができるようになっている。
In this way, an image based on the image signal acquired by the
一方、本カメラ１０が再生動作モードで動作しているときには、ＭＰＵ３１の制御下で記録再生部１９により記録媒体２０から読み出された画像データが圧縮伸長部１８において伸長処理される。こうして生成された画像信号は、画像処理部１７へと出力され、この画像処理部１７においてリサイズ処理等がおこなわれる。これにより生成された表示用の画像信号は表示制御部２１を介して表示部２２へと出力される。
On the other hand, when the
このようにして、本カメラ１０が再生動作モードで動作しているときの表示部２２には、記録媒体２０に予め記録されている画像データに基づく画像が表示される。したがって、使用者は、撮影動作によって取得して記録媒体２０に記録されている画像データに基いて表される画像を、表示部２２によって確認もしくは鑑賞することができるようになっている。
In this way, an image based on the image data recorded in advance on the
ＲＯＭ３２は、本カメラ１０の動作制御のための各種の制御プログラムや各種規定の設定情報等が予め記憶されている不揮発性半導体メモリ等である。
The
操作スイッチ３３は、本カメラ１０に設けられる各種の操作部材からの指示信号をＭＰＵ３１へと出力する複数のスイッチ等からなる電気部品を含む電気回路を指している。
The
この場合において、ＭＰＵ３１は、各スイッチからの指示信号の状態を検出し、各指示信号に対応する複数の構成ブロックをシーケンシャルに制御するようになっている。ＭＰＵ３１は、使用者による操作部材の操作により出力される各指示信号にしたがって各対応する各種の制御をおこなうようになっている。
In this case, the
本カメラ１０において、操作スイッチ３３に連繋する各種の操作部材としては、本カメラ１０の主電源のオンオフ操作をおこなう電源スイッチや、本カメラ１０を再生モードで起動させるための再生モード起動ボタンや、撮影モードと再生モードの切り換えをおこなう動作モード切換ボタンや、オートフォーカス動作や自動露出制御や撮影動作等の開始指示等を行うシャッターボタンや、上下左右方向に操作することで所定の指示信号を発生させる上下左右操作ボタンや、合成用テキストの選択操作等、一般的なデジタルカメラに備わる操作部材等がある。
In the
補助光発光部２４は、ＭＰＵ３１の制御下で必要に応じて被写体３５に向けて撮影用の補助光を照射する閃光発光装置である。これにより、例えば低照度環境においても被写体の輝度不足を補ったり、撮影画面内の明るさが不均一になるのを防止して鮮明な画像を取得することができるようにしている。
The auxiliary
通信部２３は、ＭＰＵ３１の制御下で通信ネットワーク５０を介して当該カメラ１０に接続される小型コンピュータ（ＰＣ）４０や外部サーバー１００等の外部機器との間で、画像データ等の送受信を行うための構成ユニットである。
The
一方、上述したように、画像処理部１７は、顔検出部１７ａを有して構成されている。この顔検出部１７ａは、画像処理部１７から出力される表示用モニタ画像データを利用して表示部２２の表示画面中に表示される画像の中から人間の顔のある位置を検出する処理をおこなう処理回路である。つまり、顔検出部１７ａは、撮像素子１５から出力される画像信号に基いて被写体の顔を検出する。
On the other hand, as described above, the
表情判定及び感情類推部２５は、顔検出部１７ａにより検出された表示画面中における人間の顔を含む所定領域の画像の部分的な画像データ（以下、顔部分画像データという）を用いて、人間の顔のパーツの変化形状等を判断して被写体の表情を判定すると共に、各画像中における人物の表情から、その時の感情を類推することにより、画像中の人物の表情に基づいて各画像を数値化する処理をおこなう処理回路である。つまり、表情判定及び感情類推部２５は、画像の被写体の表情を判定する表情判定部として機能する。詳しくは、表情判定及び感情類推部２５は、画像内から検出された被写体の顔についての笑顔の度合いに基づいて被写体の表情を判定する。また、表情判定及び感情類推部２５は、顔検出部１７ａによって検出された被写体の顔についての笑顔の度合いに基いて被写体の表情を判定する。
The facial expression determination and
表情判定及び感情類推部２５によってなされる表情判定は、例えば笑顔や怒った顔等の度合いを判定して数値化する処理をおこなう。この表情判定処理の詳細については、後述するが、本実施形態においては、具体的には、例えば笑顔度を表す数値データとして所定の笑顔データＲ値を算出し、笑顔度を数値化して表す処理をおこなう。
The facial expression determination performed by the facial expression determination and
テキストデータベース２６は、例えば映画，テレビドラマ等のセリフや字幕または小説，エッセイ等の一区切りの文章（以下、センテンスという）等の文字列データが大量に蓄積されたデータの集合であって、テキスト（センテンス）をデータとして記録するテキスト記録部として機能しているものである。
The
情感判定部２７は、テキストデータベース２６から選択された各センテンスのデータに情感データが付与されていない場合に、そのセンテンスのデータを分析して情感を判定し、その判定結果を情感データとして、そのセンテンスのデータに付与する処理をおこなう処理回路である。つまり、情感判定部２７は、テキストの情感を判定するものである。詳しくは、情感判定部２７は、テキストを構成する各センテンス毎に情感を判定する。
The
ここで情感とは、喜怒哀楽といった人間の感情を意味している。また、センテンスの情感データについては、その詳細は後述するが、本実施形態においては、例えば表１に示すように、センテンス内容に応じて、対応する情感（喜怒哀楽）を数値０〜１０の範囲で表すようにした場合の数値データを指している。
画像選択部２８は、表情判定及び感情類推部２５による判定結果を利用して、選択されたセンテンス内容に対応する画像を選択する処理回路である。その選択処理の詳細は後述するが、例えば選択されたセンテンスに付与されている情感データに応じた表情の被写体を含む画像を選択する処理である。つまり、画像選択部２８は、テキスト（センテンス群）に対応する画像として、情感判定部２７により判定されるテキスト（センテンス）の情感に、表情判定及び感情類推部２５（表情判定部）により判定される被写体の表情が対応する画像を選択するものである。詳しくは、画像選択部２８は、各センテンスの情感に被写体の表情が対応する画像をそれぞれ選択する。
The
画像判定部２９は、画像選択部２８により選択された画像の特徴等を判定し、テキスト合成に適した位置、例えば画像のコントラストが低くかつ平坦な位置を検出する処理をおこなう処理回路である。
The
テキスト合成部３０は、画像にテキストを合成する処理を行う処理回路である。具体的には、テキスト合成部３０は、例えば画像選択部２８によって選択された画像における、画像判定部２９により判定された位置に対して、所定のセンテンスを合成処理してテキスト合成画像（テキスト画像）信号を生成する。このテキスト合成部３０により生成されたテキスト合成画像信号は画像処理部１７を介して記録再生部１９へと出力され記録媒体２０に記録されるようになっている。
The
この場合において、記録再生部１９は、テキスト合成画像データを記録媒体２０に記録する際には、例えばテキストの表すテーマ（表題）毎に分類し、各テーマに対応するフォルダーに記録するようにしてもよいし、各テーマに応じてセンテンスに付与された番号等に基づく順番で記録するようにしてもよい。
In this case, when recording the text composite image data on the
また、テキスト合成画像データを生成するセンテンスのデータ自体と、これに対応する画像データの画像番号や合成位置等の情報とを合成用データとして記録媒体２０の所定の領域（所定のフォルダー等）に記録しておき、合成画像の再生動作時に、この合成用データと対応する画像データ（別のメイン領域に記録されている）の両者を読み込んで、合成処理して再生表示するようにしてもよい。
Further, the sentence data itself for generating the text composite image data and the information such as the image number and the composite position of the corresponding image data are stored in the predetermined area (predetermined folder, etc.) of the
他方、本実施形態の画像表示システム１において、カメラ１０とＰＣ４０とは、通信ネットワーク５０を介して外部サーバー１００に対して通信可能に接続されている。
On the other hand, in the
外部サーバー１００は、記録表示部１０１と、通信部１０２と、センテンス抽出部１０３等を具備して構成されるサーバ装置である。また、外部サーバー１００には、データベース１１０が接続されている。
The
通信部１０２は、通信ネットワーク５０を介して接続されるカメラ１０，ＰＣ４０等との間で通信をおこなう処理回路である。即ち、この通信部１０２は、カメラ１０，ＰＣ４０等を利用する使用者からの通信に対して応答したり、使用者からの要求に応じて記録済みの各種データを使用者側の機器に向けて送信する通信機能を有している。
The
記録表示部１０１は、通信部１０２によって実現される通信機能によって、使用者から送信されるコンテンツ（情報）を受信して記録する記録機能と、使用者側からの要求によって記録済みのコンテンツ（情報）を表示する表示機能とを有する処理回路である。
The recording / display unit 101 receives and records content (information) transmitted from the user by a communication function realized by the
センテンス抽出部１０３は、データベース１１０の文書データベース１１１（後述する）に記録されている文書データから所定のセンテンス抽出処理をおこなう処理回路である。
The
このセンテンス抽出部１０３は、例えば後述する文書データベース１１１を検索して、映画，テレビドラマ，小説，エッセイ等のタイトルに対応する文書内容を読み出して、その文書中に含まれる各センテンスについての検索をおこなって、全体的に物語り（ストーリー）を構成することのできる複数のセンテンスを抽出する処理をおこなう。
The
また、センテンス抽出部１０３は、各センテンスが表わす喜怒哀楽の人間の感情を数値化するための情感データを後述する情感データベース１１２から抽出する処理をおこなう。
In addition, the
なお、センテンス抽出部１０３は、各センテンスのデータから直接情感データを抽出するだけではなく、一センテンスから他のセンテンスへと移行する際の情感の変化から情感データを抽出するようにしてもよい。センテンス抽出部１０３についての詳細は、さらに後述する。
Note that the
この外部サーバー１００としては、例えばブログ（Ｂｌｏｇ）やＳＮＳ（ソーシャル・ネットワーキング・サービス）等のＣＧＭ（コンシューマー・ジェネレイテッド・メディア；消費者生成メディア等と訳される）を管理するサービスをおこなう大型コンピュータ等によって構築されるサーバー装置が適している。
As this
一方、データベース１１０は、文書データベース１１１と情感データベース１１２とを含んで構成されている。
On the other hand, the
文書データベース１１１には、例えば映画，テレビドラマ等のセリフや字幕または小説，エッセイ等の文書類がテキスト情報のデータベースとして蓄積されている。
In the
情感データベース１１２には、例えば複数のセンテンスによって表わされる喜怒哀楽の情感データや、一つのセンテンスから他のセンテンスへと移行するときの情感の変化等のデータがデータベースとして蓄積されている。
The
ここで、本実施形態の画像表示システム１において、使用者の要求を受けて外部サーバー１００からカメラ１０へとセンテンスデータが送信される際の作用の流れの概略を、以下に簡単に説明する。
Here, in the
まず、使用者は、自身が感銘を受けた映画，ドラマ，小説等のタイトル名の情報、例えば「冒険・・・」，「愛の・・・」，「世界の遺産・・・」等、または、自身が作成したいテーマの具体的なタイトル名の情報、例えば「ビジネスピンチ大脱出」，「わくわく旅行・・・」等の任意のタイトル名情報を、ＰＣ４０等を利用して通信ネットワーク５０を介して外部サーバー１００へと送信する。
First, the user is informed of the title name of the movie, drama, novel, etc. that he / she was impressed with, such as “Adventure ...”, “Love ...”, “World Heritage ...”, etc. Alternatively, information on a specific title name of a theme that the user wants to create, for example, arbitrary title name information such as “Escape Business Pinch”, “Exciting Travel ...”, etc., can be used for the
外部サーバー１００の通信部１０２は、ＰＣ４０等との間で通信ネットワーク５０を介した通信をおこなって、上述のＰＣ４０から送信されたタイトル名情報を受信し、これをセンテンス抽出部１０３へと送る。
The
これを受けて、外部サーバー１００のセンテンス抽出部１０３は、データベース１１０の文書データベース１１１を参照して、受信したタイトル名情報に応じたストーリーを構成できる複数のセンテンスを抽出する。これと共に、センテンス抽出部１０３は、情感データベース１１２を参照して、自身が抽出した複数のセンテンスに対応する情感データを抽出する。こうして抽出された複数のセンテンスと、これらに対応する情感データとは、一つのセンテンスデータとして通信部１０２へと送られる。なお、抽出されたセンテンスに対応する情感データが抽出できない場合もある。その場合には、抽出された複数のセンテンスのみがセンテンスデータとして通信部１０２へ送られる。
In response to this, the
これを受けて、外部サーバー１００の通信部１０２は、通信ネットワーク５０を介してカメラ１０との通信をおこなう。これにより、上述のセンテンスデータ（抽出された複数のセンテンス及び情感データ）は、外部サーバー１００からカメラ１０へと送信される。
In response to this, the
このようにして、外部サーバー１００は、使用者が送信したタイトル名情報に基いて、タイトル名に応じたストーリーを構成できる複数のセンテンスと対応する情感データ等をデータベースから抽出し、これをセンテンスデータとしてカメラ１０へと送信する。
In this way, the
次に、本実施形態の画像表示システム１において、上述のセンテンスデータを受信したカメラ１０側の作用の流れの概略を、以下に簡単に説明する。
Next, in the
カメラ１０は、ＭＰＵ３１の制御下で通信部２３が通信ネットワーク５０を介した通信をおこなって、外部サーバー１００から送信された上述のセンテンスデータを受信する。
In the
受信されたセンテンスデータは、通信部２３からテキストデータベース２６へと送られる。当該テキストデータベース２６は、ＭＰＵ３１の制御下において入力されたセンテンスデータを、これが対応するテーマ名と共に記録する。
The received sentence data is sent from the
テキストデータベース２６には、テーマ名を単位とするセンテンスと情感データとがセットにされたセンテンスデータが、通常の場合、複数記録されている。
In the
ここで、使用者がカメラ１０の所定の操作部材を操作して、所望のテーマ名を選択したものとする。
Here, it is assumed that the user operates a predetermined operation member of the
その指示信号を受けてＭＰＵ３１は、画像選択部２８を制御して、使用者が選択したテーマ名に対応するセンテンスに適切な情感を表す画像を選択する処理をおこなう。この場合において、画像選択部２８は、記録媒体２０に記録済みの全ての画像データまたは指定範囲の画像データを対象として画像選択処理をおこなうことになる。つまり、画像選択部２８は、例えば、予め記録媒体２０に記録されている複数の画像の中から所定の画像を選択することになる。
In response to the instruction signal, the
画像選択部２８による画像選択処理は、具体的には、次のような処理の流れである。
Specifically, the image selection processing by the
即ち、使用者の選択したテーマ名に対応するセンテンスが、例えば「人生楽あれば」と「苦あり」という二つのセンテンスである場合、画像選択部２８は、まず最初に、「人生楽あれば」というセンテンスに適切な情感を表す画像を選択する処理をおこなう。
That is, when the sentences corresponding to the theme name selected by the user are, for example, two sentences of “if life is easy” and “if there is pain”, the
つまり、画像選択部２８は、記録媒体２０に記録済みの全ての画像データまたは指定範囲の画像データを対象として検索をおこない、画像データに付随する関連情報に喜怒哀楽の情感データ（数値データ；表１参照）を持つ画像データの中から、「喜」，「楽」の情感データを持つ画像データを選択する。
That is, the
続いて、画像選択部２８は、同様に記録媒体２０の検索対象画像データから「苦あり」というセンテンスに適切な情感、即ち「怒」，「哀」の情感データを持つ画像データを選択する。
Subsequently, the
なお、画像選択部２８は、センテンスに対応する情感データが予め添付されている場合には、画像選択をおこなうのに際しては、その情感データを利用する。一方、センテンスに情感データが予め添付されていない場合もある。この場合には、ＭＰＵ３１は、まず情感判定部２７を制御して、そのセンテンスの情感を判定し、対応する情感データをセンテンスデータに付与した後、画像選択部２８による画像選択処理をおこなうように制御する。
In addition, when emotion data corresponding to a sentence is attached in advance, the
ただし、情感データが添付されていないセンテンスデータは、情感判定部２７によって常に確実明快に情感を判定することができるとは限らない。
However, the sentence data to which no emotion data is attached cannot always be surely and clearly determined by the
具体的な例を挙げて説明すると、情感判定部２７によって情感を判定するのに際して、例えば、「悲しいことがあった」，「泣きっ面に蜂とはこのことだ」という２つのセンテンスの組み合わせについて考えた場合、それぞれのセンテンスの情感を単独で判定すると、いずれも同じような情感であると判定されることになる。しかしながら、後者（「泣きっ面に蜂とはこのことだ」）のセンテンスに対応して選択されるべき画像としては、前者（「悲しいことがあった」）のセンテンスに対応して選択されるべき画像より以上に悲しげな画像、より具体的には、喜怒哀楽における「哀」を表すような画像が選択されることが望ましいと考えられる。つまり、同じ「悲」に分類されるセンテンスのうちでも、その「悲」の度合いには、違いがあるということを考慮する必要がある。
For example, when the
そこで、本実施形態におけるカメラ１０の画像選択部２８は、上述のような場合をも考慮して、それぞれのセンテンス毎に対応する画像を個別に選択するだけでなく、複数のセンテンス間の差異や変化等を考慮した選択がなされるような処理がおこなわれるようになっている。
Therefore, the
また、テキストデータベース２６に記録されるデータとしては、上述したように通信部２３の通信機能を利用して外部サーバー１００から取得する場合の例を説明しているが、これに限るものではない。本カメラ１０のテキストデータベース２６にセンテンスデータ等を記録する手段としては、このほかにも、例えば記録媒体２０を介してテキストデータベース２６へと記録するようにしたり、カメラ１０とＰＣ４０とを、通信ネットワーク５０を介してもしくは接続ケーブル等による直接接続によって通信をおこなって、ＰＣ４０に蓄えられた同様のセンテンスデータ等をカメラ１０のテキストデータベース２６へと記録するようにしてもよい。
Further, the data recorded in the
次に、本実施形態の画像表示システムにおけるカメラ制御の流れを、図２のフローチャートを用いて以下に詳述する。 Next, the flow of camera control in the image display system of the present embodiment will be described in detail below using the flowchart of FIG.
まず、本カメラ１０が電源オフ状態にある場合において、使用者によって本カメラ１０の操作部材のうち電源スイッチのオン操作がなされると操作ＳＷ３３より電源オン信号が生じ、同信号はＭＰＵ３１へと出力される。これを受けてＭＰＵ３１は、本カメラ１０の内部回路を電源オン状態として所定の制御を開始する。これにより、本カメラ１０は起動する。
First, when the
この状態において、図２のステップＳ１において、ＭＰＵ３１は、本カメラ１０の動作モードが撮影モードに設定されているか否かの確認をおこなう。ここで、撮影モードに設定されていることが確認された場合には、ステップＳ２の処理に進む。また、撮影モード以外の動作モードに設定されていることが確認された場合には、ステップＳ１２の処理に進む。
In this state, in step S1 of FIG. 2, the
ステップＳ２において、ＭＰＵ３１はモニタ画像表示処理を実行する。このモニタ画像表示処理は、次のような一連の処理である。即ち、ＭＰＵ３１は、撮像素子１５，ＡＦＥ部１６，画像処理部１７，表示制御部２１，表示部２２等を制御して、撮像素子１５の出力信号に基いて表示用の画像信号を生成し、その画像信号によって表される画像を表示部２２に連続的に表示し続ける処理である。このように、本カメラ１０が撮影モードに設定されており、表示部２２に画像が連続的に表示されている状態を撮影待機状態という。このモニタ画像表示処理自体は、通常のデジタルカメラにおいて一般的におこなわれる処理である。
In step S2, the
次いで、ステップＳ３において、ＭＰＵ３１は撮影動作処理を実行する。この撮影動作処理は、使用者による所定の操作部材、例えばシャッターボタンの操作によって生じる撮影指示信号を受けて開始される。つまり、カメラ１０が撮影待機状態にあるとき、ＭＰＵ３１は、操作ＳＷ３３の状態を監視し撮影指示信号を検出すると、撮影動作処理を実行する。撮影動作処理は、次のような一連の処理である。即ち、ＭＰＵ３１は、撮影指示信号を受けると、光量調整部１３，光量制御部１４等を制御してオートフォーカス動作や自動露出制御動作をおこなった後、撮像素子１５の出力信号を取得し、ＡＦＥ部１６，画像処理部１７において所定の画像処理を施して得られた画像信号を内部メモリ（特に図示していないが例えば画像処理部１７内に設けられていたり、別途カメラ１０の内部に設けられる一時メモリ）に一時的に記録する処理である。
Next, in step S3, the
続いて、ステップＳ４以降の各処理において、ＭＰＵ３１は、上述のステップＳ３の処理にて取得した画像信号に基づいて各種の信号処理を実行する。
Subsequently, in each process after step S4, the
まず、ステップＳ４において、ＭＰＵ３１は画像処理部１７の顔検出部１７ａを制御して、上述のステップＳ３の処理にて取得した画像信号を対象として、その画像陣号により表される画像中の人間の顔のある領域（以下、顔画像領域という）を検出する顔検出処理を実行する。
First, in step S4, the
ステップＳ５において、ＭＰＵ３１は笑顔度検出処理を実行する。この笑顔度検出処理は、上述のステップＳ４の処理にて検出した顔画像領域に基いて、顔の表情（笑顔データＲ値）を検出する処理である。なお、この笑顔度検出処理の詳細については、図３，図４を用いて後述する。
In step S5, the
ステップＳ６において、ＭＰＵ３１は、上述のステップＳ４の処理にて検出した顔画像領域に基いて顔の向きを検出する処理を実行する。
In step S6, the
ステップＳ７において、ＭＰＵ３１は、上述のステップＳ３の処理にて取得した画像信号に基いてその画像中に写っている人間の数を検出する処理をおこなう。例えば、上述のステップＳ４の処理にて検出した顔画像領域の数の検出をおこなう。
In step S7, the
ステップＳ８において、ＭＰＵ３１は、上述のステップＳ４の処理にて検出した顔画像領域に基いて顔の大きさを検出する処理を実行する。
In step S8, the
ステップＳ９において、ＭＰＵ３１は、上述のステップＳ３の処理にて取得した画像信号に基いてその画像の中の色や明るさ等の画像の特徴を判定する処理を実行する。
In step S9, the
そして、ステップＳ１０において、ＭＰＵ１０は、圧縮伸長部１８，記録再生部１９，記録媒体２０等を制御して、上述のステップＳ３の処理にて取得した画像信号を記録用の画像データとして記録媒体２０に記録する。
In step S10, the
この場合において、ＭＰＵ３１は、上述のステップＳ４〜Ｓ９の処理にて取得した各種の情報、即ち画像中の顔の有無情報，笑顔データＲ値，画像中の人間の数情報，顔の大きさ情報，その他の画像の特徴を示す情報等を、記録用の画像データに関連付ける処理処理を同時におこなう。この関連付け処理としては、例えば、記録用の画像データのヘッダ部等に上記各種情報を書き込んで、一つの画像データとして記録する形態としてもよいし、記録用の画像データとこれに付随する情報とを別個のデータとして構成し、対応する一対のデータファイルとして関連付けて記録するようにしてもよい。このような記録処理が終了したら、次のステップＳ１１の処理に進む。
In this case, the
ステップＳ１１において、ＭＰＵ３１は操作ＳＷ３３を監視して終了指示信号が発生したか否かの確認をおこなう。ここで、終了指示信号が確認された場合には、一連の処理を終了する（エンド）。また、終了指示信号が確認されない場合には、上述のステップＳ１の処理に戻り、次の撮影動作のための以降の処理を繰り返す。
In step S11, the
ここで、図２のステップＳ５の処理、即ち笑顔度検出処理の詳細について、図３，図４を用いて以下に説明する。 Here, the details of the process of step S5 in FIG. 2, that is, the smile level detection process will be described below with reference to FIGS.
図３は、本実施形態のカメラにおいて実行される笑顔度検出処理を説明する図である。このうち、図３（Ａ）は笑顔の表示を例示する図である。図３（Ｂ）は困った顔の表情を例示する図である。 FIG. 3 is a diagram for explaining smile level detection processing executed in the camera of the present embodiment. Among these, FIG. 3A is a diagram illustrating a display of a smile. FIG. 3B is a diagram illustrating an expression of a troubled face.
図４は、本実施形態のカメラにおいて実行される笑顔度検出処理（図２のステップＳ５の処理）のサブルーチンを示すフローチャートである。 FIG. 4 is a flowchart showing a subroutine of smile level detection processing (step S5 in FIG. 2) executed in the camera of this embodiment.
本実施形態のカメラにおいて実行される笑顔度検出処理によって検出される笑顔データＲ値は、後述する合成モード処理の際におこなう表情判定処理の際に使用される数値データである。この笑顔データＲ値は、顔画像領域において表示される顔画像の表情（笑顔度）を数値化して表すものである。そして、笑顔データＲ値は、上述したようにＭＰＵ３１の制御下において表情判定及び感情類推部２５によって判定され数値化のための演算処理がなされた結果、算出される数値データである。
The smile data R value detected by the smile degree detection process executed in the camera of the present embodiment is numerical data used in the facial expression determination process performed in the synthesis mode process described later. This smile data R value represents the expression (smile level) of the face image displayed in the face image area in numerical form. The smile data R value is numerical data calculated as a result of the arithmetic processing for digitization determined by the facial expression determination and emotion
なお、笑顔データＲ値は、数値が多いほど笑顔度が高いことを表すものとする。また、笑顔データＲ値の具体的な数値としては、例えば０から１０の範囲の数値を採用するものとする。したがって、完全なる笑顔を表す笑顔データはＲ＝１０である。なお、笑顔データＲ値を表す数値自体は、整数のみでも可であるが、小数点以下の数値も適用可能である。 Note that the smile data R value represents that the smile value is higher as the numerical value is larger. Further, as a specific numerical value of the smile data R value, for example, a numerical value in the range of 0 to 10 is adopted. Therefore, the smile data representing a complete smile is R = 10. The numerical value representing the smile data R value itself can be an integer only, but a numerical value after the decimal point is also applicable.
一般に、人間の顔の表情において、図３（Ａ）に示すような笑顔の表情場合と、図３（Ｂ）に示すような困った顔の表情の場合とでは、人間の顔を構成するパーツのうち眼と口元とにそれぞれ顕著な特徴が存在することが明らかである。 In general, in the facial expression of a human face, the parts constituting the human face in the case of a smiling facial expression as shown in FIG. 3A and in the case of a troubled facial expression as shown in FIG. It is clear that there are distinctive features in the eyes and mouth.
ここで、図４の笑顔データＲ値を算出する笑顔度検出処理（図２のステップＳ５の処理）のサブルーチンを用いて、処理の流れを説明する。 Here, the flow of processing will be described using the subroutine of smile level detection processing (step S5 in FIG. 2) for calculating the smile data R value in FIG.
まず、図４のステップＳ２１において、ＭＰＵ３１は、上述の図２のステップＳ４の処理による顔検出処理の結果、即ち顔画像領域の部分画像データに基づいて眼と口の部分の検出処理を開始する。
First, in step S21 of FIG. 4, the
まず、ステップＳ２２，Ｓ２３において、ＭＰＵ３１の制御下で表情判定及び感情類推部２５は、白眼の面積を測定する。
First, in steps S22 and S23, the facial expression determination and
具体的には、ステップＳ２２において、両眼の瞳の中心を結ぶ線Ｇより上側の白眼面積ＥＡを測定し、ステップＳ２３において、両眼の瞳の中心を結ぶ線Ｇより下側の白眼面積ＥＢを測定する。 Specifically, in step S22, the white eye area EA above the line G connecting the centers of the eyes of both eyes is measured. In step S23, the white eye area EB below the line G connecting the centers of the eyes of both eyes is measured. Measure.
続いて、ステップＳ２４において、表情判定及び感情類推部２５は、上述のステップＳ２２，Ｓ２３の各処理にて得られた白眼面積ＥＡ，ＥＢの差を、これらの和で正規化して数値ＲＥを得る。即ち、
ＲＥ←（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）
図３（Ａ），図３（Ｂ）のそれぞれに示す表情の例において、眼に着目して両者を比較してみると、両眼の瞳の中心を結ぶ線Ｇより上側の白眼部分が、笑顔の表情ほど多いことが分かる。
Subsequently, in step S24, the facial expression determination and
RE ← (EA-EB) / (EA + EB)
In the example of facial expressions shown in FIG. 3A and FIG. 3B, when comparing both focusing on eyes, the white-eye portion above the line G connecting the centers of the eyes of both eyes is You can see that there are more smiles.
したがって、上述のステップＳ２４の処理にて得られた数値ＲＥが大きいほど笑顔であると判定されることになる。 Therefore, the larger the numerical value RE obtained in the process of step S24 described above, the greater the smile.
次に、ステップＳ２５，Ｓ２６において、表情判定及び感情類推部２５は、唇の面積を測定する。
Next, in steps S25 and S26, the facial expression determination and
具体的には、ステップＳ２５において、口の両端を結ぶ線Ｈより上側にある唇面積ＬＡを測定し、ステップＳ２６において、口の両端を結ぶ線Ｈより下側にある唇面積ＬＢを測定する。 Specifically, in step S25, the lip area LA above the line H connecting both ends of the mouth is measured, and in step S26, the lip area LB below the line H connecting both ends of the mouth is measured.
続いて、ステップＳ２７において、表情判定及び感情類推部２５は、上述のステップＳ２５，Ｓ２６の各処理にて得られた唇面積ＬＡ，ＬＢの差を、これらの和で正規化して数値ＲＬを得る。即ち、
ＲＬ←（ＬＡ−ＬＢ）／（ＬＡ＋ＬＢ）
図３（Ａ），図３（Ｂ）のそれぞれに示す表情の例において、口に着目して両者を比較してみると、口の両端を結ぶ線Ｈより上側にある唇部分が、笑顔の表情ほど多いことが分かる。
Subsequently, in step S27, the facial expression determination and
RL ← (LA-LB) / (LA + LB)
In the example of facial expressions shown in FIGS. 3 (A) and 3 (B), when comparing the two with attention to the mouth, the lip portion above the line H connecting both ends of the mouth is smiling. You can see that there are more facial expressions.
したがって、上述のステップＳ２７の処理にて得られた数値ＲＬが大きいほど笑顔であると判定されることになる。 Therefore, the larger the numerical value RL obtained in the process of step S27 described above, the greater the smile.
次に、ステップＳ２８において、表情判定及び感情類推部２５は、上述のステップＳ２４の処理で得られた眼のＲＥ値と、上述のステップＳ２７の処理で得られた口のＲＬ値とを加算して笑顔データＲ値を算出する。即ち、
Ｒ←ＲＥ＋ＲＬ
この場合において、笑顔データＲ値が大きいほど笑顔に近いことになる。
Next, in step S28, the facial expression determination and
R ← RE + RL
In this case, the larger the smile data R value, the closer to the smile.
さらに、ステップＳ２９において、表情判定及び感情類推部２５は、顔画像領域の口部分に着目して、歯が見えてかつ口端部分に影が有るか否かの確認をおこなう。ここで、歯が見えてかつ口端部分に影が有ることが確認されると、ステップＳ３０の処理に進む。
Further, in step S29, the facial expression determination and
例えば、図３（Ａ）の表情においては、歯が見えており、かつ図３（Ａ）の矢印Ｊで示される領域において口の端部に影がある。このような条件となるとき、笑顔の表情となっている確率が高いと考えられる。 For example, in the facial expression of FIG. 3A, teeth are visible and there is a shadow at the edge of the mouth in the region indicated by arrow J in FIG. When such a condition is met, it is considered that there is a high probability of having a smiling expression.
そこで、このステップＳ２９において、上記条件（歯が見えてかつ口端部分に影が有る）を満たして、ステップＳ３０の処理に進むと、このステップＳ３０において、表情判定及び感情類推部２５は、笑顔データＲ値に１を加算する処理をおこなう。即ち、
Ｒ←Ｒ＋１
そして、ステップＳ３１の処理に進む。
Therefore, in step S29, when the above condition (the teeth are visible and the mouth end has a shadow) is satisfied and the process proceeds to step S30, the facial expression determination and
R ←
Then, the process proceeds to step S31.
また、上述のステップＳ２９において、上記条件（歯が見えてかつ口端部分に影が有る）を満たさない場合には、ステップＳ３１の処理に進む。 In step S29 described above, if the above condition (the teeth are visible and the mouth end portion has a shadow) is not satisfied, the process proceeds to step S31.
一方、例えば眉間部分にしわがあるような表情は笑顔とは言えない。例えば、図３（Ｂ）の表情においては、図３（Ｂ）の矢印Ｋで示される領域において両眼の間に皺があるような場合は、笑顔の表情ではない確率が高くなる。 On the other hand, for example, a facial expression with wrinkles in the area between the eyebrows is not a smile. For example, in the facial expression of FIG. 3B, if there is a wrinkle between both eyes in the region indicated by the arrow K in FIG. 3B, the probability that the facial expression is not a smile is high.
そこで、 ステップＳ３１において、表情判定及び感情類推部２５は、顔画像領域の眉間部分に着目して、眉間に皺が有るか否かの確認をおこなう。ここで、眉間に皺が有ることが確認されると、ステップＳ３２の処理に進む。
Therefore, in step S31, the facial expression determination and
ステップＳ３２において、表情判定及び感情類推部２５は、笑顔データＲ値から１を減算する処理をおこなう。即ち、
Ｒ←Ｒ−１
こうして笑顔データＲ値が確定された後、一連の処理を終了し、上述の図２の元の処理に戻る（リターン）。
In step S32, the facial expression determination and
R ← R-1
After the smile data R value is determined in this way, the series of processing ends, and the processing returns to the original processing in FIG. 2 described above (return).
また、上述のステップＳ３１の処理において、眉間に皺がないことが確認された場合には、その時点の笑顔データＲ値が確定されて、一連の処理を終了し、上述の図２の元の処理に戻る（リターン）。 If it is confirmed that there is no wrinkle between the eyebrows in the process of step S31, the smile data R value at that time is determined, the series of processes is terminated, and the original process of FIG. Return to processing (return).
以上説明した笑顔度検出処理によって、笑顔度を数値化した笑顔データＲ値が算出される。この笑顔データＲ値が高得点であるほど笑顔に近い（笑顔度が高い）ことを表すことになる。 The smile data R value obtained by quantifying the smile level is calculated by the smile level detection process described above. The higher the smile data R value, the closer to the smile (the higher the smile level).
上述の笑顔度検出処理によって得られた笑顔データＲ値は、情感（例えば喜怒哀楽）に対応させる。 The smile data R value obtained by the smile level detection process described above corresponds to emotion (for example, emotion).
例えば、笑顔データＲ値が高い画像の場合、情感としては「喜」，「楽」等の情感に対応する一方、笑顔データＲ値の低い画像の場合は、「怒」，「哀」等の情感に対応することになる。 For example, in the case of an image having a high smile data R value, the emotion corresponds to emotions such as “joy” and “easy”, while in the case of an image having a low smile data R value, “anger”, “sorrow”, etc. It corresponds to feelings.
また、「喜」と「楽」とでは、前者の方が笑顔データＲ値の高い画像が採用され、後者は笑顔データＲ値が比較的低い画像が採用される。 For “joy” and “easy”, an image with a higher smile data R value is used for the former, and an image with a relatively lower smile data R value is used for the latter.
さらに、例えば、眼を瞑っていてかつ口元が笑っているような画像の場合には、「楽」の情感を対応させてもよい。 Further, for example, in the case of an image where the eyes are meditated and the mouth is laughing, the feeling of “easy” may be made to correspond.
一方、「怒」は、「哀」よりも笑顔データＲ値の低い画像に対応させるという判定としてもよいが、さらに眉間の皺についての条件を加えて判定することで「怒」であるか否かを判定の分岐としてもよい。また、眼の下の涙についての条件を加えて、これを検出すると「哀」の判定に分岐するような流れを追加するようにしてもよい。 On the other hand, “angry” may be determined to correspond to an image having a smile data R value lower than “sorrow”, but whether or not it is “angry” by determining by adding a condition regarding the eyelid between the eyebrows. This may be a decision branch. Further, a condition for tears under the eyes may be added, and a flow that branches to the determination of “sorrow” when this is detected may be added.
なお、表情だけで喜怒哀楽を判定する必要は、必ずしもなく、例えば顔の角度や向きを判定し、顔の向きが上向きの画像の場合には、「喜」，「楽」に分類する一方、顔のむきが下向きであったり後ろ向きである画像の場合には、「哀」，「怒」に分類するような判定としてもよい。 Note that it is not always necessary to judge emotions based only on facial expressions. For example, when the face angle or orientation is judged and the face orientation is an upward image, it is classified as “joy” or “easy”. In the case of an image in which the face is facing downward or backward, it may be determined to be classified as “sorrow” or “anger”.
したがって、以上のことを考慮すると、笑顔度の検出と情感との対応付けは、顔の表情や仕草の他に、画像中の人間の数の多い少ないを考慮したり、画像の面積に対する顔の大きさ等をも考慮して、情感に対応付けることが好ましいのであるが、本実施形態においては、説明が複雑になるのをさけるために、情感については「喜怒哀楽」のみを基本概念として、以下の説明を続けることにする。 Therefore, in consideration of the above, the detection of the smile level and the correspondence between the emotions and the facial expressions and gestures, in addition to the large number of people in the image, In consideration of the size and the like, it is preferable to associate with emotions, but in this embodiment, in order to avoid complicated explanations, only emotions are expressed as a basic concept for emotions. The following explanation will be continued.
したがって、画像中の人間の顔が大きい場合には、どちらかと言うと「喜」，「怒」に分類し、画像中の人間の顔が小さい場合には、「哀」等に分類するものとする。 Therefore, when the human face in the image is large, it is classified as “joy” or “anger”, and when the human face in the image is small, it is classified as “sorrow” or the like. To do.
また、画像中の人間の数については、顔検出機能を用いて容易に判定し得ることであるので、数が多いほど「喜」，「楽」に分類され、数が少ないほど「怒」，「哀」に分類するものとする。 In addition, the number of people in the image can be easily determined using the face detection function. Therefore, the larger the number, the more “classified” as “joy” and “easy”, and the smaller the number, “angry”, It shall be classified as “sorrow”.
図２のフローチャートに戻って、上述のステップＳ１の処理において、撮影モード以外の動作モードに設定されていることが確認された場合には、上述したようにステップＳ１２の処理に進む。 Returning to the flowchart of FIG. 2, when it is confirmed in the process of step S <b> 1 that an operation mode other than the shooting mode is set, the process proceeds to step S <b> 12 as described above.
この場合には、ステップＳ１２において、ＭＰＵ３１は、本カメラ１０の動作モードが合成モードに設定されているか否かの確認をおこなう。ここで、合成モードに設定されていることが確認された場合には、ステップＳ１３の処理、即ち合成モード処理に進む。一方、合成モードに設定されていないことが確認された場合には、ステップＳ１４の処理に進む。
In this case, in step S12, the
ここで、合成モードとは、テーマと画像範囲を指定して、指定された範囲の画像からテキストのセンテンスに適した画像を自動的に選択し、選択された画像にテキストのセンテンスを合成する処理である。 Here, compositing mode is a process that specifies a theme and an image range, automatically selects an image suitable for the text sentence from the image in the specified range, and combines the text sentence with the selected image. It is.
この合成モードを実行する合成モード処理（図２のステップＳ１３の処理）の詳細について、図５を用いて以下に説明する。 Details of the synthesis mode process for executing this synthesis mode (the process in step S13 in FIG. 2) will be described below with reference to FIG.
図５は、本実施形態のカメラにおいて実行される合成モード処理（図２のステップＳ１３の処理）のサブルーチンを示すフローチャートである。 FIG. 5 is a flowchart showing a subroutine of the synthesis mode process (the process of step S13 in FIG. 2) executed in the camera of the present embodiment.
まず、上述の図２のステップＳ１２の処理において、合成モードに設定されていることが確認されて、図２のステップＳ１３の処理に進むと、このステップＳ１２において、ＭＰＵ３１は合成モード処理（図５のサブルーチン）を開始させる制御をおこなう。一方、合成モードに設定されていないことが確認された場合には、ステップＳ１４の処理に進む（後述する）。
First, in the process of step S12 of FIG. 2 described above, it is confirmed that the synthesis mode is set, and when the process proceeds to the process of step S13 of FIG. 2, the
こうして合成モード処理が開始されると、まず、ＭＰＵ３１は、表示制御部２１等を制御して表示部２２等に、本カメラ１０が合成モード処理の実行中である旨の表示や、記録媒体２０に記録済みの画像データに基づく所定の画像を再生表示させる。同時に、ＭＰＵ３１は、操作ＳＷ３３の監視を開始する。そして、使用者の操作を待機する状態になる。
When the synthesis mode process is started in this way, first, the
ここで、使用者は所定の操作部材を用いて、選択画像の範囲を指定する操作をおこなう。この操作は、例えば表示部２２に表示されるサムネイル画面に基いて、選択範囲の始点画像と終点画像を指定する操作をおこなう等である。この操作により、操作ＳＷ３３からは、所定の選択画像範囲指定の指示信号が発生する。
Here, the user performs an operation of specifying the range of the selected image using a predetermined operation member. This operation is, for example, an operation of designating the start point image and the end point image of the selection range based on the thumbnail screen displayed on the
この指示信号を受けて、ＭＰＵ３１は、図５のステップＳ４１において、当該指示信号に基づく選択画像範囲指定処理をおこなう。
Upon receiving this instruction signal, the
次に、ステップＳ４２において、ＭＰＵ３１は、テキストデータベース２６，表示制御部２１，表示部２２等を制御して、テキストデータベース２６に現在記録されているテーマ名情報等の一覧を表示部２２に表示させ、同時に再度操作ＳＷ３３の監視をおこなって選択操作を待機する状態となる。
Next, in step S42, the
ここで、使用者は所定の操作部材を用いて、表示部２２に表示される複数のテーマ名情報のうち所望のテーマ名を選択する操作をおこなう。
Here, the user uses a predetermined operation member to perform an operation of selecting a desired theme name from among a plurality of theme name information displayed on the
続いて、ステップＳ４３において、ＭＰＵ３１は、テーマ選択指示信号が生じているか否かの確認をおこなう。ここで、テーマ選択指示信号が確認された場合には、次のステップＳ４４の処理に進む。また、テーマ選択指示信号が確認されない場合には、ステップＳ４２の処理に戻って、以降の処理を繰り返す。つまり、テーマ名選択操作がなされるまで、処理ループを実行する。
Subsequently, in step S43, the
続いて、ステップＳ４４において、ＭＰＵ３１は、上述のステップＳ４３で選択されたテーマ名に含まれるセンテンスデータに情感データが添付されているか否かの確認をおこなう。ここで、選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていることが確認された場合には、次のステップＳ４５の処理に進む。一方、選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていないことが確認された場合には、ステップＳ４６の処理に進む。
Subsequently, in step S44, the
ステップＳ４５において、ＭＰＵ３１は、選択されたテーマ名に含まれるセンテンスデータに添付される情感データに対応する画像を選択する画像選択処理を実行する。
In step S45, the
ここで、上記ステップＳ４５の処理、即ち情感データが添付されている場合の画像選択処理について、表１，表２及び図６〜図８等を用いて以下に説明する。 Here, the processing in step S45, that is, the image selection processing in the case where emotion data is attached will be described below with reference to Tables 1 and 2 and FIGS.
表１は、使用者によって選択されたテーマ名に含まれる一群のセンテンスの内容と、各センテンスに対応して添付されている情感データ（数値データ）の例を示している。なお、表１で示される一群のセンテンスのテーマ名は、例えば「ビジネスピンチ脱出」としている。 Table 1 shows an example of the contents of a group of sentences included in the theme name selected by the user and emotion data (numerical data) attached corresponding to each sentence. Note that the theme name of a group of sentences shown in Table 1 is, for example, “business pinch escape”.
そして、以下の説明においては、この「ビジネスピンチ脱出」というテーマ名が使用者によって（図５のステップＳ４２−Ｓ４３の処理で）選択されたものとする。 In the following description, it is assumed that the theme name “business pinch escape” has been selected by the user (in the process of steps S42 to S43 in FIG. 5).
なお、表１のデータでは、情感としての喜怒哀楽のうち「喜・楽」系のセンテンスを高い高い数値の情感データとし、「怒・哀」系のセンテンスを低い数値の情感データとしている。 In the data shown in Table 1, among the emotions of emotions, the emotions of “joy / easy” are high emotion data, and the “anger / sorrow” sentences are low emotion data.
また、表２は、使用者が（図５のステップＳ４１の処理で）指定した選択範囲の画像の画像番号ａ，ｂ，ｃ，ｄ，ｅ，ｆと、これらに各対応する笑顔データＲ値を示すものである。なお、この笑顔データＲ値は、上述したように、図２のシーケンス中の撮影動作実行中における笑顔検出処理（図２のステップＳ５の処理、即ち図４の処理）によって画像データに関連付けられて記録されたものである。
図６は、本実施形態のカメラにおける合成モード処理時において、センテンスの情感データに対応する画像が選択される際に基準となる情感データと笑顔データＲ値との関係を示す図である。 FIG. 6 is a diagram illustrating a relationship between emotion data serving as a reference and smile data R value when an image corresponding to emotion emotion data is selected during the synthesis mode processing in the camera of the present embodiment.
センテンスの情感データに対応する画像が選択される際には、センテンスに添付される情感データに対応する笑顔データＲ値を参照することで、対応する画像が選択される。 When an image corresponding to the sentiment data of the sentence is selected, the corresponding image is selected by referring to the smile data R value corresponding to the sentiment data attached to the sentence.
そこで、情感データと笑顔データＲ値との関係は、図６に示すように、高い数値の情感データに対して高い数値の笑顔データＲ値が対応し、低い数値の情感データに対して低い数値の笑顔データＲ値が対応するようにしている。 Therefore, as shown in FIG. 6, the relationship between emotion data and smile data R value corresponds to high numeric smile data R value corresponding to high numeric emotion data and low numeric value to low numeric emotion data. The smile data R values correspond to each other.
これにより、情感データの高い数値の「喜・楽」系のセンテンスに対して笑顔度の高い笑顔データＲ値を持つ画像、例えば「笑顔」の画像が選択される。また、情感データの低い数値の「怒・哀」系のセンテンスに対して笑顔度の低い笑顔データＲ値を持つ画像、例えば「眼つぶり」画像や「眉間に皺」のある画像等が選択される。 As a result, an image having a smile data R value with a high smile level, for example, an image of “smile” is selected with respect to a “joy / easy” sentence with a high emotional data value. In addition, an image having a smile data R value with a low smile level, for example, an “eye blink” image or an image with a “brow between the eyebrows” is selected for a “anger / sorrow” sentence with a low emotional data value. The
このように、センテンスの情感データと画像の笑顔データＲ値との関係を規定することによって、センテンスに対応する表情の画像が選択され、その画像に対応するセンテンスが合成されて表示部２２に表示されることになる（詳細は後述）。
In this way, by defining the relationship between the emotional data of the sentence and the smile data R value of the image, the facial expression image corresponding to the sentence is selected, and the sentence corresponding to the sentence is synthesized and displayed on the
なお、情感の変化の大きさに合わせて、変化の大きい画像を当てはめるような工夫をしてもよいのはもちろんである。また、情感データや笑顔度の数値化をより細い刻みで設定するようにしてもよい。さらに、低い数値の情感データを「怒」の方向に分類し、これに加えて、涙，眼つぶり等が検出された場合には、「哀」に分類するといった工夫をするといったことも考えられる。 Needless to say, a device that applies an image having a large change according to the magnitude of the change in emotion may be used. Also, the emotional data and the numerical value of the smile level may be set in finer increments. Furthermore, it is possible to classify the low numerical emotion data in the direction of “anger”, and in addition to this, if tears, blinking eyes, etc. are detected, it is possible to categorize as “sorrow”. .
図７は、センテンスと選択画像との関係を表すグラフである。このうち、図７（Ａ）は表１で示す各センテンスの情感データをグラフ化して示している。図中の丸で囲われた数字（丸数字）は表１におけるテキスト番号（１，２，３，４）に対応している。また、図７（Ｂ）は、表２で示す笑顔データＲ値をグラフ化して示している。図中の丸で囲われたアルファベット文字は表２における画像番号（ａ，ｂ，ｃ，ｄ，ｒ，ｆ）に対応している。 FIG. 7 is a graph showing the relationship between sentences and selected images. Among these, FIG. 7A shows the emotional data of each sentence shown in Table 1 in a graph. The numbers surrounded by circles (circle numbers) in the figure correspond to the text numbers (1, 2, 3, 4) in Table 1. FIG. 7B shows the smile data R values shown in Table 2 in a graph. Alphabet characters surrounded by circles in the figure correspond to image numbers (a, b, c, d, r, f) in Table 2.
そして、図７（Ａ）に示すセンテンスと、図７（Ｂ）の画像との対応関係を、テキスト番号と画像番号とを結ぶ線によって示している。 The correspondence between the sentence shown in FIG. 7A and the image shown in FIG. 7B is indicated by a line connecting the text number and the image number.
図８は、本実施形態のカメラにおいて実行される合成モード処理中のサブルーチンであって、情感データが添付されている場合の画像選択処理（図５のステップＳ４５の処理）のサブルーチンを示すフローチャートである。 FIG. 8 is a flowchart showing a subroutine during the synthesis mode processing executed in the camera of the present embodiment, which is a subroutine for image selection processing (processing in step S45 in FIG. 5) when emotion data is attached. is there.
上述したように、図５のステップＳ４４の処理において、上述のステップＳ４３で選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていることが確認されてステップＳ４５の処理に進むと、このステップＳ４５において、ＭＰＵ３１は、主に画像選択部２８を制御して画像選択処理を実行する。この場合のサブルーチンが図８のフローチャートである。
As described above, in the process of step S44 of FIG. 5, when it is confirmed that emotion data is attached to the sentence data included in the theme name selected in step S43, the process proceeds to step S45. In step S45, the
まず、図８のステップＳ６１において、ＭＰＵ３１は、テキストデータベース２６からセンテンスを読み出し、指定された範囲に含まれる画像数とテーマに含まれるセンテンス数とを比較して、画像数がセンテンス数よりも多いか否かを確認する。ここで、画像数の方が多いことが確認された場合には、ステップＳ６２の処理に進む。
First, in step S61 of FIG. 8, the
ステップＳ６２において、ＭＰＵ３１の制御下で画像選択部２８が、指定範囲の画像の中から、各センテンスの情感データに近い笑顔データＲ値の画像を順次選択する処理をおこなう。その後、ステップＳ６３の処理に進む。
In step S62, under the control of the
ステップＳ６３において、画像選択部２８は、上述のステップＳ６２の処理にて選択された画像をセンテンスの順番に並べ換える処理を実行する。その後、図５の元の処理に戻る（リターン）。そして、図５のステップＳ５６の処理に進む。
In step S63, the
一方、上述のステップＳ６１の処理において、指定された範囲に含まれる画像数がセンテンス数と同数もしくは画像数がセンテンス数より少ないことが確認された場合には、センテンスの情感データの降順に対応させて画像を笑顔データＲ値で降順で並べ換える処理を実行する。その後、図５の元の処理に戻る（リターン）。そして、図５のステップＳ５６の処理に進む。 On the other hand, if it is confirmed that the number of images included in the specified range is the same as the number of sentences or the number of images is less than the number of sentences in the processing of step S61 described above, correspondence is performed in descending order of the sentiment data of the sentence. The process of rearranging the images in descending order by the smile data R value is executed. Thereafter, the processing returns to the original processing in FIG. 5 (return). Then, the process proceeds to step S56 in FIG.
図８に示すような手順によって、センテンスデータに情感データが添付されている場合における画像の表示順番が決定される。 According to the procedure shown in FIG. 8, the display order of images when emotion data is attached to sentence data is determined.
図５に戻って、上述のステップＳ４４の処理において、選択されたテーマ名に含まれるセンテンスデータに情感データが添付されていないことが確認された場合にステップＳ４６の処理に進むと、このステップＳ４６において、ＭＰＵ３１の制御下で情感判定部２７により選択されたセンテンスデータについての情感判定処理（Ｓ４７〜Ｓ５０）が開始される。
Returning to FIG. 5, when it is confirmed in the process of step S44 described above that emotion data is not attached to the sentence data included in the selected theme name, the process proceeds to step S46. The emotion determination process (S47 to S50) for the sentence data selected by the
まず、ステップＳ４７において、ＭＰＵ３１はループカウントＮ＝１を設定する。その後、ステップＳ４８の処理に進む。
First, in step S47, the
ステップＳ４８において、ＭＰＵ３１は、第Ｎ番目のセンテンスの情感判定処理を実行する。その後、ステップＳ４９の処理に進む。
In step S48, the
ステップＳ４９において、ＭＰＵはループカウントを１つ進める。即ちＮ＝Ｎ＋１の設定をおこなう。その後、ステップＳ５０の処理に進む。 In step S49, the MPU advances the loop count by one. That is, N = N + 1 is set. Thereafter, the process proceeds to step S50.
ステップＳ５０において、ＭＰＵは、情感判定をすべきセンテンスが終了したか否かの確認をおこなう。終了が確認されたらステップＳ５１の処理に進み、このステップＳ５１において、情感判定処理を終了する。その後、ステップＳ５２の処理に進む。 In step S50, the MPU confirms whether or not the sentence for which emotion determination is to be performed has been completed. If the completion is confirmed, the process proceeds to step S51. In step S51, the emotion determination process is terminated. Thereafter, the process proceeds to step S52.
ステップＳ５２において、ＭＰＵ３１は、上述の情感判定処理で判定された情感が明瞭であるか否かの判断をおこなう。ここで、情感が明瞭であると判断された場合には、ステップＳ５３の処理に進む。
In step S52, the
ステップＳ５３において、ＭＰＵ３１の制御下で情感判定部２７は、各センテンスに対応する情感変化を判定する処理を実行する。その結果、表３に示すような情感データが各センテンスに対して付与される。その後、ステップＳ５５の処理に進む。
In step S <b> 53, the
つまり、この場合において、情感判定部２７は、テキストを構成する複数のセンテンス間の言葉の変化からテキストの情感を判定する。
That is, in this case, the
表３は情感判定処理で判定された情感が明瞭な場合のテキストの具体的な例である。
表３に示す例は、テーマ名が「ワクワク旅行」に含まれるテキスト群の例示である。この場合においてはセンテンスの喜怒哀楽が明確である。 The example shown in Table 3 is an example of a text group whose theme name is included in “exciting trip”. In this case, Sentence's emotions are clear.
即ち、表３に示す例では、各テキストには情感が分かりやすい単語が含まれていることから、それぞれの情感に合わせて画像を対応させればよい。具体的には、「嬉しい」，「元気に」，「わくわく」，「楽しい」等の単語は、明らかに喜怒哀楽の「喜」，「楽」に関連する言葉であるとが判断することができる。そこで、図５のステップＳ５３の情感変化判定処理にて、表３に示す情感データが各センテンスに対して付与される。 In other words, in the example shown in Table 3, each text contains a word whose emotion is easy to understand. Therefore, an image may be associated with each emotion. Specifically, it should be judged that words such as “joyful”, “energetic”, “exciting”, and “fun” are clearly related to “joy” and “easy” of emotions. Can do. Therefore, the emotion data shown in Table 3 is given to each sentence in the emotion change determination process in step S53 of FIG.
一方、上述のステップＳ５２の処理において、情感判定処理で判定された情感が不明瞭であると判断された場合には、ステップＳ５４の処理に進む。 On the other hand, if it is determined in the process of step S52 described above that the emotion determined in the emotion determination process is unclear, the process proceeds to step S54.
ステップＳ５４において、ＭＰＵ３１の制御下で情感判定部２７は、各センテンスの変化によってに情感変化を判定する処理を実行する。その結果、表４に示すような情感データが各センテンスに対して付与される。その後、ステップＳ５５の処理に進む。
In step S <b> 54, the
表４は、情感判定処理で判定された情感が不明瞭な場合のテキストの具体的な例である。
表４に示す例は、テーマ名が「ドキドキ旅行」に含まれるテキスト群の例示である。この場合においてはセンテンス自体は喜怒哀楽が不明確である。 The example shown in Table 4 is an example of a text group whose theme name is included in “pounding trip”. In this case, the sentence itself is unclear.
即ち、表４に示す例では、各テキストのそれぞれが明快に「喜怒哀楽」などの感情要素を含んでいないためにセンテンスとしての情感が不明瞭であると判断される。表４に例示するテキスト群のように、抽象的な表現が多い場合には、例えば、最終センテンスでの効果を重視して、それ以前のセンテンスと比較して効果を強調する方向を決定することになる。そこで、図５のステップＳ５４の情感変化判定処理にて、表４に示す情感データが各センテンスに対して付与される。 In other words, in the example shown in Table 4, it is determined that the feeling as a sentence is unclear because each of the texts clearly does not include an emotional element such as “feeling emotional”. When there are many abstract expressions as in the text group illustrated in Table 4, for example, the effect in the final sentence is emphasized, and the direction in which the effect is emphasized is determined in comparison with the previous sentence. become. Therefore, the emotion data shown in Table 4 is given to each sentence in the emotion change determination process in step S54 of FIG.
ここで、情感判定処理で判定された情感が不明瞭である場合に実行される情感変化判定処理（図５のステップＳ５４の処理）について、以下に説明する。 Here, the emotion change determination process (the process of step S54 in FIG. 5) executed when the emotion determined in the emotion determination process is unclear will be described below.
図９は、本実施形態のカメラにおいて実行される合成モード処理中のサブルーチンであって、情感判定処理で判定された情感が不明瞭である場合の情感変化判定処理（図５のステップＳ５４の処理）のサブルーチンを示すフローチャートである。 FIG. 9 is a subroutine during the synthesis mode process executed in the camera of the present embodiment, and the emotion change determination process when the emotion determined in the emotion determination process is unclear (the process of step S54 in FIG. 5). ) Is a flowchart showing a subroutine.
表４に示す例のようにセンテンスの情感が不明瞭である場合においては、各センテンスに喜怒哀楽を示す単語が存在しない。そこで、センテンス全体としての流れを考慮すると、例えば起承転結の流れにおいて、最後の２つのセンテンスが重要であると考える。そこで、最後の２つのセンテンス（表４の例ではテキスト番号３，４）の間の情感変化が、「喜」，「楽」系の情感変化になっているか、または「怒」，「哀」系の情感変化であるかを判定し、その判定結果を重視してセンテンス全体の情感判定をおこなう。
In the case where the feeling of the sentence is unclear as in the example shown in Table 4, there is no word indicating emotion in each sentence. Therefore, considering the flow of the entire sentence, for example, the last two sentences are considered important in the flow of starting and rolling. Therefore, the emotional change between the last two sentences (
なお、以下の説明においては、単純化するために、「起承転結」に対応する４つのテキストによりセンテンスが構成されているものと仮定している（表４参照）。なお、テキスト数が多い場合には、「起承転結」のうち「承」に対応するテキストが並んでいると考えるものとする。 In the following description, for the sake of simplicity, it is assumed that the sentence is composed of four texts corresponding to “consecutive roll-up” (see Table 4). When the number of texts is large, it is assumed that the texts corresponding to “approval” are lined up among “confirmed transfer”.
このように、センテンス変化により情感変化を判定する処理（図９のサブルーチン）において重要なのは、センテンス中の最後の部分における落としどころであるとの考えから、「起承転結」のうちの「転」と「結」との間のコントラスト（差異）を重視し、これに基いて、センテンスと画像を合成した合成画像の再生表示時の表示効果を高めるようにしている。 As described above, in the process of determining the emotional change based on the sentence change (subroutine in FIG. 9), what is important is that the last part in the sentence is a drop point. Contrast (difference) is emphasized, and based on this, the display effect at the time of reproduction display of the synthesized image obtained by synthesizing the sentence and the image is enhanced.
そこで、まず、図９のステップＳ７１において、ＭＰＵ３１の制御下で情感判定部２７は、センテンス中における最終センテンス（表４のテキスト番号４）の情感判定をおこなう。その後、ステップＳ７２の処理に進む
ステップＳ７２において、情感判定部２７は、最終センテンスの一つ前のセンテンスの情感判定をおこなう。その後、ステップＳ７３の処理に進む。
Therefore, first, in step S71 of FIG. 9, the
ステップＳ７３において、情感判定部２７は、転結部の情感変化、即ち最終センテンスとその前のセンテンスとの間における情感変化が、「喜」，「楽」系の方向に変化しているか否かの判断をおこなう。ここで、情感が「喜」，「楽」系の方向に変化していると判断された場合には、ステップＳ７４の処理に進む。
In step S73, the
ここで、表４の例を示せば、最終センテンス（センテンス番号４）には「ラッキー」という単語がある。これは明らかに「喜」の情感に対応するセンテンスである。 Here, if the example of Table 4 is shown, there will be a word "lucky" in the last sentence (sentence number 4). This is clearly a sentence corresponding to the feeling of “joy”.
一方、最終センテンスの前のセンテンス（センテンス番号３）には、明快な情感を示す言葉が存在しない。このことから、例えばセンテンス番号３の時点から最終のセンテンス（センテンス番号４）に至るまでの間に「嬉しさを獲得するようなドラマ」が展開されたと推測することができる。つまり、この場合には、「喜」，「楽」系の方向へと情感が変化していると判断される。
On the other hand, in the sentence before the final sentence (sentence number 3), there is no word indicating a clear feeling. From this, for example, it can be inferred that a “drama that captures joy” was developed from the time of
ステップＳ７４において、情感判定部２７は、最終センテンス（番号４）の情感データとして１０を付与する処理をおこなう。その後、ステップＳ７５の処理に進む。
In step S74, the
ステップＳ７５において、情感判定部２７は、最終センテンス（番号４）以外のセンテンスについて情感データを付与する処理をおこなう。その後、図５の元の処理に戻る（リターン）。
In step S <b> 75, the
この場合の例として表４を挙げる。即ち、最初のセンテンスデータ（センテンス番号１）には情感が中庸であるという意味において情感データ「５」を付与し、次のセンテンスデータ（センテンス番号２）には情感データ「６」付与する。そして、次のセンテンスデータ（センテンス番号３）は、最終センテンスの一つ前のセンテンスであり、ここで変化をつける必要があることから、少しばかり「喜」，「楽」系の方向とは反対方向の情感データ「２」を付与する。これにより、最後のセンテンス（センテンス番号４）に付与された情感データ「１０」の効果を高める効果を得ることができる。 Table 4 is given as an example in this case. That is, emotion data “5” is assigned to the first sentence data (sentence number 1) in the sense that the emotion is moderate, and emotion data “6” is assigned to the next sentence data (sentence number 2). And the next sentence data (sentence number 3) is the sentence immediately before the last sentence, and since it is necessary to change here, it is slightly opposite to the direction of “joy” and “easy”. The direction feeling data “2” is assigned. Thereby, the effect which improves the effect of emotion data "10" provided to the last sentence (sentence number 4) can be acquired.
一方、上述のステップＳ７３の処理において、情感が「喜」，「楽」系の方向に変化していないと判断された場合には、ステップＳ７６の処理に進む。 On the other hand, if it is determined in step S73 described above that the emotion has not changed in the direction of “joy” or “easy”, the process proceeds to step S76.
ステップＳ７６において、情感判定部２７は、転結部の情感変化、即ち最終センテンスとその前のセンテンスとの間における情感変化が、「怒」，「哀」系の方向に変化しているか否かの判断をおこなう。ここで、情感が「怒」，「哀」系の方向に変化していると判断された場合には、ステップＳ７７の処理に進む。
In step S76, the
ステップＳ７７において、情感判定部２７は、最終センテンス（番号４）の情感データとして「０」を付与する処理をおこなう。つまり、情感が「怒」，「哀」系の方向であるので、最終的な効果を重視して、最終センテンスの情感データをミニマムである「０」設定する。その後、ステップＳ７８の処理に進む。
In step S77, the
ステップＳ７８において、情感判定部２７は、最終センテンス（番号４）以外のセンテンスについて情感データを付与する処理をおこなう。その後、図５の元の処理に戻る（リターン）。
In step S <b> 78, the
この場合においては、例えば、最初のセンテンスデータ（センテンス番号１）には情感が中庸であるという意味において情感データ「５」を付与し、次のセンテンスデータ（センテンス番号２）には情感データ「４」付与する。そして、次のセンテンスデータ（センテンス番号３）は、最終センテンスの一つ前のセンテンスであり、ここで変化をつける必要があることから、少しばかり「怒」，「哀」系の方向とは反対方向の情感データ「８」を付与する。これにより、最後のセンテンス（センテンス番号４）に付与された情感データ「０」の効果を高める効果を得ることができる。 In this case, for example, emotion data “5” is given to the first sentence data (sentence number 1) in the sense that the emotion is moderate, and emotion data “4” is assigned to the next sentence data (sentence number 2). "Give. And the next sentence data (sentence number 3) is the sentence immediately before the final sentence, and since it is necessary to change here, it is slightly opposite to the direction of “anger” and “sorrow”. The direction feeling data “8” is assigned. As a result, an effect of enhancing the effect of emotion data “0” given to the last sentence (sentence number 4) can be obtained.
一方、上述のステップＳ７６の処理において、情感が「怒」，「哀」系の方向に変化していないと判断された場合、つまり、最終センテンスの情感変化が不明瞭である場合には、ステップＳ７９の処理に進む。 On the other hand, if it is determined in the process of step S76 that the emotion has not changed in the direction of “anger” or “sorrow”, that is, if the emotional change in the final sentence is unclear, step The process proceeds to S79.
ステップＳ７９において、情感判定部２７は、最初のセンテンスの情感が「怒」，「哀」系の言葉であるか否かの判断をおこなう。ここで、情感が「怒」，「哀」系の言葉であると判断された場合には、ステップＳ７４の処理に進む。
In step S79, the
つまり、ここでは、最初のセンテンスを判定し（ステップＳ７９）、以降のセンテンスでは、この最初のセンテンスの情感が持続されるか、またはさらに強調される展開になるものと仮定している。 That is, here, the first sentence is determined (step S79), and it is assumed that the feeling of the first sentence is sustained or further emphasized in the subsequent sentences.
一方、上述のステップＳ７９の処理において、最初のセンテンスの情感が「怒」，「哀」系の言葉ではないと判断された場合には、ステップＳ８０の処理に進む。 On the other hand, if it is determined in step S79 that the first sentence is not an “angry” or “sorrow” word, the process proceeds to step S80.
ステップＳ８０において、情感判定部２７は、最初のセンテンスの情感が「喜」，「楽」系の言葉であるか否かの判断をおこなう。ここで、情感が「喜」，「楽」系の言葉であると判断された場合には、ステップＳ７７の処理に進む。また、情感が「喜」，「楽」系の言葉ではないと判断された場合、つまり最初のセンテンスが「怒」，「哀」，「喜」，「楽」のいずれでもなく、最初のセンテンスの情感が不明瞭であり、かつそのセンテンスは全体として抽象的概念の流れであると判断されて、ステップＳ８１の処理に進む。
In step S80, the
ステップＳ８０において、情感判定部２７は、全てのセンテンスについて情感データ「５」を付与する。その後、図５の元の処理に戻る（リターン）。
In step S80, the
つまり、この場合には、いずれのセンテンスのどれが同様の情感であるとして、基本的には画像を時系列に並べる処理が行われるようにする。 In other words, in this case, it is assumed that processing of arranging images in time series is basically performed, assuming which sentence has the same feeling.
図５に戻って、ステップＳ５５において、ＭＰＵ３１の制御下で画像選択部２８は、各センテンスのデータに付与されている情感データに基いて各センテンスの情感を判定し、指定範囲の画像の中から対応する画像を選択する処理をおこなう。この画像選択処理は、上述の図８のフローチャート（図５のステップＳ４５の処理）と同様の処理シーケンスである。その後、ステップＳ５６の処理に進む。
Returning to FIG. 5, in step S55, under the control of the
ステップＳ５６において、ＭＰＵ３１の制御下においてテキスト合成部３０は、上述のステップＳ４５，Ｓ５５の処理にて画像選択部２８によって選択された画像に対して対応するセンテンスを、画像判定部２９により判定された適切な位置に合成する処理をおこなって、テキスト付きの合成画像（テキスト画像）を作成する。その後、ステップＳ５７の処理に進む。
In step S56, under the control of the
ステップＳ５７において、ＭＰＵ３１は、上述のステップＳ５６の処理にて作成された複数の合成画像を所定の順番で組合せて一連のファイル群としてまとめた一つのフォルダーとしてファイル化する。その後、ステップＳ５８の処理に進む。
In step S57, the
ステップＳ５８において、ＭＰＵ３１は、圧縮伸長部１８，記録再生部１９を制御して、上述のデータファイル群からなるフォルダーを記録媒体２０もしくはＲＯＭ３２に記録する処理を実行する。この場合において、記録媒体２０には、テキスト合成部３０により作成されたテキスト画像をフォルダーとして記録する所定の領域となる記録部（特に図示せず）が設けられている。
In step S58, the
なお、この場合において、特に指定がなければフォルダー名はテーマ名と一致させておけばよい。 In this case, the folder name may be the same as the theme name unless otherwise specified.
また、記録媒体２０に記録する画像の形態としては、合成処理後の合成画像のデータそのものを記録する形態のほかに、例えば上述の図５の処理シーケンスによるセンテンスと画像との組合せに関する情報のみをデータ化し、これを記録媒体２０やＲＯＭ３２等に記録するようにしてもよい。この場合には、記録した情報データに基いて再生動作の都度合成画像を作成して、その結果を表示することになる。この例によれば、記録容量を節約することができるという効果がある。
Further, as the form of the image to be recorded on the
図２のフローチャートに戻って、上述のステップＳ１２の処理において、合成モードに設定されていないことが確認された場合には、上述したようにステップＳ１４の処理に進む。 Returning to the flowchart of FIG. 2, when it is confirmed in the process of step S12 described above that the composition mode is not set, the process proceeds to step S14 as described above.
この場合には、ステップＳ１４において、ＭＰＵ３１は、本カメラ１０の動作モードが合成画像を再生する合成再生モードに設定されているか否かの確認をおこなう。ここで、合成再生モードに設定されていることが確認された場合には、ステップＳ１５の処理に進む。
In this case, in step S14, the
ステップＳ１５において、ＭＰＵ３１は、記録媒体２０等に記録されているフォルダ名（複数）を表示部２２に例えば一覧形式で表示させ、使用者に再生すべきフォルダを選択させるため、指示信号の入力待機状態になる。ここで、使用者が所定の操作部材を用いて再生を所望するフォルダ名を選択する。その指示信号を受けてＭＰＵ３１は、記録媒体２０（もしくはＲＯＭ３２等）から指定されたフォルダから順次合成画像ファイルを読み出して表示部２２に、例えば所定時間間隔で順次表示（スライドショー表示）させる処理制御をおこなう。その後、ステップＳ１１の処理に進み、終了指示をまって一連の処理を終了する。終了指示がなければ、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
In step S15, the
一方、上述のステップＳ１４の処理において、合成再生モードに設定されていないことが確認された場合には、ステップＳ１７の処理に進む。 On the other hand, if it is confirmed in the process of step S14 that the composite playback mode is not set, the process proceeds to step S17.
ステップＳ１７において、ＭＰＵ３１は、通常の再生モードが設定されているものとして、使用者に画像選択操作をおこなわせ、次のステップＳ１８において、ＭＰＵ３１は、前のステップＳ１７にて使用者により選択された画像を表示部２２を用いて再生表示する制御処理をおこなう。その後、ステップＳ１１の処理に進み、終了指示をまって一連の処理を終了する。終了指示がなければ、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
In step S17, the
以上説明したように上記一実施形態によれば、使用者が選択したテーマに含まれるセンテンスに適した画像が、記録媒体２０に記録済みの画像の中から自動的に選択され、選択された画像に対して上記センテンスが合成処理されて、その結果作成される合成画像が表示部２２に表示され、同時に作成された合成画像が記録媒体２０に記録されるように構成されている。このような構成により、カメラ１０を用いて普通に撮影した大量の画像を利用して自動的に作成される合成画像によって多人数が楽しむことができる。
As described above, according to the above-described embodiment, an image suitable for the sentence included in the theme selected by the user is automatically selected from the images already recorded on the
この場合において、合成処理の結果作成される合成画像は、センテンスの内容とは直接関係のない画像が選択される可能性もあることから、例えば撮影日時順に再生表示する通常の表示順番以外の順番で記録媒体２０に撮り溜めた画像をスライドショー形式等で表示させることができるので、使用者に意外性等を感じさせる等の効果により楽しみを与える得る新規な画像鑑賞方法を実現することができる。
In this case, the composite image created as a result of the composition process may select an image that is not directly related to the content of the sentence. Thus, since the images collected on the
そして、所定のテーマに対応する画像を、そのテーマに含まれるセンテンスに付与される情感データに基いて選択するようにしたので、テーマに直接対応する画像が存在しなくてもよいし、そのためにテーマに沿った画像をわざわざ撮影しておくような必要もない。 And since an image corresponding to a predetermined theme is selected based on emotion data given to a sentence included in the theme, there is no need for an image directly corresponding to the theme. There is no need to shoot images that match the theme.
このように、本発明によれば、テキストデータベース２６に蓄積されるセンテンスのデータに付与される情感データに合わせて、記録媒体２０に記録された撮影済み画像データを笑顔データＲ値等を参照して選択し、複数のセンテンスによって構成される一連のストーリーに対して対応する画像が選択され、選択画像が順番に表示（スライド表示）されるようにすることで、全く新規な形態の画像表示装置を提供することができる。
As described above, according to the present invention, the photographed image data recorded on the
なお、上記一実施形態において説明したＭＰＵ３１による処理に関しては、一部または全てをハードウエアで構成してもよい。
Note that part or all of the processing by the
そして、ＭＰＵ３１による制御処理は、ＲＯＭ３２等に格納されたソフトウエアプログラムがＭＰＵ３１に供給され、供給されたプログラムに従って上記の動作をさせることで実現されるものである。したがって、上記ソフトウエアのプログラム自体がＭＰＵ３１の機能を実現することになり、そのプログラム自体は本発明を構成する。
The control process by the
また、そのプログラムを格納する記録媒体も本発明を構成する。その記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ，ＤＶＤ等の光学記録媒体，ＭＤ等の光磁気記録媒体，テープ媒体，ＩＣカード等の半導体メモリ等を用いることができる。 A recording medium for storing the program also constitutes the present invention. As the recording medium, besides a flash memory, an optical recording medium such as a CD-ROM or DVD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used.
上述の一実施形態では、画像表示機能を有する画像表示装置を備えたデジタルカメラに本発明を適用した場合の例に挙げて詳細な説明をしているが、本発明の画像表示装置としては、これに限られるわけではなく、例えばデジタルカメラで取得し記録された多数の画像データを蓄積する記録媒体を有し、この記録媒体に記録された画像データに基いて画像の表示をおこなったり、各種のデータ処理をおこない得るように構成される画像表示装置若しくは画像処理装置等の各種の機器、例えば小型コンピュータ等に対して本発明を適用することは同様に可能である。 In the above-described embodiment, a detailed description is given by taking an example in which the present invention is applied to a digital camera provided with an image display device having an image display function. However, as an image display device of the present invention, However, the present invention is not limited to this. For example, it has a recording medium that stores a large number of image data acquired and recorded by a digital camera, and displays images based on the image data recorded on the recording medium. It is also possible to apply the present invention to various devices such as an image display device or an image processing device configured to perform the data processing, such as a small computer.
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications can of course be implemented without departing from the spirit of the invention. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the effect of the invention Can be obtained as an invention.
１……画像表示システム
１０……カメラ
１１……撮影レンズ
１２……合焦レンズ位置制御部（ＡＦ部）
１３……光量調整部
１４……光量制御部
１５……撮像素子
１６……アナログフロントエンド部（ＡＦＥ部）
１７……画像処理部
１７ａ……顔検出部
１８……圧縮伸長部
１９……記録再生部
２０……記録媒体
２１……表示制御部
２２……表示部
２３……通信部
２４……補助光発光部
２５……表情判定及び感情類推部
２６………テキストデータベース
２７……情感判定部
２８……画像選択部
２９……画像判定部
３０……テキスト合成部
３１……ＭＰＵ
３１ａ……時計
３２……ＲＯＭ
３３……操作スイッチ
３５……被写体
４０……小型コンピュータ（ＰＣ）
５０……通信ネットワーク
１００……外部サーバー
１０１……記録表示部
１０２……通信部
１０３……センテンス抽出部
１１０……データベース
１１１……文書データベース
１１２……情感データベース
DESCRIPTION OF
13 ... Light
17 …… Image processing unit 17a ……
31a ……
33 ……
50 ……
Claims (11)
画像の被写体の表情を判定する表情判定部と、
上記テキストに対応する画像として、上記情感判定部により判定される上記テキストの情感に、上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、
上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、
上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、
を備えてなることを特徴とする画像表示装置。 An emotion determination unit for determining the emotion of the text;
A facial expression determination unit that determines the facial expression of the subject of the image;
An image selection unit that selects an image corresponding to the emotion of the text determined by the emotion determination unit as an image corresponding to the text, the facial expression of the subject determined by the facial expression determination unit;
A text synthesis unit that creates a text image by synthesizing the text and the image selected by the image selection unit;
A display unit for displaying the text image created by the text synthesis unit;
An image display device comprising:
上記画像選択部は、各センテンスの情感に上記被写体の表情が対応する画像をそれぞれ選択することを特徴とする請求項１に記載の画像表示装置。 The emotion determination unit determines emotion for each sentence constituting the text,
The image display device according to claim 1, wherein the image selection unit selects an image in which the expression of the subject corresponds to the emotion of each sentence.
上記記録媒体は、上記テキスト合成部により作成されたテキスト画像をフォルダーとして記録する記録部を備えてなることを特徴とする請求項１に記載の画像表示装置。 A recording medium on which an image selected by the image selection unit is recorded in advance;
The image display apparatus according to claim 1, wherein the recording medium includes a recording unit that records the text image created by the text synthesis unit as a folder.
上記撮影レンズにより結像される被写体像を受光して光電変換処理をおこない電気的な画像信号を出力する撮像素子と、
上記撮像素子から出力される画時信号に基いて被写体の顔を検出する顔検出部と、
テキストの情感を判定する情感判定部と、画像の被写体の表情を判定する表情判定部と、上記テキストに対応する画像として上記情感判定部により判定される上記テキストの情感に上記表情判定部により判定される上記被写体の表情が対応する画像を選択する画像選択部と、上記テキストと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、上記テキスト合成部により作成された上記テキスト画像を表示する表示部とを備えてなる画像表示装置と、
を具備し、
上記表情判定部は、上記顔検出部によって検出された被写体の顔についての笑顔の度合いに基いて上記被写体の表情を判定することを特徴とするカメラ。 A photographic lens that forms a subject image;
An image sensor that receives a subject image formed by the photographing lens, performs photoelectric conversion processing, and outputs an electrical image signal; and
A face detection unit that detects a face of a subject based on a time signal output from the image sensor;
An emotion determination unit that determines the emotion of the text, a facial expression determination unit that determines the facial expression of the subject of the image, and the facial expression determination unit that determines the emotion of the text that is determined by the emotion determination unit as an image corresponding to the text An image selection unit that selects an image corresponding to the facial expression of the subject, a text synthesis unit that creates a text image by synthesizing the text and the image selected by the image selection unit, and a text synthesis unit An image display device comprising a display unit for displaying the created text image;
Comprising
The camera according to claim 1, wherein the facial expression determination unit determines the facial expression of the subject based on the degree of smile on the face of the subject detected by the face detection unit.
上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択し、
上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成し、
上記テキスト合成画像を上記テキストの各センテンスの順番に表示することを特徴とする画像表示方法。 Determining the feeling of each sentence that makes up the text,
As an image corresponding to each sentence, select an image corresponding to the facial expression of the subject photographed in the emotion of each sentence,
A text composite image is created by combining each sentence and the selected image.
An image display method, wherein the text composite image is displayed in the order of each sentence of the text.
テキストを構成する各センテンスの情感の度合いを判定するステップと、
上記各センテンスに対応する画像として、各センテンスの情感に撮影された被写体の表情が対応する画像を選択するステップと、
上記各センテンスと上記選択された画像とをそれぞれ合成してテキスト合成画像を作成するステップと、
上記テキスト合成画像を上記テキストの各センテンスの順番に表示するステップと、
を有することを特徴とするプログラム。 A program for causing a computer to execute an image display method,
Determining the degree of emotion of each sentence comprising the text;
Selecting an image corresponding to the expression of the subject photographed in the emotion of each sentence as an image corresponding to each sentence;
Synthesizing each sentence and the selected image to create a text composite image; and
Displaying the text composite image in the order of each sentence of the text;
The program characterized by having.
上記サーバ装置は、文書が格納される文書データベースと、
上記文書の各センテンスの情感を数値で表現する情感データが格納された情感データベースと、
使用者から送信されたテーマに対応してストーリーを構成できる複数のセンテンスを上記文書データベースから抽出し、かつ抽出した各センテンスに対応する情感データを上記情感データベースから抽出するセンテンス抽出部と、
上記センテンス抽出部により抽出されたセンテンスと、これに対応する情感データとを使用者に送信する通信部と、
を具備し、
上記画像表示装置は、上記サーバ装置から送信された上記情感データを含む各センテンスからなるテキストを記録するテキスト記録部と、
上記各センテンスの情感を判定する情感判定部と、
画像の被写体の表情を判定する表情判定部と、
上記各センテンスに対応する画像として、当該各センテンスの情感に上記被写体の表情が対応する画像を選択する画像選択部と、
上記各センテンスと上記画像選択部により選択された画像とを合成してテキスト画像を作成するテキスト合成部と、
上記テキスト合成部により作成された上記テキスト画像を表示する表示部と、を備えてなることを特徴とする画像表示システム。 In an image display system including an image display device and a server device connected to the image display device via a network,
The server device includes a document database in which documents are stored;
A sentiment database that stores sentiment data that expresses the sentiment of each sentence in the document numerically;
A sentence extraction unit that extracts a plurality of sentences that can constitute a story corresponding to a theme transmitted from a user from the document database, and extracts emotion data corresponding to each extracted sentence from the emotion database;
A communication unit that transmits the sentence extracted by the sentence extraction unit and emotion data corresponding to the sentence to the user;
Comprising
The image display device includes a text recording unit that records a text including each sentence including the emotion data transmitted from the server device;
An emotion determination unit for determining the emotion of each sentence;
A facial expression determination unit that determines the facial expression of the subject of the image;
An image selection unit that selects an image corresponding to the emotion of each sentence as an image corresponding to each sentence;
A text synthesis unit that creates a text image by synthesizing each sentence and the image selected by the image selection unit;
An image display system comprising: a display unit that displays the text image created by the text synthesis unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007313875A JP2009141516A (en) | 2007-12-04 | 2007-12-04 | Image display device, camera, image display method, program, image display system |
| CN2008101795481A CN101453573B (en) | 2007-12-04 | 2008-12-04 | Image display device and camera, image display method and image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007313875A JP2009141516A (en) | 2007-12-04 | 2007-12-04 | Image display device, camera, image display method, program, image display system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009141516A true JP2009141516A (en) | 2009-06-25 |
Family
ID=40735566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007313875A Pending JP2009141516A (en) | 2007-12-04 | 2007-12-04 | Image display device, camera, image display method, program, image display system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2009141516A (en) |
| CN (1) | CN101453573B (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012100174A (en) * | 2010-11-04 | 2012-05-24 | Canon Inc | Imaging device and control method of the same |
| JP2014175733A (en) * | 2013-03-06 | 2014-09-22 | Nikon Corp | Image reproduction apparatus and image reproduction program |
| US9183632B2 (en) | 2010-11-24 | 2015-11-10 | Nec Corporation | Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program |
| US9196042B2 (en) | 2010-11-24 | 2015-11-24 | Nec Corporation | Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program |
| US9224033B2 (en) | 2010-11-24 | 2015-12-29 | Nec Corporation | Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program |
| WO2018225113A1 (en) * | 2017-06-05 | 2018-12-13 | 日本電気株式会社 | Value determining device, value determining method, recording medium having value determining program recorded thereon, system, and notifying device |
| US10398366B2 (en) | 2010-07-01 | 2019-09-03 | Nokia Technologies Oy | Responding to changes in emotional condition of a user |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6213470B2 (en) * | 2012-08-17 | 2017-10-18 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and program |
| CN105791692B (en) | 2016-03-14 | 2020-04-07 | 腾讯科技（深圳）有限公司 | Information processing method, terminal and storage medium |
| JP6589838B2 (en) * | 2016-11-30 | 2019-10-16 | カシオ計算機株式会社 | Moving picture editing apparatus and moving picture editing method |
| CN107977928B (en) * | 2017-12-21 | 2022-04-19 | Oppo广东移动通信有限公司 | Expression generation method and device, terminal and storage medium |
| CN108449552B (en) * | 2018-03-07 | 2019-12-03 | 北京理工大学 | The method and system at tag image acquisition moment |
| CN112887613B (en) * | 2021-01-27 | 2022-08-19 | 维沃移动通信有限公司 | Shooting method and device, electronic equipment and storage medium |
-
2007
- 2007-12-04 JP JP2007313875A patent/JP2009141516A/en active Pending
-
2008
- 2008-12-04 CN CN2008101795481A patent/CN101453573B/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10398366B2 (en) | 2010-07-01 | 2019-09-03 | Nokia Technologies Oy | Responding to changes in emotional condition of a user |
| JP2012100174A (en) * | 2010-11-04 | 2012-05-24 | Canon Inc | Imaging device and control method of the same |
| US9183632B2 (en) | 2010-11-24 | 2015-11-10 | Nec Corporation | Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program |
| US9196042B2 (en) | 2010-11-24 | 2015-11-24 | Nec Corporation | Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program |
| US9224033B2 (en) | 2010-11-24 | 2015-12-29 | Nec Corporation | Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program |
| JP2014175733A (en) * | 2013-03-06 | 2014-09-22 | Nikon Corp | Image reproduction apparatus and image reproduction program |
| WO2018225113A1 (en) * | 2017-06-05 | 2018-12-13 | 日本電気株式会社 | Value determining device, value determining method, recording medium having value determining program recorded thereon, system, and notifying device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101453573A (en) | 2009-06-10 |
| CN101453573B (en) | 2010-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009141516A (en) | Image display device, camera, image display method, program, image display system | |
| JP4640456B2 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
| JP5028225B2 (en) | Image composition apparatus, image composition method, and program | |
| CN101262561B (en) | Imaging apparatus and control method thereof | |
| JP2011040876A (en) | Camera, method of controlling camera, display controller, and display control method | |
| JP2008066886A (en) | Camera, communication control device, photography technical assistance system, photography technical assistance method, program | |
| JP4889554B2 (en) | Camera, content creation method, and program | |
| JP2010021819A (en) | Image display apparatus, image display method, and program | |
| JP2008136074A (en) | Camera and photography program | |
| JP6166070B2 (en) | Playback apparatus and playback method | |
| JP2020137050A (en) | Imaging device, imaging method, imaging program, and learning device | |
| JP6508635B2 (en) | Reproducing apparatus, reproducing method, reproducing program | |
| US20150249792A1 (en) | Image processing device, imaging device, and program | |
| JP2010050705A (en) | Camera | |
| JP4922066B2 (en) | camera | |
| JP5509287B2 (en) | Reproduction display device, reproduction display program, reproduction display method, and image processing server | |
| JP7428143B2 (en) | Photography equipment, photography method, and program | |
| WO2022014143A1 (en) | Imaging system | |
| JP2010178177A (en) | Camera, display and electronic equipment | |
| JP2012038345A (en) | Image processing apparatus, image processing method, and camera | |
| WO2022158201A1 (en) | Image processing device, image processing method, and program | |
| JP4757828B2 (en) | Image composition apparatus, photographing apparatus, image composition method, and image composition program | |
| JP2009027462A (en) | Imaging apparatus, imaging method and imaging program | |
| JP2007251780A (en) | Image reproducing device and program therefor | |
| JP5106240B2 (en) | Image processing apparatus and image processing server |