JP2014220563A - Image browsing apparatus, and control method and program of the same - Google Patents
Image browsing apparatus, and control method and program of the same Download PDFInfo
- Publication number
- JP2014220563A JP2014220563A JP2013096483A JP2013096483A JP2014220563A JP 2014220563 A JP2014220563 A JP 2014220563A JP 2013096483 A JP2013096483 A JP 2013096483A JP 2013096483 A JP2013096483 A JP 2013096483A JP 2014220563 A JP2014220563 A JP 2014220563A
- Authority
- JP
- Japan
- Prior art keywords
- image
- browsing
- reproduction
- viewer
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Abstract
Description
本発明は、画像を再生して表示する画像閲覧装置およびその制御方法に関し、特に閲覧者の制限が可能な画像閲覧装置およびその制御方法に関する。 The present invention relates to an image browsing apparatus that reproduces and displays an image and a control method thereof, and more particularly, to an image browsing apparatus that can restrict a viewer and a control method thereof.
近年はデジタルカメラやスマートフォンが普及して、いつでも手軽に画像を撮影することが可能となっている。そのため、これらのデバイスには、様々な状況で撮影した画像が混在して記憶されている場合がある。そのため、カメラやスマートフォンの画像を友人に見せたい場合は、これらのデバイスをそのまま渡すことが多い。 In recent years, digital cameras and smartphones have become widespread, and it has become possible to take images easily at any time. Therefore, these devices may store a mixture of images taken in various situations. Therefore, if you want to show your camera or smartphone images to your friends, you often pass these devices as they are.
特許文献１では、カメラで所定画像の閲覧を許可する時間帯を設定することが可能となっている。設定した時間帯であれば所定画像を閲覧することができるが、それ以外の時間帯は所定画像の閲覧が禁止される。このようにして、プライベートな画像の閲覧を制限することが可能となっている。
In
特許文献１の場合、閲覧を制限する時間帯を予め指定しておく必要がある。ところで、プライベートな画像であっても、その一部を友人に見せたい場合もある。例えば、カメラやスマートフォンの中にある、子供が写っているようなプライベートの画像を友人に見せたい場合がある。また、子供の画像は見せたいが、その他のプライベートな画像を見られたくない、あるいは、カメラやスマートフォンを渡した人には画像を見せたいが、その他の人には不用意に画像を見られたくない場合もある。このような場合、特許文献１では、指定時間の全ての時間帯で所定画像の閲覧が禁止されていまい、例えば閲覧者に応じた対応ができない問題がある。
In the case of
そこで、本発明の目的は、画像閲覧装置の所有者が所望の画像を見せたい閲覧者だけに所望の画像再生を可能とする画像閲覧装置およびその制御方法を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image browsing apparatus and a control method for the image browsing apparatus that allow only the viewer who wants the owner of the image browsing apparatus to view the desired image.
本発明によれば、画像を再生して表示部に表示する画像再生装置は、表示部に表示される画像を閲覧している閲覧者を撮影する撮影手段と、撮影手段により得られた撮影画像から、記閲覧者の顔画像を解析する解析手段と、解析手段の解析結果に基づき、画像の再生を終了する制御手段とを備える。 According to the present invention, an image reproduction device that reproduces an image and displays the image on a display unit includes a photographing unit that photographs a viewer who is browsing the image displayed on the display unit, and a captured image obtained by the photographing unit. And analyzing means for analyzing the face image of the reader and control means for terminating the reproduction of the image based on the analysis result of the analyzing means.
携帯電話やスマートフォンなどの画像閲覧機能を有する装置において、当該装置に記憶されている画像を友人に見せる際に、所有者が装置を最初に渡した人物のみに、指定した画像を簡単な操作で見せることが可能になる。 In a device that has an image browsing function, such as a mobile phone or a smartphone, when the image stored in the device is shown to a friend, the specified image can be easily operated only by the person who first handed the device to the owner. It becomes possible to show.
以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
まず、図１乃至９を参照して本発明の第１の実施例を説明する。図２は、本発明の第１の実施例に係る画像閲覧装置の構成を示すブロック図である。本実施例では、「一郎」という人物が持っている画像閲覧装置を「次朗」という人物に渡して、画像閲覧装置に記憶されている「太郎」と名の子供の画像を見せる場合を例にして説明する。 First, a first embodiment of the present invention will be described with reference to FIGS. FIG. 2 is a block diagram showing the configuration of the image browsing apparatus according to the first embodiment of the present invention. In this embodiment, an example is given in which an image browsing device held by a person named “Ichiro” is handed over to a person named “Jiro” and an image of a child named “Taro” stored in the image browsing device is shown. I will explain.
図２において、画像閲覧装置２００は、光学系２０１と、撮像素子２０２と、ＣＰＵ２０３と、一次記憶装置２０４と、二次記憶装置２０５と、記憶媒体２０６と、光学系２０７と、表示部２０８と、操作部２０９から構成されている。また、本実施例に係る画像閲覧装置は、画像の再生モードとして、後述する通常再生モード(第２の再生モード)と閲覧再生モード（第１の再生モード）を有する。
In FIG. 2, the
光学系２０１は、レンズ、シャッター、絞りから構成されていて、被写体からの光を適切な量とタイミングで撮像素子２０２に結像させる。撮像素子２０２は、光学系２０１を通って結像した光を光電変換により撮像して画像信号を生成する。ＣＰＵ２０３は、入力された信号やメモリに記憶されたプログラムを実行して、各種の演算や、画像閲覧装置２００を構成する各部分の制御を行う。一次記憶装置２０４は、一時的なデータを記憶し、ＣＰＵ２０３の作業用に使われる。二次記憶装置２０５は、画像閲覧装置２００を制御するためのプログラム（ファームウェア）や各種の設定情報などを記憶する。記憶媒体２０６は、画像データを記憶するメモリであり、画像閲覧装置に着脱可能なメモリカードを想定している。ただし、記憶媒体２０６は、画像閲覧装置に内蔵のメモリであっても構わない。光学系２０７は、レンズ、絞りから構成されていて、画像閲覧装置を操作している人物を撮影する際に用いられるものであり、インカメラのようなものである。表示部２０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。また、記憶媒体２０６に記憶されている画像を図示しない記録再生部によって再生された場合も、再生画像は表示部２０８に表示される。操作部２０９は、使用者の操作を受け付けるためのものである。操作部２０９は、タッチパネルを用いることが可能である。
The
図３（ａ）は、画像閲覧装置２００に記憶されている画像を示している。画像閲覧装置の記憶媒体２０６には、複数の画像３００〜３０６（合計７枚の画像）が記憶されている。各画像には、画像の属性を表す情報が含まれている。画像３００を例にして説明すると、３０７は画像のファイル名を表す属性情報であり、この画像のファイル名が「IMG_0001.JPG」であることを表している。３０８は画像の撮影日を表す属性情報であり、この画像の撮影日時が２０１２年１月１日であることを表している。３０９は画像が撮影された場所を表す属性情報であり、この画像が「太田神社」で撮影されたことを表している。３１０は画像に被写体として写っている人物名を表す属性情報であり、この画像に「冬子」とうい人物が写っていることを表している。３１１は画像データである。３０７〜３１０の属性情報は、画像の撮影時、または撮影後に画像に付与するものである。これらの画像３００〜３０６は、表示部２０８を用いて表示することが出来る。また、通常再生モードにおいて、操作部２０９を用いて、任意の画像を選択して表示部２０８に表示することが出来る。
FIG. 3A shows an image stored in the
図４（ａ）は、画像閲覧装置２００を表した図である。４００は表示部であり、画像を表示することが出来る。４０１は再生ボタンであり、押されると、画像閲覧装置は通常再生モードに遷移する。通常再生モードでは、記憶媒体２０６に記憶された全ての画像を表示することが出来る。また通常再生モードで検索やフィルタの処理を行うことにより所望の画像を選択的に閲覧することも可能である。通常再生モードでの画像閲覧装置の表示画面を表したものが、図４（ｂ）である。４０２は、記憶媒体２０６に記憶されている画像３０２である。４０３、４０４は画像送りのボタンであり、このボタンを押すことで、記憶媒体２０６に記憶されている前後の画像を表示することが出来る。４０５乃至４０７は、閲覧対象の画像を検索するための検索情報を指定するボタンで、画像の属性情報に対応して、人物名、撮影の日時および撮影の場所等をそれぞれ指定することが出来る。また、画像の種類や所定のランキング情報に基づいた検索条件を設定することも可能である。
FIG. 4A is a diagram illustrating the
次に、閲覧対象にする画像を指定して、画像閲覧装置で最初に閲覧した人物のみに、閲覧対象の画像を順次再生して閲覧させる閲覧再生モードの動作について説明する。前述したように、画像閲覧装置の所有者「一郎」さんの子供である「太郎」さんの画像を、「次朗」さんに見せる場合を例にして説明する。「太郎」さんの画像を閲覧対象にする場合は、図４（ｂ）のように、まずは「太郎」さんが写っている画像を表示する。次に、４０９の人物ボタンを押下する。人物ボタンを押下すると、図４（ｃ）に示すように、人物ボタンがハイライト表示になる。この状態で、４０８の閲覧再生ボタンを押下すると、ＣＰＵ２０３は図５のフローチャートに従って、記憶媒体に記憶された全画像（総数Ｎが７）から、今表示されている画像と同一の人物が写っている画像（図４（ｂ）の場合では「太郎」さんが写っている画像）を検索する。
Next, a description will be given of the operation in the browse reproduction mode in which an image to be browsed is designated, and only the person who first browsed with the image browsing apparatus reproduces and browses the images to be browsed sequentially. As described above, the case where “Jiro” is shown an image of “Taro” who is a child of “Ichiro” who owns the image browsing apparatus will be described as an example. When the image of “Taro” is to be viewed, first, an image in which “Taro” is reflected is displayed as shown in FIG. Next, the
ここで、図５のフローチャートを用いて閲覧画像の検索動作について説明する。ステップＳ５００でＣＰＵ２０３は、表示中の画像に含まれる人物名を取得する。図３（ａ）のように、画像３０２には「太郎」という人物名が含まれているため、ステップＳ５００では「太郎」という人物名を取得する。次にステップＳ５０１でＣＰＵ２０３は、表示している画像の顔領域から特徴量を算出して抽出する。ここで、顔領域から特徴量を算出する理由について説明する。「太郎」さんが写っている画像を検索する際に、記憶媒体２０６に記憶されている画像の中で、属性情報に人物名が付与されていない場合がある。例えば、画像３０５や３０６には人物名の属性情報が付与されていない。属性情報として人物名が付与されていない画像であっても、画像３０５のように、「太郎」さんが写っている場合がある。このような場合は、前述の特徴量を用いて、「太郎」さんと類似している人物が写っている画像も閲覧対象にした方が、ユーザーにとっては望ましい。このように「太郎」さんと類似している人物を検索するために、顔領域の特徴量を算出しておく。図５の説明に戻る。ステップＳ５０２でＣＰＵ２０３は、ｎの値を１に初期化する。ｎは記憶媒体に記憶された画像を表すインデックスであり、図３（ａ）の場合は、ｎが１〜７の値を取り得る。ステップＳ５０３でＣＰＵ２０３は、ｎ番目の画像に人物名が含まれているかを判定する。現在のｎの値は１なので、画像３００に人物名が含まれているかを判定する。ここで画像３００には人物名が含まれているので、ステップ５０３の判定の結果、ステップＳ５０４へ進む。ステップＳ５０４でＣＰＵ２０３は、ｎ番目の画像に含まれる人物名を取得する。画像３００の人物名は「冬子」であるので、ここでは「冬子」という人物名を取得する。次に、ステップＳ５０５でＣＰＵ２０３は、表示中の人物名と同じであるかを判定する。表示中の人物名は「太郎」であり、ｎ番目の画像の人物名は「冬子」であるため、ステップＳ５０６へ進む。ここで、ステップＳ５０６へ進む理由について説明する。画像３００のように、実際の被写体としては２人の人物が写っているが、属性情報としては１人分の人物名しか付与されていない場合がある。このような場合も、現在検索中である「太郎」さんが画像に写っている可能性がある。そこで、ステップＳ５０１で取得した特徴量を用いて、ｎ番目の画像に「太郎」さんが写っているかを推定する。
Here, the browsing image search operation will be described with reference to the flowchart of FIG. In step S500, the
図５（ｂ）はステップＳ５０６の詳細なフローチャートである。ステップＳ５１０でＣＰＵ２０３は、ｎ番目の画像で顔検出を行う。画像３００の場合は、２人の顔が検出できたものとする（検出された顔の総数Mが２となる）。次にステップＳ５１１でＣＰＵ２０３は、ｍの値を１に初期化する。ｍは検出された顔を表すインデックスであり、画像３００の場合は、ｍが１〜２の値を取り得る。次にステップＳ５１２でＣＰ２０３は、ｎ番目の画像で顔検出できたかを判定する。画像３００の場合は、２つの顔領域を検出できているため、ステップＳ５１３へ進む。ステップＳ５１３でＣＰＵ２０３は、ｍ番目の顔領域から特徴量を算出する。ここで、ｍが１である顔は画像３００の左側に写っている人物であり、ｍが２である顔は画像３００の右側に写っている人物とする。ここでは、画像３００の左側の顔領域の特徴量を算出する。ステップＳ５１４でＣＰＵ２０３は、ステップＳ５０１で算出した第一の特徴量と、ステップＳ５１３で算出した第二の特徴量の類似度を算出する。ここでの類似度は０〜１００の値を取り得るものとし、それぞれの顔が似ているほど類似度が高くなるものとする。ここで、画像３００の左側の顔との類似度は２０であったとする。ステップＳ５１５でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。ここでは、閾値を７０とし、類似度が７０以上であれば同一人物であると判定するものとする。ここでは、類似度が閾値以下であるため、ステップＳ５１６へ進む。ステップＳ５１６でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値が２となる。ステップＳ５１７でＣＰＵ２０３は、ｍとＭの値を比較する。ここで、Ｍは検出した顔の総数であり、画像３００の場合はＭの値が２となる。従って、ｍとＭの値は同じであるため、ステップＳ５１３へ戻る。ステップＳ５１３〜５１６の処理は前述した通りである。なお、ステップＳ５１５で類似度が所定の閾値以上である顔が見つかった場合は、ステップＳ５１８へ進む。ステップＳ５１８でＣＰＵ２０３は、ｎ番目の画像を閲覧対象のリストに追加する。画像３００の場合は、ｍの値が２である場合も、類似度が閾値より低いものであったとし、ステップＳ５１６へ進むものとする。ステップＳ５１６でｍの値は３となり、ステップＳ５１７の判定でｍ＞Ｍとなり、図５（ｂ）のフローチャートは終了となる。
FIG. 5B is a detailed flowchart of step S506. In step S510, the
図５（ａ）の説明に戻る。ステップＳ５０６の次はステップＳ５０７へ進む。ステップＳ５０７でＣＰＵ２０３は、ｎの値をインクリメントする。従って、ｎの値が２となる。ステップＳ５０８でＣＰＵ２０３は、ｎとＮの値を比較する。ここで、Ｎは記憶媒体に記憶された画像の総数であり、図３（ａ）に示す画像が記憶されている場合はＮの値が７である。従って、ｎ＞Ｎとはならないため、ステップＳ５０３へ戻る。以上のようにして、人物名が「太郎」さんである画像と、算出した類似度から「太郎」さんと似ていると判定された画像を検索して、閲覧対象の画像に追加していく。なお、ステップＳ５０５で同じ人物名の画像が見つかった場合は、ステップＳ５０９へ進む。ステップＳ５０９でＣＰＵ２０３は、ｎ番目の画像を閲覧対象のリストに追加する。このようにして閲覧対象となった画像を図３（ｂ）に示す。画像３２０、３２１は属性情報として「太郎」さんという人物名が含まれているため、ステップＳ５０９で閲覧対象に追加された画像である。画像３２２は属性情報として「太郎」さんという人物名は含まれていないが、ステップＳ５１８で閲覧対象に追加された画像である。 閲覧対象とする画像が決まった後は、「閲覧再生モード」での画像再生を開始する。閲覧再生モードでの再生可能な画像は、前述の図５のフローチャートでの動作で閲覧対象に追加された画像３２０〜３２２のみである。このようにして、「太郎」さんが写った画像のみを再生可能とすることで、「一郎」さんが意図していない画像が閲覧可能になってしまうことを防ぐことが出来る。以上が、「太郎」さんの画像を検索する処理である。
Returning to the description of FIG. After step S506, the process proceeds to step S507. In step S507, the
次に、本実施例に係る画像閲覧装置での閲覧再生モードの終了制御動作を図１のフローチャートを用いて説明する。閲覧再生モードを開始すると、図１（ａ）のフローに沿って、「次朗」さんが画像の閲覧を終了したかを閲覧画像の再生中に判定する。ステップＳ１００でＣＰＵ２０３は、ｍの値を０、Ｎの値を１に初期化する。ここで、ｍはカウンタであり、Ｎは後述する顔検出を行う所定の周期を表す値である。ステップＳ１０１でインカメラで動画像の撮影を開始する。インカメラは、図４（ａ）に４１０で示すように、画像閲覧装置の操作者を撮影できるものである。このインカメラを用いて、閲覧再生モードの実行中に画像閲覧装置を操作している人物を判定する。
Next, the end control operation of the browsing reproduction mode in the image browsing apparatus according to the present embodiment will be described with reference to the flowchart of FIG. When the browse reproduction mode is started, it is determined during reproduction of the browse image whether “Jiro” has finished browsing the image, according to the flow of FIG. In step S100, the
ステップＳ１０２でＣＰＵ２０３は、閲覧再生モードの実行者がフレームアウトするまで待機して、本処理を終了する。本実施例では、閲覧再生モードを実行した「一郎」さんが、インカメラからフレームアウトするまで待機することになる。ステップＳ１０３でＣＰＵ２０３は、閲覧者がインカメラで撮影されるまで待機して本処理を終了する。本実施例では、「次朗」さんがインカメラで撮影されるまで待機するものである。ステップＳ１０４でＣＰＵ２０３は、閲覧者がインカメラからフレームアウトするまで待機する本処理を終了する。本実施例では、「次朗」さんがインカメラからフレームアウトするまで待機するものである。ここで、「次朗」さんがインカメラからフレームアウトしたら、ステップＳ１０５へ進む。ステップＳ１０５でＣＰＵ２０３は、画像の再生を終了する。即ち、閲覧再生モードを終了する。
In step S <b> 102, the
図１（ｂ）は、ステップＳ１０２の詳細なフローチャートである。ステップＳ１１０でＣＰＵ２０３は、ステップＳ１０１インカメラで撮影を開始した直後の画像信号が表わす動画像から静止画を切り出す。ステップＳ１１１でＣＰＵ２０３は、切り出した静止画像の画像信号に基づいて顔画像の検出を行う。次にステップＳ１１２でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。図６に、閲覧再生モードを開始した後に、装置の所有者と閲覧者の諸作とその時にインカメラに写っている画像の例を示す。閲覧再生モードを実行したのが「一郎」さんである場合、６００のようにインカメラには「一郎」さんが写ることになる。従って、６００のように顔が写っている場合は、ステップＳ１１３へ進む。ステップＳ１１３〜１１７の処理は、インカメラから「一郎」さんがフレームアウトするまで待機する処理である。ステップＳ１１３でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値は１となる。ステップＳ１１４でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ここで、ｍの値は１、Ｎの値は１であるため、１秒が経過するまで待機する。１秒が経過するまで待機したら、ステップＳ１１５へ進む。ステップＳ１１５でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。ステップＳ１１６でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１１７でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っている場合は、「一郎」さんが閲覧装置を持っている状態（閲覧者が存在している）であると判定し、ステップＳ１１３へ戻る。以降は、ステップＳ１１３〜１１７を繰り返し、「一郎」さんがインカメラからフレームアウトするまで待機する。ここで、図６の６０１のように、「一郎」さんが「次朗」さんに画像閲覧装置を渡している途中の場合は、顔が写らない状態となる。このような場合は、ステップＳ１１７で顔が写っていないと判定されるので、図１（ｂ）のフローチャートを終了する。ここでは、ｍの値が５となり、時刻が１３：００：０５の時点で一郎さんがインカメラからフレームアウトしたものとする。なお、ステップＳ１１２で顔が写っていない場合も、図１（ｂ）のフローチャートを終了する。
FIG. 1B is a detailed flowchart of step S102. In step S110, the
次に、図１（ｃ）に示すフローチャートに従って、ステップＳ１０３の動作を詳細に説明する。なお、本動作においては、ステップＳ１０２で更新されたｍの値が受け渡される。まず、ステップＳ１２０でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値が６となる。ステップＳ１２１でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ここで、ｍの値は６、Ｎの値は１であるため、閲覧再生モードの開始から６秒が経過するまで待機する。６秒が経過するまで待機したら、ステップＳ１２２へ進む。ステップＳ１２２でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。次にステップＳ１２３でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１２４でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っていない場合は、「一郎」さんから「次朗」さんに閲覧装置を渡している途中の状態であると判定し、ステップＳ１２０へ戻る。即ち、図６の６０１のような状態である場合は、ステップＳ１２０へ戻る。以降は、ステップＳ１２０〜１２４を繰り返し、インカメラに「次朗」さんが写るまで待機する。ここでは、ｍの値が１０となり、時刻が１３：００：１０の時点で「次朗」さんがインカメラに写ったものとする。「次朗」さんがインカメラに写った場合は、ステップＳ１２５へ進む。ステップＳ１２５でＣＰＵ２０３は、検出した顔領域から第一の特徴量を算出して、ステップＳ１０３の処理を終了する。ここで抽出した特徴量は、後述するステップＳ１０４（図１（ｄ）の詳細フローチャートで説明する）で使用する。
Next, the operation of step S103 will be described in detail according to the flowchart shown in FIG. In this operation, the value of m updated in step S102 is delivered. First, in step S120, the
次に、図１（ｄ）のフローチャートを用いて、ステップＳ１０４の詳細を説明する。なお、本動作においても、ステップＳ１０3で更新されたｍの値が受け渡される。ステップＳ１３０でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値が１１となる。ステップＳ１３１でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ここで、ｍの値は１１、Ｎの値は１であるため、閲覧再生モードの開始から１１秒が経過するまで待機する。１１秒が経過するまで待機したら、ステップＳ１３２へ進む。ステップＳ１３２でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。次にステップＳ１３３でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１３４でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っている場合は、ステップＳ１３５へ進む。ステップＳ１３５でＣＰＵ２０３は、顔領域から第二の特徴量を算出する。次にステップＳ１３６でＣＰＵ２０３は、ステップＳ１２５で算出した第一の特徴量と、ステップＳ１３５で算出した第二の特徴量の類似度を算出する。ステップＳ１３７でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。これは、インカメラを操作しているのが、ステップＳ１２４で検出した顔の人物と同じ人であるかを判別するためのものである。ここで、図６の６０２〜６０４の状態の場合は、実際に「次朗」さんが写っており、類似度が閾値以上となるため、ステップＳ１３０へ戻る。即ち、「次朗」さんが画像閲覧装置を操作している間は、ステップＳ１３０〜ステップＳ１３７を繰り返すことになる。ここで、「次朗」さんが画像の閲覧を終了して、「一郎」さんに画像閲覧装置を返そうとすると、インカメラから「次朗」さんがフレームアウトすることになる。そのような場合は、６０５のようにインカメラから人物の顔が無くなるので、ステップＳ１３４での判定、分岐により本動作（ステップＳ１０４）を終了する。また、閲覧開始時の閲覧者である「次朗」さんが画像を閲覧している最中に、第三の人物が一緒に画像を閲覧したとする。更にその後、「次朗」さんは画像の閲覧を終了したが、第三の人物が画像の閲覧を継続したとする。このように顔画像が変化した場合は、ステップＳ１３７で類似度が閾値以下となるため、同じく図１（ｄ）のフローチャートの処理を終了して、ステップＳ１０４の動作を終了する。このように顔画像を解析して、「次朗」さんが画像を閲覧している間のみ、閲覧再生モードを継続する。
Next, details of step S104 will be described with reference to the flowchart of FIG. Also in this operation, the value of m updated in step S103 is transferred. In step S130, the
上述した本実施例の画像の検索では、図４（ｂ）で指定した画像に属性情報として人物名が付与されている例を説明した(図５)。しかし、画像によっては属性情報として人物名が付与されていない場合も考えられる。このような場合に行う検索動作の例を説明する。 In the image search of the present embodiment described above, an example in which a person name is given as attribute information to the image specified in FIG. 4B has been described (FIG. 5). However, there may be a case where a person name is not given as attribute information depending on an image. An example of a search operation performed in such a case will be described.
図７は、属性情報として人物名が付与されていない画像を表示させた状態で、閲覧再生モードを実行した場合に、閲覧対象とする画像を決定するフローチャートである。なお、前述の図５の検索動作との差異は、属性情報として人物名が付与されている画像を検索しない点である。この点以外は、図５のフローと同様である。具体的には、ステップＳ７００、７０１は、ステップＳ５０１、５０２と同じであり、ステップＳ７０２〜７１０は、ステップＳ５１０〜５１８と同じであり、ステップＳ７１１、７１２は、ステップＳ５０７、５０８と同じである。従って、ここでの説明は省略する。このようにして、属性情報として人物名が付与されていない画像を指定した場合でも、類似度が高い画像を検索して、閲覧対象とすることが可能である。 FIG. 7 is a flowchart for determining an image to be browsed when the browse reproduction mode is executed in a state where an image to which no person name is assigned as attribute information is displayed. Note that the difference from the search operation of FIG. 5 described above is that an image to which a person name is assigned as attribute information is not searched. Except for this point, the flow is the same as that of FIG. Specifically, steps S700 and 701 are the same as steps S501 and 502, steps S702 to 710 are the same as steps S510 to 518, and steps S711 and 712 are the same as steps S507 and 508. Therefore, the description here is omitted. In this way, even when an image without a person name is specified as attribute information, it is possible to search for an image with a high degree of similarity and set it as a browsing target.
なお、ここで「人物」以外の検索情報を指定して閲覧再生モードを実行する例を図８を用いて説明する。まず、検索情報として「日時」を指定して、閲覧再生モードを実行する場合の例について説明する。図４（ｄ）は、画像４１１を表示させた状態で、日時ボタン４１２を押下した場合の表示画面を示す。日時ボタン４１２を押下すると、図４（ｄ）のように、日時ボタンがハイライト表示になる。この状態で、閲覧再生ボタン４１３を押下すると、ＣＰＵ２０３は図８（ａ）のフローチャートに従って、記憶媒体に記憶された全画像から、画像４１１と同じ日に撮影された画像を検索して閲覧対象とする。
An example in which search information other than “person” is designated to execute the browsing / playback mode will be described with reference to FIG. First, an example in which “date and time” is designated as search information and the browsing / playback mode is executed will be described. FIG. 4D shows a display screen when the date /
図８（ａ）のフローチャートを用いて、検索情報として「日時」を指定して場合の画像検索動作を説明する。本動作においても、ｎをインデックス、Ｎを記憶されている画像の総数とする点は上述の検索動作と同様である。ステップＳ８００でＣＰＵ２０３は、表示中の画像を撮影した撮影日を属性情報から取得する。図３（ａ）に示すように、画像３０３は「2012/4/4」が撮影日であるため、ステップＳ８００では「2012/4/4」という撮影日を取得する。次にステップＳ８０１でＣＰＵ２０３は、ｎの値を１に初期化する。ステップＳ８０２でＣＰＵ２０３は、ｎ番目の画像の撮影日を取得する。現在のｎの値は１なので、画像３００の「2012/1/1」という撮影日時を取得する。ステップＳ８０３でＣＰＵ２０３は、表示中の画像とｎ番目の画像の撮影日が同じであるかを判定する。ｎが１の場合は撮影日が異なるので、ステップＳ８０４へ進む。ステップＳ８０４でＣＰＵ２０３は、ｎの値をインクリメントする。従って、ｎの値が２となる。ステップＳ８０５でＣＰＵ２０３は、ｎとＮの値を比較する。ここで、Ｎは記憶媒体に記憶された画像の総数であり、図３（ａ）に示す画像が記憶されている場合、Ｎの値は７である。従って、ｎ＞Ｎとはならないため、ステップＳ８０２へ戻る。以上のようにして、撮影日が「2012/4/4」である画像を検索して、閲覧対象の画像とする。なお、ステップＳ８０３で撮影日が同じ画像が見つかった場合は、ステップＳ８０６へ進む。ステップＳ８０６でＣＰＵ２０３は、ｎ番目の画像を閲覧対象に追加する。このようにして閲覧対象となった画像を図３（ｃ）に示す。画像３３０、３３１は撮影日時が「2012/4/4」であるため、ステップＳ８０６で閲覧対象に追加された画像である。閲覧対象とする画像が決まった後は、「閲覧再生モード」での画像の再生を開始する。「閲覧再生モード」で再生可能な画像は、画像３３０、３３１のみとなる。このようにして、撮影日が「2012/4/4」である画像のみを再生可能とすることで、画像閲覧装置の所有者が意図しない画像が閲覧可能になってしまうことを防ぐことが出来る。なお、閲覧再生モードを終了する動作は、前述の図１のフローチャートに従って行う。
An image search operation when “date and time” is designated as search information will be described using the flowchart of FIG. Also in this operation, n is an index and N is the total number of stored images, similar to the search operation described above. In step S800, the
次に、検索情報として「場所」を指定して、閲覧再生モードを実行する場合の例について説明する。図４（ｅ）は、画像４１４を表示させた状態で、場所ボタン４１５を押下した場合の表示画面を示す。場所ボタン４１５を押下すると、図４（ｅ）のように、場所ボタンがハイライト表示になる。この状態で、閲覧再生ボタン４１６を押下すると、ＣＰＵ２０３は図８（ｂ）のフローチャートに従って、記憶媒体に記憶された全画像から、画像４１４と同じ場所で撮影された画像を検索し、閲覧対象とする。
Next, an example in which “location” is designated as search information and the browsing / playback mode is executed will be described. FIG. 4E shows a display screen when the
図８（ｂ）のフローチャートを参照して検索情報として「場所」を指定した場合の画像検索動作を説明する。本動作においても、ｎをインデックス、Ｎを記憶されている画像の総数とする点は上述の検索動作と同様である。ステップＳ８１０でＣＰＵ２０３は、表示中の画像を撮影したランドマーク名を取得する。図３（ａ）にあるように、画像３０１は「ニセコ」という検索情報としてのランドマーク名が付与されているため、ステップＳ８１０では「ニセコ」というランドマーク名を取得する。次にステップＳ８１１でＣＰＵ２０３は、ｎの値を１に初期化する。ステップＳ８１２でＣＰＵ２０３は、ｎ番目の画像のランドマーク名を取得する。現在のｎの値は１なので、画像３００の「太田神社」というランドマーク名を取得する。ステップＳ８１３でＣＰＵ２０３は、表示中の画像とｎ番目の画像のランドマーク名が同じであるかを判定する。ｎが１の場合はランドマーク名が異なるので、ステップＳ８１４へ進む。ステップＳ８１４でＣＰＵ２０３は、ｎの値をインクリメントする。従って、ｎの値が２となる。ステップＳ８０５でＣＰＵ２０３は、ｎとＮの値を比較する。ここで、Ｎは記憶媒体に記憶された画像の総数であり、図３（ａ）に示す画像が記憶されている場合、Ｎの値は７である。従って、ｎ＞Ｎとはならないため、ステップＳ８１２へ戻る。以上のようにして、ランドマーク名が「ニセコ」である画像を検索して、閲覧対象の画像とする。なお、ステップＳ８１３でランドマーク名が同じ画像が見つかった場合は、ステップＳ８１６へ進む。ステップＳ８１６でＣＰＵ２０３は、ｎ番目の画像を閲覧対象に追加する。このようにして閲覧対象となった画像を図３（ｄ）に示す。画像３４０、３４１はランドマーク名が「ニセコ」であるため、ステップＳ８１６で閲覧対象に追加された画像である。閲覧対象とする画像が決まった後は、「閲覧再生モード」での画像の再生を開始する。「閲覧再生モード」で再生可能な画像は、画像３４０、３４１のみとなる。このようにして、ランドマーク名が「ニセコ」である画像のみを再生可能とすることで、画像閲覧装置の所有者が意図しない画像が閲覧可能になってしまうことを防ぐことが出来る。なお、閲覧再生モードを終了する動作は、前述の図１のフローチャートに従って行う。
An image search operation when “location” is designated as search information will be described with reference to the flowchart of FIG. Also in this operation, n is an index and N is the total number of stored images, similar to the search operation described above. In step S810, the
ここで、上述した第１の実施例の変形例として、閲覧再生モードの終了動作の変形例を説明する。例えば、「次朗」さんが画像を閲覧している際に、閲覧している画像について「一郎」さんに質問をしようとして、画像閲覧装置を一時的に「一郎」さんに戻すことを考える。このような場合、前述の第１の実施例だと、画像閲覧装置を「一郎」さんに戻した時点で、画像の再生が終了してしまう。そこで、閲覧再生モードの終了後も所定の期間はインカメラでの撮影を継続し、閲覧再生モードの実行者が再度現れた場合は、閲覧再生モードを再開するかどうかを確認するメッセージを表示するようにする。このようにしておけば、速やかに閲覧再生モードを再開することが可能となる。 Here, as a modified example of the first embodiment described above, a modified example of the browsing reproduction mode end operation will be described. For example, when “Jiro” is browsing an image, an attempt is made to temporarily return the image browsing apparatus to “Ichiro” in order to ask “Ichiro” a question about the image being browsed. In such a case, in the first embodiment described above, the reproduction of the image ends when the image browsing apparatus is returned to “Ichiro”. Therefore, shooting with the in-camera is continued for a predetermined period after the end of the browsing / playback mode, and when the person who performs the browsing / playback mode appears again, a message is displayed to confirm whether to resume the browsing / playback mode. Like that. In this way, it is possible to quickly resume the browsing / playback mode.
このような動作を実現するために、まずは閲覧再生モードを実行した人物の情報を記憶しておく必要がある。そこで、本変形例では、図９（ａ）のフローチャートに従って行われる閲覧再生モードの実行者がフレームアウトするまでの動作において、実行者の顔の特徴量を記憶しておく。図９（ａ）のフローチャートは、図１（ｂ）のフローチャートにステップＳ９０３を追加したものであり、ステップＳ９０３以外は図１（ｂ）のフローチャートと同じであり、図１（ｂ）と同様の部分は同じ符号を付し、ここでの説明は省略する。よって、本変形例では、ステップＳ９０３のみについて説明する。ステップＳ９０３でＣＰＵ２０３は、顔領域から特徴量（第３の特徴量）を算出する。ここで算出した特徴量は、後述する図９（ｂ）のフローチャートで使用する。
In order to realize such an operation, first, it is necessary to store the information of the person who executed the browsing / playback mode. Therefore, in this modification, the feature amount of the executor's face is stored in the operation until the executor of the browsing reproduction mode performed according to the flowchart of FIG. The flowchart in FIG. 9A is obtained by adding step S903 to the flowchart in FIG. 1B, and is the same as the flowchart in FIG. 1B except for step S903, and is the same as that in FIG. Parts are denoted by the same reference numerals, and description thereof is omitted here. Therefore, in this modification, only step S903 will be described. In step S903, the
図９（ｂ）のフローチャートを用いて、ステップＳ９０３で抽出した特徴量を用いた閲覧再生モードの終了制御動作について説明する。図９（ｂ）のフローチャートは、図１（ａ）のステップＳ１０５で画像の再生を終了した後に、所定の期間だけインカメラでの撮影を継続し、閲覧再生モードの実行者が撮影画像に再度現れるかを判定する処理である。まず、ステップＳ９１０でＣＰＵ２０３は、ｐの値を１に初期化する。ｐはカウンタであり、本実施例の場合は１の値から始まるものとする。ステップＳ９１１でＣＰＵ２０３は、画像の再生終了から（Ｐ×ｐ）秒が経過するまで待機する。Ｐは顔検出を行う周期であり、ここでは１（ｓ）とする。ここで、ｐの値は１、Ｎの値は１であるため、１秒が経過するまで待機する。１秒が経過するまで待機したら、ステップＳ９１２へ進む。ステップＳ９１２でＣＰＵ２０３は、画像の再生終了から（Ｐ×ｐ）秒後に撮影されたのインカメラの静止画像を切り出す。次にステップＳ９１４でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っていない場合は、ステップＳ９１５へ進む。ステップＳ９１５でＣＰＵ２０３は、ｐの値をインクリメントする。従って、ｐの値が２となる。ステップＳ９１６でＣＰＵ２０３は、ｐとＱの値を比較する。Ｑは画像の再生終了後に、閲覧再生モードの実行者が再度現れるかを待機するときの制限時間である。ここでは、１０秒間待機するものとし、Ｑを１０とする。Ｑの値が１０の場合、ｐ＞Ｑとはならないので、ステップＳ９１１へ戻る。以降は、ステップＳ９１１〜９１６を繰り返して、閲覧再生モードの実行者が再度現れるかを待機する。ステップＳ９１４で、切り出した静止画像に顔が写っている場合は、ステップＳ９１７へ進む。ステップＳ９１７でＣＰＵ２０３は、顔領域から特徴量を算出する（第４の特徴量の抽出）。次にステップＳ９１８でＣＰＵ２０３は、ステップＳ９０３で算出した特徴量との類似度を算出する。ステップＳ９１９でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。これは、インカメラに写った人物が閲覧再生モードの実行者であるかを判定するために行うものである。ここで、類似度が所定の閾値以上である場合は、ステップＳ９２０へ進む。ステップＳ９２０でＣＰＵ２０３は、閲覧再生モードを再開するかどうかを確認するメッセージを表示する。例えば、「閲覧再生モードを再開しますか？」のメッセージと「はい」「いいえ」ボタンを表示する。「はい」を選択した場合は、閲覧再生モードを再開する。即ち、閲覧再生モードを実行した場合と同じ動作になる。「いいえ」を選択した場合は、図９（ｂ）のフローチャートを終了する。このようにして、閲覧再生モードを一度終了した後もインカメラでの撮影を継続し、閲覧再生モードを実行した人物が再度現れた場合は、簡単な操作で閲覧再生モードを再開することが可能になる。
With reference to the flowchart of FIG. 9B, the browsing reproduction mode end control operation using the feature amount extracted in step S903 will be described. In the flowchart of FIG. 9B, after the reproduction of the image is finished in step S105 of FIG. 1A, the photographing with the in-camera is continued for a predetermined period, and the person in the browsing / reproducing mode again displays the photographed image. This is a process for determining whether to appear. First, in step S910, the
次に、本発明の第２の実施例を説明する。第１の実施例では、「一郎」さんが所有している画像閲覧装置を「次朗」さんに渡した後に、「次朗」さんが画像の閲覧を終了したタイミングで、画像の再生を終了するものであった。第２の実施例では、「次朗」さんが画像の閲覧を終了して、「一郎」さんが画像閲覧装置を受け取ったタイミングで画像の再生を終了する例について説明する。また、第一の実施例と同様に、画像閲覧装置の所有者「一郎」さんの子供である「太郎」さんの画像を、「次朗」さんに見せる場合を例にして説明する。 Next, a second embodiment of the present invention will be described. In the first embodiment, after the image browsing device owned by “Ichiro” is handed over to “Jiro”, the playback of the image is terminated when “Jiro” finishes viewing the image. Met. In the second embodiment, an example will be described in which “Jiro” finishes viewing an image and “Ichiro” finishes reproducing an image at the timing when the image viewing apparatus is received. Similarly to the first embodiment, the case where “Jiro” is shown an image of “Taro” who is a child of “Ichiro” who owns the image browsing apparatus will be described as an example.
本実施例における画像閲覧装置の構成と、画像閲覧装置に格納されている画像は、第１の実施例において図２、図３（ａ）に示した構成と同様であるので、ここでの説明は省略する。また、「太郎」さんの画像を閲覧対象にするために、表示画面に対して行われる動作も、第１の実施例において図４（ｃ）を用いて説明したとおりである。即ち、「太郎」さんが写っている画像を表示して人物ボタンを押下する。この状態で閲覧再生ボタンを押下すると、閲覧再生モードが開始する。さらに、「太郎」さんが写っている画像を閲覧対象に追加する動作も、第１の実施例で図５のフローチャートを用いて説明したとおりである。なお、閲覧対象にする画像は、第１の実施例で図７又は８を用いて説明したように、属性情報を用いずに画像の類似性の判断に基づく検索動作または人物名以外の属性情報を検索情報として指定した検索動作で検索した画像であってもよい。 The configuration of the image browsing apparatus in the present embodiment and the image stored in the image browsing apparatus are the same as those shown in FIGS. 2 and 3A in the first embodiment, and will be described here. Is omitted. In addition, the operation performed on the display screen in order to set the image of “Taro” as a viewing target is as described with reference to FIG. 4C in the first embodiment. That is, an image showing “Taro” is displayed and the person button is pressed. When the browse / play button is pressed in this state, the browse / play mode is started. Furthermore, the operation of adding the image in which “Taro” is reflected to the browsing target is also as described with reference to the flowchart of FIG. 5 in the first embodiment. The image to be browsed is attribute information other than the search operation based on the similarity determination of the image without using the attribute information or the person name as described with reference to FIG. 7 or 8 in the first embodiment. May be an image searched by a search operation in which is specified as search information.
次に、閲覧再生モードの終了を制御する動作を、図１０に示すフローチャートを用いて説明する。同図において、図１と同じ部分は同じ符号を付して示す。基本となるフローチャートは図１０（ａ）であり、第１の実施例とはステップＳ１００４のみが異なる。なお、ステップＳ１００２の詳細フローチャートは図９（ａ）のフローチャートであるものとする。即ち、ステップＳ９０３で、撮影画像に含まれる顔の特徴量を算出しておくことで、閲覧再生モードを実行した人物の情報を記憶しておく。 Next, the operation for controlling the end of the browsing / playback mode will be described using the flowchart shown in FIG. In the figure, the same parts as those in FIG. The basic flowchart is FIG. 10A, which is different from the first embodiment only in step S1004. Note that the detailed flowchart of step S1002 is the flowchart of FIG. That is, in step S903, the facial feature amount included in the photographed image is calculated to store the information of the person who has executed the browsing / playback mode.
ステップＳ１００４の詳細を、図１０（ｂ）に示すフローチャートを用いて説明する。図１０（ｂ）のフローチャートは、閲覧再生モードを実行した「一郎」さんが、再度インカメラの撮影画像に現れるまで待機する処理である。まず、ステップＳ１０１１でＣＰＵ２０３は、ｍの値をインクリメントする。ステップＳ１０１２でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ステップＳ１０１３でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。次にステップＳ１０１４でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１０１５でＣＰＵ２０３は、切り出した静止画像に顔が写っているかどうかを判定する。ここで、顔が写っていない場合とは、図６の６０５にあるように、「次朗」さんが画像の閲覧を終了して、画像閲覧装置を「一郎」さんに返している途中であると考えられる。このように顔が見つからなかった場合は、ステップＳ１０１１へ戻る。ステップＳ１０１１〜１０１５を繰り返して、顔が見つかった場合は、ステップＳ１０１６へ進む。ステップＳ１０１６でＣＰＵ２０３は、顔領域から第二の特徴量を算出する。次にステップＳ１０１７でＣＰＵ２０３は、ステップＳ９０３で算出した第一の特徴量と、ステップＳ１０１６で算出した第二の特徴量との類似度を算出する。ステップＳ１０１８でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。これは、インカメラに写っているのが閲覧再生モードを実行した「一郎」さんであるかを判定するためのものである。ここで、図６の６０６のように、実際に「一郎」さんが画像閲覧装置を受け取った場合は、インカメラに「一郎」さんが写ることになる。そのような場合は、類似度が所定の閾値以上になるため、図１０（ｂ）のフローチャートを終了する。このようにして、「一郎」さんが画像閲覧装置を受け取ったタイミングで、閲覧再生モードを終了する。
Details of step S1004 will be described with reference to the flowchart shown in FIG. The flowchart in FIG. 10B is a process of waiting until “Ichiro” who has executed the browsing / playback mode appears again in the captured image of the in-camera. First, in step S1011, the
ここで、第２の実施例の変形例として、閲覧再生モードの終了制御動作の変形例を説明する。例えば、「次朗」さんが画像を閲覧している際に、閲覧している画像について「一郎」さんに質問しようとして、画像閲覧装置を一時的に「一郎」さんに戻す場合を考える。このような場合、本変形例では、閲覧再生モードの実行者が再度撮影画像に現れた場合は、閲覧再生モードを再開するかどうかを確認するメッセージを表示する。この動作を、図１３（ａ）に示すフローチャートを用いて説明する。図１３（ａ）のフローチャートは、閲覧再生ボタンが押下された後に行われる閲覧再生モードの終了制御動作のフローチャートである。同図において、図１０（ａ）と同様の部分は、同じ符号を付して示す。図１３（ａ）と図１０（ａ）との差異は、ステップＳ１３０６のみである。ステップＳ１０５で閲覧再生モードを終了した後、ステップＳ１３０６へ進む。ステップＳ１３０６でＣＰＵ２０３は、閲覧再生モードを再開するかどうかを確認するメッセージを表示する。例えば、「閲覧再生モードを再開しますか？」のメッセージと「はい」「いいえ」ボタンを表示する。「はい」を選択した場合は、閲覧再生モードを再開する。即ち、閲覧再生モードを実行した場合と同じ動作になる。「いいえ」を選択した場合は、図１３（ａ）のフローチャートの動作を終了する。このようにして、閲覧再生モードを実行した人物が再度撮影画像に現れた場合は、簡単な操作で閲覧再生モードの再開が可能となる。
Here, as a modification of the second embodiment, a modification of the browsing reproduction mode end control operation will be described. For example, suppose that when “Jiro” is browsing an image, the image browsing apparatus is temporarily returned to “Ichiro” in an attempt to ask “Ichiro” about the image being browsed. In such a case, in this modified example, when the person who performs the browsing / playback mode appears again in the captured image, a message for confirming whether to resume the browsing / playback mode is displayed. This operation will be described with reference to the flowchart shown in FIG. The flowchart of FIG. 13A is a flowchart of the end control operation of the browse / playback mode performed after the browse / playback button is pressed. In the figure, the same parts as those in FIG. 10A are denoted by the same reference numerals. The difference between FIG. 13A and FIG. 10A is only step S1306. After the browsing / reproducing mode is ended in step S105, the process proceeds to step S1306. In step S1306, the
また、「次朗」さんが画像を閲覧している際に、閲覧している画像について「太郎」さんに尋ねようとして、画像閲覧装置を「一郎」さんと「次朗」さんが同時に閲覧する場合も考えられる。このような場合、前述の第２の実施例だと、画像閲覧装置を「一郎」さんが閲覧した時点で、画像の再生が終了してしまう。そこで、本変形例では、インカメラに「一郎」さんが一人で写った場合のみ、画像の再生を終了するようにする。このようにしておけば、「一郎」さんと「次朗」さんが同時に画像閲覧装置を閲覧した場合でも、閲覧再生モードを継続することが可能となる。この場合の閲覧再生モードの終了制御動作について、図１３（ｂ）のフローチャートを用いて説明する。同図において、図１０（ｂ）と同様の部分は同じ符号を付して示す。 In addition, when “Jiro” is browsing the image, “Ichiro” and “Jiro” may browse the image browsing device at the same time in an attempt to ask “Taro” about the image being viewed. Conceivable. In such a case, in the second embodiment described above, the reproduction of the image ends when “Ichiro” browses the image browsing apparatus. Therefore, in this modified example, the reproduction of the image is terminated only when “Ichiro” appears in the in-camera alone. In this way, even when “Ichiro” and “Jiro” browse the image browsing apparatus at the same time, it is possible to continue the browsing / playback mode. The end control operation in the browsing reproduction mode in this case will be described with reference to the flowchart of FIG. In the figure, the same parts as those in FIG.
図１３（ｂ）と図１０（ｂ）との差異は、ステップＳ１３１５が追加されたことのみである。ステップＳ１３１５でＣＰＵ２０３は、インカメラに写っている顔が１つであるかどうかを判定する。この判定により、「一郎」さんと「次朗」さんが同時に画像閲覧装置を閲覧した場合は、ステップＳ１０１１へ戻るため、閲覧再生モードが継続されることになる。写っている顔が一つの場合は、第２の実施例と同様に、それが「一郎」さんであるかを判定し、そうである場合に閲覧再生モードを終了する。
The only difference between FIG. 13B and FIG. 10B is that step S1315 is added. In step S1315, the
最後に、第１および第２の実施例に共通の他の変形例を説明する。本変形例は、画像閲覧装置に、その所有者の情報を登録する例である。画像閲覧装置の所有者を登録することで、例えば、ステップＳ１０２での閲覧再生モードを実行している人物のフレームアウトを検出する際、又はその前に、その実行者が登録者であるかどうかに従って実行を制限することが出来る。 Finally, another modification common to the first and second embodiments will be described. This modification is an example of registering the owner's information in the image browsing apparatus. By registering the owner of the image browsing apparatus, for example, whether or not the executor is a registrant when detecting the frame-out of the person executing the browsing / playback mode in step S102. Execution can be restricted according to
図１１（ａ）は、通常再生モードでの画像閲覧装置の表示画面を示す図である。通常再生モードにおいて、登録ボタン１１００を押下すると、所有者登録モードに遷移し、図１１（ｂ）に示す所有者登録モードでの表示画面が表示される。所有者登録モードでは、インカメラ１１１０で画像閲覧装置の所有者を撮影する。撮影している動画像は１１１１のように表示される。この状態でシャッターボタン１１１２を押下されると、図１２（ａ）のフローチャートに従った動作により、画像閲覧装置に所有者の情報を登録する。この動作を図１２（ａ）のフローチャートを用いて説明する。
FIG. 11A shows a display screen of the image browsing apparatus in the normal playback mode. When the
ステップＳ１２００でＣＰＵ２０３は、シャッターを押した際の静止画像を切り出す。ステップＳ１２０１でＣＰＵ２０３は、切り出した静止画で顔検出を行う。ステップＳ１２０２でＣＰＵ２０３は、顔検出できたかを判定する。図１１（ｂ）のように顔が写っている場合は、ステップＳ１２０３へ進む。ステップＳ１２０３でＣＰＵ２０３は、顔領域から特徴量を算出する。ステップＳ１２０４でＣＰＵ２０３は、算出した特徴量を画像閲覧装置に登録する。ここで登録した特徴量は、後述する図１２（ｂ）のフローチャートで使用する。なお、ステップＳ１２０２で顔検出できなかった場合は、ステップＳ１２０５へ進む。ステップＳ１２０５でＣＰＵ２０３は、顔検出が出来ず所有者情報を登録出来ない旨のメッセージを表示する。例えば、「顔を検出することが出来なかったため、所有者情報を登録することが出来ませんでした。」のメッセージを表示する。以上が、画像閲覧装置に所有者情報を登録する際のフローチャートである。
In step S1200, the
次に、閲覧再生モードを実行する人物をインカメラで撮影して、所有者のみが閲覧再生モードを開始できるようにする動作を、図１２（ｂ）のフローチャートを用いて説明する。ステップＳ１２１０でＣＰＵ２０３は、閲覧再生モードを開始した際に、インカメラの動画像を取得して静止画像を切り出す。ステップＳ１２１１でＣＰＵ２０３は、切り出した静止画で顔検出を行う。ステップＳ１２１２でＣＰＵ２０３は、顔検出できたかどうかを判定し、顔検出できた場合は、ステップＳ１２１３へ進む。ステップＳ１２１３でＣＰＵ２０３は、顔領域から特徴量を算出する。ステップＳ１２１４でＣＰＵ２０３は、算出した特徴量と所有者情報として登録している特徴量との類似度を算出する。所有者情報として登録している特徴量とは、図１２（ａ）の１２０４で登録した特徴量である。ステップＳ１２１５でＣＰＵ２０３は、算出した類似度が所定の閾値以上であるかどうかを判定する。ここで、閲覧再生モードを実行した人物が所有者である場合は、類似度の値が高くなり、閾値以上となる。類似度が閾値上である場合は、ステップＳ１２１６へ進む。ステップＳ１２１６でＣＰＵ２０３は、閲覧再生モードの実行を継続する。このようにして、閲覧再生モードを実行した人物が所有者である場合は、閲覧再生モードを実行する。なお、ステップＳ１２１５で類似度が閾値以下で合った場合は、ステップＳ１２１７へ進む。ステップＳ１２１７でＣＰＵ２０３は、閲覧再生モードの実行者が所有者とは別人である旨のメッセージを表示する。例えば、「閲覧再生を実行できるのは、登録された所有者のみです。」のメッセージを表示する。また、ステップＳ１２１２で顔を検出できなかった場合は、ステップＳ１２１８へ進む。ステップＳ１２１８でＣＰＵ２０３は、顔検出が出来ず閲覧再生を実行出来ない旨のメッセージを表示する。例えば、「顔を検出することが出来なかったため、閲覧再生を実行することが出来ませんでした。」のメッセージを表示する。以上が、閲覧再生モードを実行したのが、画像閲覧装置の所有者であるかどうかを判定する動作のフローチャートである。
Next, an operation of photographing a person who executes the browsing / playback mode with the in-camera so that only the owner can start the browsing / playback mode will be described with reference to the flowchart of FIG. In step S <b> 1210, the
上述した本変形例の動作を、例えばステップ１０１の後に行えば、画像閲覧装置の所有者でない人物による閲覧再生モードの実行を制限することが可能となる。上述した実施形態において図１、５、７乃至１０、１２および１３に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ２０３が実行することによりその機能を実現させるものである。
If the above-described operation of the present modification is performed after
尚、上述した構成に限定されるものではなく、図１、５、７乃至１０、１２および１３に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。 Note that the present invention is not limited to the above-described configuration, and all or some of the functions shown in FIGS. 1, 5, 7 to 10, 12 and 13 may be realized by dedicated hardware. The memory described above may be a non-volatile memory such as a magneto-optical disk device or a flash memory, a storage medium that can only be read such as a CD-ROM, or a volatile memory other than a RAM. Moreover, you may comprise from the computer-readable / writable storage medium by those combination.
また、上記各図に示した処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。 In addition, a program for realizing the processing functions shown in the above drawings is recorded in a computer-readable storage medium, and the program recorded in the storage medium is read into a computer system and executed. May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. Specifically, the program read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. After that, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。 The “computer-readable storage medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk built in a computer system. Furthermore, the “computer-readable storage medium” includes a medium that holds a program for a certain period of time. For example, it includes a volatile memory (RAM) inside a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。 A program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
Claims (20)
前記表示部に表示される画像を閲覧している閲覧者を撮影する撮影手段と、
前記撮影手段により得られた撮影画像から、前記閲覧者の顔画像を解析する解析手段と、
前記解析手段の解析の結果に基づき、画像の再生を終了する制御手段と
を備えることを特徴とする画像再生装置。 An image playback device for playing back an image and displaying it on a display unit,
Photographing means for photographing a viewer who is viewing an image displayed on the display unit;
Analyzing means for analyzing the viewer's face image from the photographed image obtained by the photographing means;
An image reproduction apparatus comprising: control means for terminating image reproduction based on the result of analysis by the analysis means.
被写体を撮像して画像信号を生成する撮像手段と、
前記画像信号に基づいて、前記表示部を閲覧している閲覧者の顔を検出する顔検出手段と、
前記記憶媒体に記憶された複数の画像を表示中に前記撮像手段および前記顔検出手段を制御し、前記顔検出手段の検出の結果に従って画像の再生を制御する第１の再生モードを終了するかどうかを判定するモード制御手段
を備えることを特徴とする画像閲覧装置。 In an image browsing apparatus provided with reproducing means for reproducing an image from a storage medium for storing a plurality of images and displaying the reproduced image on a display unit,
Imaging means for imaging a subject and generating an image signal;
Face detection means for detecting a face of a viewer who is browsing the display unit based on the image signal;
Whether the imaging unit and the face detection unit are controlled while displaying a plurality of images stored in the storage medium, and the first playback mode for controlling the reproduction of the image according to the detection result of the face detection unit is terminated. An image browsing device comprising mode control means for determining whether or not.
前記表示部に表示される画像を閲覧している閲覧者を、撮像手段で撮影する撮影ステップと、
前記撮影ステップで得られた撮影画像から、前記閲覧者の顔画像を解析する解析ステップと、
前記解析ステップの解析の結果に基づき、画像の再生を終了する制御ステップと
を備えることを特徴とする制御方法。 A method for controlling an image reproducing device for reproducing an image and displaying the image on a display unit,
A photographing step of photographing a viewer who is browsing the image displayed on the display unit with an imaging unit;
From the captured image obtained in the photographing step, an analysis step for analyzing the viewer's face image;
And a control step of terminating the reproduction of the image based on the analysis result of the analysis step.
コンピュータを、
前記表示部に表示される画像を閲覧している閲覧者を、撮像手段で撮影する撮影手段、
前記撮影手段により得られた撮影画像から、前記閲覧者の顔画像を解析する解析手段、
前記解析手段の解析の結果に基づき、画像の再生を終了する制御手段
として機能させるプログラム。 A program for controlling an image reproduction device that reproduces an image and displays the image on a display unit,
Computer
Imaging means for imaging a viewer who is browsing the image displayed on the display unit with imaging means,
Analysis means for analyzing the viewer's face image from the photographed image obtained by the photographing means,
A program that functions as a control unit that terminates reproduction of an image based on a result of analysis by the analysis unit.
撮像素子により被写体を撮像して画像信号を生成する撮像ステップと、
前記画像信号に基づいて、前記報じ部を閲覧している閲覧者の顔を検出する顔検出ステップと、
前記記憶媒体に記憶された複数の画像を表示中に前記撮像ステップおよび前記顔検出ステップを制御し、前記顔検出ステップでの検出の結果に従って前記画像の再生を制御する第１の再生モードを終了するかどうかを判定するモード制御ステップ
を備えることを特徴とする制御方法。 In a control method of an image browsing apparatus provided with a reproducing unit that reproduces an image from a storage medium that stores a plurality of images and displays the reproduced image on a display unit,
An imaging step of imaging an object with an imaging element to generate an image signal;
A face detection step of detecting a face of a viewer who is browsing the report unit based on the image signal;
Controlling the imaging step and the face detection step while displaying a plurality of images stored in the storage medium, and ending the first reproduction mode for controlling the reproduction of the image according to the detection result in the face detection step A control method comprising: a mode control step for determining whether to perform or not.
コンピュータを、
撮像素子により被写体を撮像して画像信号を生成する撮像手段、
前記画像信号に基づいて、前記表示部を閲覧している閲覧者の顔を検出する顔検出手段、
前記記憶媒体に記憶された複数の画像を表示中に前記撮像手段および前記顔検出手段を制御し、前記顔検出手段の検出の結果に従って画像の再生を制御する第１の再生モードを終了するかどうかを判定するモード制御手段
として機能させるプログラム。 In a program for controlling an image browsing apparatus provided with reproducing means for reproducing an image from a storage medium storing a plurality of images and displaying the reproduced image on a display unit,
Computer
An image pickup means for picking up an image of a subject by an image pickup device and generating an image signal;
Face detection means for detecting the face of a viewer who is browsing the display unit based on the image signal;
Whether the imaging unit and the face detection unit are controlled while displaying a plurality of images stored in the storage medium, and the first playback mode for controlling the reproduction of the image according to the detection result of the face detection unit is terminated. A program that functions as mode control means for determining whether or not.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013096483A JP2014220563A (en) | 2013-05-01 | 2013-05-01 | Image browsing apparatus, and control method and program of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013096483A JP2014220563A (en) | 2013-05-01 | 2013-05-01 | Image browsing apparatus, and control method and program of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014220563A true JP2014220563A (en) | 2014-11-20 |
Family
ID=51938681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013096483A Pending JP2014220563A (en) | 2013-05-01 | 2013-05-01 | Image browsing apparatus, and control method and program of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014220563A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018034002A1 (en) * | 2016-08-19 | 2018-02-22 | 富士通株式会社 | Image display device, image display control device, image display control program, and image display control method |
-
2013
- 2013-05-01 JP JP2013096483A patent/JP2014220563A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018034002A1 (en) * | 2016-08-19 | 2018-02-22 | 富士通株式会社 | Image display device, image display control device, image display control program, and image display control method |
| JPWO2018034002A1 (en) * | 2016-08-19 | 2019-06-13 | 富士通コネクテッドテクノロジーズ株式会社 | IMAGE DISPLAY DEVICE, IMAGE DISPLAY CONTROL DEVICE, IMAGE DISPLAY CONTROL PROGRAM, AND IMAGE DISPLAY CONTROL METHOD |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2011102232A1 (en) | Electronic apparatus, imaging device, image reproduction method, image reproduction program, recording medium that has recorded image reproduction program, and image reproduction device | |
| JP6231804B2 (en) | Electronic device and control method thereof | |
| EP2053843B1 (en) | Camera and Image Recording Program Product | |
| KR101560203B1 (en) | Image sensing apparatus, information processing apparatus and control method | |
| JP2010183187A (en) | Imaging apparatus and control method of the same, program | |
| JP2007110262A (en) | Software for image appreciation and image storage device | |
| JP2008269411A (en) | Image keyword editing system, image keyword provision server and image keyword editing device | |
| JP2007110261A (en) | Digital camera | |
| JP2010178259A (en) | Digital camera | |
| JP5392141B2 (en) | Electronics | |
| JP5446976B2 (en) | Electronics | |
| JP2014220563A (en) | Image browsing apparatus, and control method and program of the same | |
| US8648925B2 (en) | Control apparatus, control method, and control system for reproducing captured image data | |
| JP5754500B2 (en) | Electronic devices and programs for electronic devices | |
| JP5936376B2 (en) | Image management device | |
| JP6566804B2 (en) | Electronic device, method, program, and storage medium | |
| WO2023021759A1 (en) | Information processing device and information processing method | |
| JP6249771B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5448913B2 (en) | Electronic devices and programs for electronic devices | |
| JP5440240B2 (en) | Electronics | |
| JP6113323B2 (en) | Imaging device and imaging method of imaging device | |
| JP2019054377A (en) | Image processing system, image processing device, control method thereof, and program | |
| JP5644976B2 (en) | Electronic device and program for electronic device | |
| JP5644932B2 (en) | Electronics | |
| JP2023052626A (en) | Electronic apparatus |