JP2021131607A - Album creation support device and album creation support system - Google Patents

Album creation support device and album creation support system Download PDF

Info

Publication number
JP2021131607A
JP2021131607A JP2020025284A JP2020025284A JP2021131607A JP 2021131607 A JP2021131607 A JP 2021131607A JP 2020025284 A JP2020025284 A JP 2020025284A JP 2020025284 A JP2020025284 A JP 2020025284A JP 2021131607 A JP2021131607 A JP 2021131607A
Authority
JP
Japan
Prior art keywords
creation support
threshold value
album creation
support device
album
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020025284A
Other languages
Japanese (ja)
Other versions
JP6976531B2 (en
Inventor
裕樹 井坂
Hiroki Isaka
裕樹 井坂
裕美 根本
Hiromi Nemoto
裕美 根本
崇宏 青木
Takahiro Aoki
崇宏 青木
博之 鈴木
Hiroyuki Suzuki
博之 鈴木
祐樹 町田
Yuki Machida
祐樹 町田
一浩 小島
Kazuhiro Kojima
一浩 小島
均 大和田
Hitoshi Owada
均 大和田
雅之 井出
Masayuki Ide
雅之 井出
剛 作山
Takeshi Sakuyama
剛 作山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bacs Information Systems Co Ltd
Original Assignee
Bacs Information Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bacs Information Systems Co Ltd filed Critical Bacs Information Systems Co Ltd
Priority to JP2020025284A priority Critical patent/JP6976531B2/en
Publication of JP2021131607A publication Critical patent/JP2021131607A/en
Application granted granted Critical
Publication of JP6976531B2 publication Critical patent/JP6976531B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an album creation support system that facilitates selection of captured images using face recognition.SOLUTION: An album creation support device 100 according to the present invention includes: a storage unit 140 that stores reference images including face images; a storage unit 150 that stores captured images captured by image capturing cameras; a similarity calculation unit 210 that compares the reference images with the captured images and calculates similarities of the face images of recognition targets in the captured images; a threshold determination unit 230 that determines a threshold value; a photo selection unit 220 that selects the captured images having the similarities equal to or higher than the threshold value; and an album editing unit 240 that enables album editing of the selected captured images.SELECTED DRAWING: Figure 1

Description

本発明は、アルバム作成を支援するアルバム作成支援システムに関し、特にAI顔認証を用いたアルバム作成の支援に関する。 The present invention relates to an album creation support system that supports album creation, and more particularly to support for album creation using AI face recognition.

スマートフォンに代表される多機能型携帯電話機、デジタルカメラ等の普及に伴い、利用者自身は、これらの端末で撮像された画像データを整理し、編集し、アルバムを作成し、作成したアルバムを家族、友人等の間で共有したい、という需要が高まりつつある。 With the widespread use of multifunctional mobile phones such as smartphones and digital cameras, users themselves organize and edit image data captured by these terminals, create albums, and create albums for their families. There is an increasing demand for sharing with friends.

例えば、特許文献1のアルバム作成装置は、顔が認識された画像を自動的に抽出することで動画から動画アルバムや静止画アルバムを自動的に作成し、アルバムの編集作業を削減することを可能にしている。特許文献2のアルバム作成装置は、顔画像の検出数が最も多い第1画像をページ内の中央領域に配置し、第1画像以外の第2画像をページ内の第1画像を取り囲む周辺領域に配置することで、アルバム編集の作業量を減らしユーザーの利便性を図っている。また、特許文献3には、アルバム編集において被写体の目立ち度や登場回数を平均化する技術が開示され、特許文献4には、ユーザーにより選択された顔画像とメモリから生成された顔画像とを比較し、類似度が高い順に顔画像を表示する技術が開示されている。 For example, the album creation device of Patent Document 1 can automatically create a video album or a still image album from a moving image by automatically extracting an image in which a face is recognized, and can reduce the editing work of the album. I have to. The album creation device of Patent Document 2 arranges the first image having the largest number of detected facial images in the central area of the page, and arranges the second image other than the first image in the peripheral area surrounding the first image in the page. By arranging them, the amount of work for editing the album is reduced and the convenience of the user is improved. Further, Patent Document 3 discloses a technique for averaging the conspicuity and the number of appearances of a subject in album editing, and Patent Document 4 discloses a face image selected by a user and a face image generated from a memory. A technique for displaying facial images in descending order of similarity is disclosed.

特開2009−88687号公報Japanese Unexamined Patent Publication No. 2009-88687 特開2017−102550号公報JP-A-2017-102550 特許第6515977号公報Japanese Patent No. 6515977 特許5388399号公報Japanese Patent No. 5388399

近年、保育業界を取り巻く環境は、少子化による園児の減少に伴い保育施設間の園児獲得競争激化を招き、他園との差別化が求められる、など厳しさを増している。さらに、写真や映像も加えた園児の日々の記録を保護者と共有する仕組みの1つとして、アルバム作成が求められている。 In recent years, the environment surrounding the childcare industry has become more severe, with the decrease in the number of children due to the declining birthrate, which has led to intensified competition for children among childcare facilities, and the need to differentiate from other childcare facilities. Furthermore, as one of the mechanisms for sharing the daily records of children, including photographs and videos, with their parents, it is required to create an album.

アルバム作成に際して、幼稚園や保育園は、各種イベントで撮像した写真を保護者に公開するために、例えば、園内にプリント写真を掲示したり、あるいはデジタル写真をサーバーにアップロードし、保護者は、これらの写真を閲覧し、その中から自分の子供が写っている写真を探さなければならない。イベント数や園児の数によっては公開される写真の数が膨大になり、そこから写真を選定するには非常に手間がかかってしまう。また、園の職員は、卒園アルバムをはじめとするオフィシャルアルバムの作成に際して、全ての園児の写真をバランス良く選定する作業等に多くの手間を要している。 When creating an album, kindergartens and nursery schools post print photos in the park or upload digital photos to their parents in order to publish the photos taken at various events to their parents. You have to browse through the pictures and look for a picture of your child in it. Depending on the number of events and the number of children, the number of photos to be published will be enormous, and it will take a lot of time and effort to select photos from them. In addition, when creating official albums such as graduation albums, the staff of the garden takes a lot of time and effort to select the photos of all the children in a well-balanced manner.

本発明は、このような従来の課題を解決するものであり、顔認証を利用して撮像画像の選択を容易にしたアルバム作成支援システムを提供することを目的とする。 The present invention solves such a conventional problem, and an object of the present invention is to provide an album creation support system that facilitates selection of captured images by using face recognition.

本発明に係るアルバム作成支援装置は、顔画像を含む参照画像を記憶する記憶手段と、撮像カメラで撮像された撮像画像を取得する取得手段と、前記参照画像と前記撮像画像とを比較し、前記撮像画像内の認識対象の顔画像の類似度を算出する算出手段と、閾値を決定する決定手段と、前記閾値以上の類似度をもつ撮像画像を選択する選択手段と、前記選択された撮像画像のアルバム編集を可能とする編集手段とを有する。 The album creation support device according to the present invention compares the reference image with the storage means for storing the reference image including the face image, the acquisition means for acquiring the captured image captured by the imaging camera, and the captured image. A calculation means for calculating the similarity of a face image to be recognized in the captured image, a determination means for determining a threshold, a selection means for selecting an captured image having a similarity equal to or higher than the threshold, and the selected imaging. It has an editing means that enables image album editing.

ある実施態様では、前記選択手段は、指定された参照画像の類似度が前記閾値以上の撮像画像を選択する。ある実施態様では、アルバム作成支援装置は、ユーザー入力手段を含み、前記決定手段は、前記入力手段からの入力に基づき前記閾値を決定する。ある実施態様では、アルバム作成支援装置は、表示手段を含み、前記表示手段は、前記選択手段により選択された撮像画像と前記閾値を変更するための閾値変更入力とを表示し、前記決定手段は、前記閾値変更入力に基づき閾値を決定し、前記選択手段は、前記閾値が変更されたとき撮像画像を再選択する。ある実施態様では、前記表示手段は、選択された撮像画像の数を表示する。ある実施態様では、前記決定手段は、前記選択手段により選択された撮像画像の数に基づき、前記選択された撮像画像の数が上限値を超えないように前記閾値を調整する。ある実施態様では、前記決定手段はさらに、前記選択された撮像画像の数が下限値を下回らないように前記閾値を調整する。ある実施態様では、前記決定手段は、前記選択手段により選択された撮像画像の数に基づき、前記選択された撮像画像の数がアルバムのページ数の上限値を超えないように前記閾値を調整する。ある実施態様では、前記決定手段はさらに、前記選択された撮像画像の数が下限値を下回らないように前記閾値を調整する。ある実施態様では、前記決定手段は、前記撮像画像に関連するイベント数に応じて閾値を調整する。ある実施態様では、前記決定手段は、前記参照画像の数に応じて閾値を調整する。 In certain embodiments, the selection means selects a captured image in which the similarity of the designated reference image is greater than or equal to the threshold. In some embodiments, the album creation support device includes user input means, which determines the threshold based on input from the input means. In certain embodiments, the album creation support device includes display means, the display means displaying an image captured by the selection means and a threshold change input for changing the threshold, and the determination means The threshold value is determined based on the threshold value change input, and the selection means reselects the captured image when the threshold value is changed. In certain embodiments, the display means displays the number of selected captured images. In certain embodiments, the determining means adjusts the threshold based on the number of captured images selected by the selecting means so that the number of selected captured images does not exceed the upper limit. In certain embodiments, the determination means further adjusts the threshold so that the number of selected captured images does not fall below the lower limit. In certain embodiments, the determining means adjusts the threshold based on the number of captured images selected by the selecting means so that the number of selected captured images does not exceed the upper limit of the number of pages in the album. .. In certain embodiments, the determination means further adjusts the threshold so that the number of selected captured images does not fall below the lower limit. In certain embodiments, the determining means adjusts the threshold according to the number of events associated with the captured image. In certain embodiments, the determination means adjusts the threshold according to the number of reference images.

本発明に係るアルバム作成支援システムは、上記記載のアルバム作成支援装置と、前記アルバム作成支援装置とネットワークを介して接続された少なくとも1つの利用者端末とを含み、前記利用者端末は、前記参照画像および前記撮像画像をアルバム作成支援装置にアップロードする手段と、アルバム作成支援装置にアルバム編集の指示を入力する入力手段とを含む。 The album creation support system according to the present invention includes the above-mentioned album creation support device and at least one user terminal connected to the album creation support device via a network, and the user terminal refers to the above reference. It includes a means for uploading an image and the captured image to an album creation support device, and an input means for inputting an album editing instruction to the album creation support device.

本発明によれば、参照画像と撮像画像とを比較し、両者の顔画像の類似度から撮像画像を選択するようにしたので、アルバム編集のための撮像画像の選択の作業効率を向上させることができる。 According to the present invention, the reference image and the captured image are compared, and the captured image is selected based on the similarity between the two face images. Therefore, the work efficiency of selecting the captured image for album editing is improved. Can be done.

図1(A)は、本発明の実施例に係るアルバム作成支援装置の内部構成を示すブロック図、図1(B)は、本実施例のアルバム作成支援機能の構成を示すブロック図である。FIG. 1A is a block diagram showing an internal configuration of an album creation support device according to an embodiment of the present invention, and FIG. 1B is a block diagram showing a configuration of an album creation support function of the present embodiment. 本発明の実施例による参照画像を記憶する記憶部のデータ構成例を示す図である。It is a figure which shows the data structure example of the storage part which stores the reference image by the Example of this invention. 本発明の実施例による撮像画像を記憶する記憶部のデータ構成例を示す図である。It is a figure which shows the data structure example of the storage part which stores the captured image by the Example of this invention. 写真P1に写された人物の例を示す図である。It is a figure which shows the example of the person photographed in the photograph P1. 写真P1の類似度算出結果の一例を示す図である。It is a figure which shows an example of the similarity calculation result of Photo P1. 写真P1の類似度算出結果の表示例である。This is a display example of the similarity calculation result of Photo P1. 本発明の実施例に係る写真選択部の選択結果の一例を示す図である。It is a figure which shows an example of the selection result of the photograph selection part which concerns on embodiment of this invention. 本発明の実施例に係るアルバム作成支援装置の動作を説明するフローである。It is a flow explaining the operation of the album creation support apparatus which concerns on embodiment of this invention. 図9(A)は、参照識別U1で選択された写真の表示例を示し、図9(B)は、ユーザーが閾値を変更したときの選択された写真の表示例を示す。FIG. 9A shows a display example of the photograph selected by the reference identification U1, and FIG. 9B shows a display example of the selected photograph when the user changes the threshold value. 本発明の第2の実施例に係るアルバム作成支援装置の動作を説明するフローである。It is a flow explaining the operation of the album creation support apparatus which concerns on 2nd Embodiment of this invention. 本発明の第3の実施例に係るアルバム作成支援装置の動作を説明するフローである。It is a flow explaining the operation of the album creation support apparatus which concerns on 3rd Embodiment of this invention. 図12(A)は、本発明の第4の実施例に係るアルバム作成支援機能の構成を示し、図12(B)は、イベント数と閾値との関係を規定するテーブルである。FIG. 12 (A) shows the configuration of the album creation support function according to the fourth embodiment of the present invention, and FIG. 12 (B) is a table that defines the relationship between the number of events and the threshold value. 図13(A)は、本発明の第5の実施例に係るアルバム作成支援機能の構成を示し、図13(B)は、参照識別の数と閾値との関係を規定するテーブルである。FIG. 13 (A) shows the configuration of the album creation support function according to the fifth embodiment of the present invention, and FIG. 13 (B) is a table that defines the relationship between the number of reference identifications and the threshold value. 本発明の第6の実施例に係るアルバム作成支援システムの構成を示す図である。It is a figure which shows the structure of the album creation support system which concerns on 6th Example of this invention.

図1は、本発明の実施例に係るアルバム作成支援装置の構成を示すブロック図である。同図に示すように、本実施例のアルバム作成支援装置100は、外部インターフェース(I/F)110、入力部120、表示部130、参照画像を記憶する記憶部140、撮像画像を記憶する記憶部150および各部を制御する制御部160を含んで構成される。 FIG. 1 is a block diagram showing a configuration of an album creation support device according to an embodiment of the present invention. As shown in the figure, the album creation support device 100 of this embodiment has an external interface (I / F) 110, an input unit 120, a display unit 130, a storage unit 140 for storing a reference image, and a storage unit for storing a captured image. It is configured to include a unit 150 and a control unit 160 that controls each unit.

外部I/F110は、他の電子機器(例えば、スマートフォンやデジタルカメラ等)との有線または無線による接続を可能にする。さらに外部I/F110は、有線または無線による通信手段を介してネットワーク上のサーバー等への接続を可能にする。 The external I / F 110 enables wired or wireless connection with other electronic devices (eg, smartphones, digital cameras, etc.). Further, the external I / F 110 enables connection to a server or the like on the network via a wired or wireless communication means.

入力部120は、ユーザーからの入力を受け取り、これを制御部160へ提供する。入力部120は、特に限定されないが、例えば、キーボード、マウス、音声入力モジュール、タッチパネルなどを含む。表示部130は、特に限定されないが、例えば、液晶ディスプレイ、有機EL等を含み、アルバム編集のために写真等を表示する。 The input unit 120 receives the input from the user and provides the input unit 120 to the control unit 160. The input unit 120 is not particularly limited, and includes, for example, a keyboard, a mouse, a voice input module, a touch panel, and the like. The display unit 130 is not particularly limited, but includes, for example, a liquid crystal display, an organic EL, and the like, and displays a photograph and the like for editing an album.

記憶部140は、顔認証を行うときの基準(比較元)となる参照画像を記憶する。参照画像は、例えば、外部I/F110を介して他の電子機器(スマートフォン、パーソナルコンピュータ、デジタルカメラ等)から取得することができ、取得された参照画像が記憶部140に記憶される。1つの参照画像は、一人の人物に固有の1つまたは複数の顔画像を含む。図2に、記憶部140のデータ構成例を示す。参照識別は、参照画像を識別するものであり、この参照画像は、人物に固有の顔画像を含むものである。つまり、参照識別は、ユーザー識別と同義である。図2の例では、参照識別U1は、ユーザーU1の1つまたは複数の顔画像U1_1、U1_2、・・・、U1_nを含み、参照識別U2は、ユーザーU2の1つまたは複数の顔画像U2_1、U2_2、・・・、U2_nを含み、参照識別U3は、ユーザーU3の1つまたは複数の顔画像を含む。複数の顔画像は、例えば、異なる方向から撮像された顔画像、マスクや帽子を装着した顔画像、明るさの異なる顔画像などを含むことで、顔認証の精度を向上させることが可能である。このように、記憶部140には、複数のユーザーU1、U2、・・・、Unのそれぞれの参照画像が事前に登録される。 The storage unit 140 stores a reference image that serves as a reference (comparison source) when performing face recognition. The reference image can be acquired from another electronic device (smartphone, personal computer, digital camera, etc.) via an external I / F 110, and the acquired reference image is stored in the storage unit 140. One reference image includes one or more facial images unique to a person. FIG. 2 shows an example of data configuration of the storage unit 140. The reference identification identifies a reference image, and the reference image includes a face image peculiar to a person. That is, reference identification is synonymous with user identification. In the example of FIG. 2, the reference identification U1 includes one or more face images U1-1, U1-2, ..., U1_n of the user U1, and the reference identification U2 is one or more face images U2_1 of the user U2. U2_2, ..., U2_n is included, and the reference identification U3 includes one or more facial images of the user U3. The plurality of face images can improve the accuracy of face recognition by including, for example, face images taken from different directions, face images wearing masks and hats, face images having different brightness, and the like. .. In this way, the reference images of the plurality of users U1, U2, ..., And Un are registered in advance in the storage unit 140.

記憶部150は、参照画像と比較される撮像画像を記憶する。撮像画像は、例えば、外部I/F110を介して他の電子機器(スマートフォン、パーソナルコンピュータ、デジタルカメラ等)から取得することができ、取得された撮像画像が記憶部150に記憶される。 The storage unit 150 stores an captured image to be compared with the reference image. The captured image can be acquired from another electronic device (smartphone, personal computer, digital camera, etc.) via an external I / F 110, and the acquired captured image is stored in the storage unit 150.

図3に、記憶部150のデータ構成例を示す。撮像識別は、撮像画像を識別するものであり、ここでは、1つの撮像画像は、1枚の写真である。1つの撮像画像は、属性情報として、撮像画像を撮像した者の識別(または撮像画像を提供した者の識別)、撮像日時、撮像画像が関連するイベントを含むことができる。図3の例では、撮像識別P1は、写真P1と同義であり、写真P1の属性情報として撮像者識別、撮像日時、イベント、撮像画像の格納先が含まれる。 FIG. 3 shows an example of data configuration of the storage unit 150. The imaging identification identifies the captured image, and here, one captured image is one photograph. One captured image can include, as attribute information, identification of the person who captured the captured image (or identification of the person who provided the captured image), the date and time of imaging, and an event related to the captured image. In the example of FIG. 3, the image pickup identification P1 has the same meaning as the photograph P1, and the attribute information of the photograph P1 includes the imager identification, the image capture date and time, the event, and the storage destination of the image capture image.

制御部160は、アルバム作成支援装置100の全体の動作を制御する。制御部160は、ハードウエアおよび/またはソフトウエアを用いて構成され、ある態様では、制御部160は、マイクロプロセッサ、ROM/RAMを含むマイクロコントローラ、画像処理プロセッサ、AIプロセッサ、ディジタルシグナルプロセッサ(DSP)等を含むことができる。 The control unit 160 controls the overall operation of the album creation support device 100. The control unit 160 is configured using hardware and / or software, and in some embodiments, the control unit 160 includes a microprocessor, a microcontroller including a ROM / RAM, an image processor, an AI processor, and a digital signal processor (DSP). ) Etc. can be included.

本実施例では、制御部160は、図1(B)に示すように、アルバム作成支援機能200を含む。アルバム作成支援機能200は、類似度算出部210、写真選択部220、閾値決定部230およびアルバム編集部240を含む。 In this embodiment, the control unit 160 includes an album creation support function 200 as shown in FIG. 1 (B). The album creation support function 200 includes a similarity calculation unit 210, a photo selection unit 220, a threshold value determination unit 230, and an album editing unit 240.

類似度算出部210は、記憶部150に記憶された撮像画像と記憶部140に記憶された参照画像とを比較し、撮像画像(写真)に写された人物の顔認証を行う。好ましくは、類似度算出部210は、AI(人工知能)技術を活用し、撮像画像に写された人物が参照画像の顔画像に一致する度合すなわち類似度を定量的に算出する。 The similarity calculation unit 210 compares the captured image stored in the storage unit 150 with the reference image stored in the storage unit 140, and performs face recognition of the person captured in the captured image (photograph). Preferably, the similarity calculation unit 210 utilizes AI (artificial intelligence) technology to quantitatively calculate the degree to which the person captured in the captured image matches the face image of the reference image, that is, the similarity.

例えば、撮像画像が写真P1であると仮定し、写真P1には、図4に示すように、複数の人物OB1〜OB7が写されている。類似度算出部210は、写真P1の画像データの特徴を解析し、7名の人物OB1〜OB7の顔画像を抽出し、抽出した7名の人物OB1〜OB7の顔画像を、記憶部140に記憶された参照画像と逐次比較し、7名の人物OB1〜OB7の顔認証を行い、その類似度を算出する。 For example, assuming that the captured image is a photograph P1, a plurality of persons OB1 to OB7 are captured in the photograph P1 as shown in FIG. The similarity calculation unit 210 analyzes the characteristics of the image data of the photograph P1, extracts the face images of the seven people OB1 to OB7, and stores the extracted face images of the seven people OB1 to OB7 in the storage unit 140. Face recognition of seven persons OB1 to OB7 is performed by sequentially comparing with the stored reference image, and the degree of similarity is calculated.

図5に、写真P1の類似度算出結果の一例を示す。類似度算出部210は、認識対象OB1〜OB7の顔画像が位置する座標、参照画像との類似度、参照識別をそれぞれ生成する。例えば、認識対象OB1の顔画像が位置する座標は(x1、y1)であり、認識対象OB1が参照識別U3(つまり、ユーザーU3)と80%で類似することを示している。この類似度80%は、認識対象OB1と比較した全ての参照画像との間で最大を意味する。同様に、認識対象OB2の顔画像が位置する座標は(x2、y2)であり、認識対象OB2が参照識別U4(つまり、ユーザーU4)と75%で類似することを示している。この類似度75%は、認識対象OB2と比較した全ての参照画像との間で最大を意味する。他の認識対象OB3〜OB7についても同様のことが示されている。 FIG. 5 shows an example of the similarity calculation result of Photo P1. The similarity calculation unit 210 generates the coordinates where the face images of the recognition targets OB1 to OB7 are located, the similarity with the reference image, and the reference identification, respectively. For example, the coordinates where the face image of the recognition target OB1 is located are (x1, y1), indicating that the recognition target OB1 is 80% similar to the reference identification U3 (that is, the user U3). This similarity of 80% means the maximum among all the reference images compared with the recognition target OB1. Similarly, the coordinates where the face image of the recognition target OB2 is located are (x2, y2), indicating that the recognition target OB2 is 75% similar to the reference identification U4 (that is, the user U4). This similarity of 75% means the maximum among all the reference images compared with the recognition target OB2. The same is shown for other recognition targets OB3 to OB7.

類似度算出部210は、1つの機能として、類似度算出結果を表示部130に表示させる機能を有する。例えば、ユーザーは、入力部120を介して写真を特定し、特定した写真の類似度算出結果を表示部130に表示させることができる。図6は、写真P1の類似度算出結果の表示例である。同図に示すように、写真P1の人物OB1〜OB7の近傍には、図5に示す類似度算出結果を示す指標TGが表示される。ユーザーは、この画面を介して類似度の状況を認識することができる。 The similarity calculation unit 210 has a function of displaying the similarity calculation result on the display unit 130 as one function. For example, the user can specify a photo via the input unit 120 and display the similarity calculation result of the specified photo on the display unit 130. FIG. 6 is a display example of the similarity calculation result of Photo P1. As shown in the figure, an index TG showing the similarity calculation result shown in FIG. 5 is displayed in the vicinity of the persons OB1 to OB7 in the photograph P1. The user can recognize the situation of similarity through this screen.

類似度算出部210の算出結果は、写真選択部220に提供される。写真選択部220は、閾値決定部230から提供される閾値Thと類似度とを比較し、閾値Th以上の類似度をもつ写真を選択する。写真選択部220はさらに、参照識別(ユーザー識別)毎に写真をフィルタリングする機能を備えている。図7は、閾値以上の類似度をもつ写真を、参照識別毎に分類した例を示している。例えば、参照識別U1に関して、閾値以上の類似度を持つ写真は、P1、P5、P8、P10等であり、参照識別U2に関して、閾値以上の類似度をもつ写真は、P1、P3、P4、P7等である。 The calculation result of the similarity calculation unit 210 is provided to the photo selection unit 220. The photo selection unit 220 compares the threshold value Th provided by the threshold value determination unit 230 with the degree of similarity, and selects a photo having a degree of similarity equal to or higher than the threshold value Th. The photo selection unit 220 further has a function of filtering photos for each reference identification (user identification). FIG. 7 shows an example in which photographs having a similarity equal to or higher than a threshold value are classified by reference identification. For example, the photographs having a similarity equal to or higher than the threshold value for the reference identification U1 are P1, P5, P8, P10, etc., and the photographs having the similarity equal to or higher than the threshold value for the reference identification U2 are P1, P3, P4, P7. And so on.

ユーザーは、入力部120を介してフィルタリングする参照識別を指定することが可能である。例えば、ユーザーが参照識別U2を指定することで、参照識別U2を含む写真が選択され、参照識別U2を含まない写真は選択されない。さらに、写真選択部220は、記憶部150に記憶される撮像画像のメタデータを利用して選択される写真をフィルタリングすることも可能である。例えば、ユーザーが撮像者識別を指定することで、指定された撮像者識別に該当する写真が選択されるようにしたり、撮像期間を指定することで、当該撮像期間に該当する撮像日時を有する写真が選択されるようにしたり、イベントを指定することで、当該イベントに該当する写真が選択されるようにすることも可能である。 The user can specify reference identification to be filtered through the input unit 120. For example, when the user specifies the reference identification U2, the photo including the reference identification U2 is selected, and the photo not including the reference identification U2 is not selected. Further, the photo selection unit 220 can also filter the selected photos by using the metadata of the captured image stored in the storage unit 150. For example, by specifying the imager identification by the user, a photograph corresponding to the specified imager identification is selected, or by specifying an imaging period, a photograph having an imaging date and time corresponding to the imaging period is selected. It is also possible to select the photo corresponding to the event by setting the item or specifying the event.

写真選択部220で選択された写真は、アルバム編集部240へ提供される。アルバム編集部240は、選択された写真を表示部130に表示させ、ユーザーによるアルバム編集を可能にする。アルバム編集では、例えば、1つまたは複数のテンプレートが用意され、ユーザーは、テンプレートを利用して写真のレイアウトを容易に行うことができる。また、必要に応じて写真の拡大、縮小、回転などを行うことも可能である。アルバム編集部240は、作成されたアルバムの各ページを印刷データに変換し、外部I/F110を介してプリンタに印刷させることも可能である。 The photo selected by the photo selection unit 220 is provided to the album editorial unit 240. The album editing unit 240 displays the selected photo on the display unit 130 and enables the user to edit the album. In album editing, for example, one or more templates are prepared, and the user can easily lay out a photo by using the templates. It is also possible to enlarge, reduce, rotate, etc. the photo as needed. The album editorial unit 240 can also convert each page of the created album into print data and have the printer print it via the external I / F 110.

次に、本実施例のアルバム作成支援装置の動作を図8のフローを参照して説明する。先ず、アルバム作成支援装置100の記憶部140には、参照画像の登録が行われる(S100)。参照画像が外部I/F110を介して取り込まれるとき、制御部160は、参照画像を一定のサイズまたは解像度に加工し、正規化された参照画像を記憶部140に記憶させることが可能である。さらに制御部160は、参照画像を識別する参照識別(ユーザー識別)をメタデータまたは属性データとして記憶部140に記憶する(図2参照)。 Next, the operation of the album creation support device of this embodiment will be described with reference to the flow of FIG. First, the reference image is registered in the storage unit 140 of the album creation support device 100 (S100). When the reference image is captured via the external I / F 110, the control unit 160 can process the reference image to a certain size or resolution and store the normalized reference image in the storage unit 140. Further, the control unit 160 stores the reference identification (user identification) for identifying the reference image in the storage unit 140 as metadata or attribute data (see FIG. 2).

また、外部I/F110を介して複数の撮像画像が取り込まれ(S110)、制御部160は、取り込まれた撮像画像を記憶部150に格納する。制御部160は、撮像画像を一定のサイズまたは解像度に加工し、撮像画像を正規化するようにしてもよい。さらに制御部160は、撮像画像を識別する撮像識別、撮像者識別、撮像日時、インベントなどの情報をメタデータまたは属性データとして記憶部150に記憶する(図3参照)。 Further, a plurality of captured images are captured via the external I / F 110 (S110), and the control unit 160 stores the captured captured images in the storage unit 150. The control unit 160 may process the captured image into a constant size or resolution to normalize the captured image. Further, the control unit 160 stores information such as imaging identification, imager identification, imaging date and time, and event for identifying the captured image in the storage unit 150 as metadata or attribute data (see FIG. 3).

次に、ユーザーは、入力部120を介してアルバム編集の指示を入力し(S120)、次に、入力部120を介して参照識別(ユーザー識別)を指定する(S130)。つまり、アルバム編集の対象となる人物を特定する。参照識別は、1つに限らず複数の指定であってもよい。 Next, the user inputs an album editing instruction via the input unit 120 (S120), and then specifies reference identification (user identification) via the input unit 120 (S130). That is, the person to be edited in the album is specified. The reference identification is not limited to one, and may be a plurality of designations.

次に、類似度算出部210は、参照画像と撮像画像とを比較し、撮像画像の認識対象の顔認証を行い、類似度を算出する(S140)。次に、写真選択部220は、閾値以上の類似度を有し、かつ指定された参照識別が含まれる写真を選択し(S150)、アルバム編集部240は、選択された写真を表示部130に表示させる(S160)。ユーザーは、表示部130に表示された写真を用いてアルバムの編集を行う(S170)。 Next, the similarity calculation unit 210 compares the reference image with the captured image, authenticates the face of the recognition target of the captured image, and calculates the similarity (S140). Next, the photo selection unit 220 selects a photo having a similarity equal to or higher than the threshold value and includes the designated reference identification (S150), and the album editing unit 240 displays the selected photo on the display unit 130. Display (S160). The user edits the album using the photograph displayed on the display unit 130 (S170).

図9(A)は、参照識別U1で選択された写真の表示例である。表示部130の画面132には、選択された写真P1、P5、P8、P10等の縮小画像あるいはサムネイル画像が表示され、さらに選択された写真の枚数(85枚)が表示されている。ユーザーが写真P1を選択すると、その拡大された写真P1が表示される。さらに画面132には、閾値調整ボタン134が表示される。閾値調整ボタン134には、現在設定されている閾値(80%)が表示され、その左右に閾値を増加または減少させるための増減入力ボタンが表示される。ユーザーは、選択された写真の枚数を考慮し、増減入力ボタンにタッチして閾値を増減させることが可能である。図9(B)は、ユーザーが閾値を90%に変更した例を示している。これにより、写真P8、P10、P18,P25等が選択され、選択された写真の枚数が40枚に減少される。ユーザーは、閾値を適宜調整することで、アルバムに使用する写真の枚数を調整することができる。 FIG. 9A is a display example of the photograph selected by the reference identification U1. On the screen 132 of the display unit 130, reduced images or thumbnail images of the selected photographs P1, P5, P8, P10 and the like are displayed, and the number of selected photographs (85) is displayed. When the user selects the photo P1, the enlarged photo P1 is displayed. Further, the threshold value adjustment button 134 is displayed on the screen 132. The currently set threshold value (80%) is displayed on the threshold value adjustment button 134, and an increase / decrease input button for increasing or decreasing the threshold value is displayed on the left and right of the threshold value adjustment button 134. The user can increase or decrease the threshold value by touching the increase / decrease input button in consideration of the number of selected photographs. FIG. 9B shows an example in which the user changes the threshold to 90%. As a result, the photographs P8, P10, P18, P25 and the like are selected, and the number of selected photographs is reduced to 40. The user can adjust the number of photos used in the album by adjusting the threshold value as appropriate.

このように本実施例によれば、複数の撮像画像の中から顔認証を利用して類似度の高い撮像画像(写真)を自動で選択するようにしたので、アルバム作成の際に撮像画像を選択するための作業効率を大幅に改善することができる。 As described above, according to this embodiment, since the captured image (photograph) having a high degree of similarity is automatically selected from the plurality of captured images by using face recognition, the captured image is selected when creating an album. The work efficiency for selection can be greatly improved.

次に、本発明の第2の実施例について説明する。上記実施例では、写真を選択するための閾値Thをユーザー入力により変更する例を示したが、第2の実施例は、選択された写真の枚数に応じて自動的に閾値を可変するものである。 Next, a second embodiment of the present invention will be described. In the above embodiment, an example in which the threshold value Th for selecting a photo is changed by user input is shown, but in the second embodiment, the threshold value is automatically changed according to the number of selected photographs. be.

図10は、第2の実施例の動作を説明するフローであり、第2の実施例では、ステップS200、S210が図8に示すステップと相違し、それ以外のステップは図8と同じである。第2の実施例では、閾値決定部230は、写真選択部220によって選択された写真の枚数を受け取り、写真の枚数が一定値以上か否かを判定し(S200)、一定値以上である場合には、選択された写真の枚数が多すぎるとみなし、現在の閾値をΔThだけ増加させる(S210)。この閾値の変更に応答して、写真選択部220は、変更された閾値に基づき写真を再選択する(S150)。このループは、選択された写真の枚数が一定値未満になるまで繰り返される。 FIG. 10 is a flow for explaining the operation of the second embodiment. In the second embodiment, steps S200 and S210 are different from the steps shown in FIG. 8, and the other steps are the same as those in FIG. .. In the second embodiment, the threshold value determination unit 230 receives the number of photographs selected by the photo selection unit 220, determines whether or not the number of photographs is a certain value or more (S200), and when the number is a certain value or more. Considers that the number of selected photographs is too large, and increases the current threshold value by ΔTh (S210). In response to this threshold change, the photo selection unit 220 reselects the photo based on the changed threshold (S150). This loop is repeated until the number of selected photos falls below a certain value.

このように本実施例によれば、選択される写真の枚数が上限値を超えないように閾値を自動調整することができ、ユーザーの利便性を図ることができる。なお、写真の枚数の上限値および閾値の増加量ΔThは、閾値決定部230に予め設定される。 As described above, according to the present embodiment, the threshold value can be automatically adjusted so that the number of selected photographs does not exceed the upper limit value, and the convenience of the user can be improved. The upper limit of the number of photographs and the threshold increase amount ΔTh are set in advance in the threshold determination unit 230.

本実施例の変形例として、写真の枚数の下限値を設定し、写真の枚数が下限値よりも大きくなるように閾値を自動的に調整することも可能である。この場合、選択された写真の枚数が下限値を下回る場合には、閾値決定部230は、現在の閾値をΔThだけ減少させ、写真選択部220は、変更された閾値に基づき写真を再選択する。 As a modification of this embodiment, it is also possible to set a lower limit value for the number of photographs and automatically adjust the threshold value so that the number of photographs is larger than the lower limit value. In this case, if the number of selected photographs is below the lower limit, the threshold determination unit 230 reduces the current threshold value by ΔTh, and the photo selection unit 220 reselects the photographs based on the changed threshold value. ..

さらなる変形例として、写真の枚数の上限値と下限値の双方を設定し、写真の枚数が上限値と下限値との間になるように閾値を自動的に調整するようにしてもよい。これにより、アルバムの編集に必要な写真の枚数に応じた写真の選択を自動的に行うことができる。 As a further modification, both the upper limit value and the lower limit value of the number of photographs may be set, and the threshold value may be automatically adjusted so that the number of photographs is between the upper limit value and the lower limit value. As a result, it is possible to automatically select a photo according to the number of photos required for editing the album.

次に、本発明の第3の実施例について説明する。図11は、第3の実施例の動作を説明するフローであり、第3の実施例では、ステップS220、S230が図8に示すステップと相違し、それ以外のステップは図8と同じである。第3の実施例では、閾値決定部230は、写真選択部220によって選択された写真の枚数を受け取り、写真の枚数から算出されるアルバムのページ数が一定値以上か否かを判定し(S220)、一定値以上である場合には、選択された写真の枚数が多すぎるとみなし、現在の閾値をΔThだけ増加させる(S230)。この閾値の変更に応答して、写真選択部220は、変更された閾値に基づき写真を再選択する(S150)。このループは、選択された写真の枚数が一定値未満になるまで繰り返される。 Next, a third embodiment of the present invention will be described. FIG. 11 is a flow for explaining the operation of the third embodiment. In the third embodiment, steps S220 and S230 are different from the steps shown in FIG. 8, and the other steps are the same as those in FIG. .. In the third embodiment, the threshold determination unit 230 receives the number of photos selected by the photo selection unit 220, and determines whether or not the number of album pages calculated from the number of photos is equal to or greater than a certain value (S220). ), If it is equal to or more than a certain value, it is considered that the number of selected photographs is too large, and the current threshold value is increased by ΔTh (S230). In response to this threshold change, the photo selection unit 220 reselects the photo based on the changed threshold (S150). This loop is repeated until the number of selected photos falls below a certain value.

閾値決定部230は、写真の枚数とアルバムのページ数との関係を規定する数式またはテーブルを備えている。例えば、1ページにレイアウト可能な写真の枚数Mと、アルバムを構成する最大ページ数Pとから、写真の枚数の上限値(Max=M×P)を設定する。また、ある実施態様では、ユーザーが写真のレイアウトに使用するテンプレートを選択している場合には、当該テンプレートに基づき1ページにレイアウト可能な写真の枚数を算出するようにしてもよい。 The threshold value determination unit 230 includes a mathematical formula or a table that defines the relationship between the number of photographs and the number of pages in the album. For example, the upper limit of the number of photographs (Max = M × P) is set from the number M of photographs that can be laid out on one page and the maximum number of pages P that constitute an album. Further, in one embodiment, when the user selects a template to be used for the layout of photographs, the number of photographs that can be laid out on one page may be calculated based on the template.

このように本実施例によれば、選択される写真の枚数がアルバムのページ数の上限値を超えないように閾値を自動調整することができ、ユーザーの利便性を図ることができる。 As described above, according to the present embodiment, the threshold value can be automatically adjusted so that the number of selected photographs does not exceed the upper limit of the number of pages of the album, and the convenience of the user can be improved.

本実施例の変形例として、アルバムのページ数の下限値を設定し、写真の枚数が下限値よりも大きくなるように閾値を自動的に調整することも可能である。この場合、選択された写真の枚数が下限値を下回る場合には、閾値決定部230は、現在の閾値をΔThだけ減少させ、写真選択部220は、変更された閾値に基づき写真を再選択する。 As a modification of this embodiment, it is also possible to set a lower limit value for the number of pages in the album and automatically adjust the threshold value so that the number of photographs is larger than the lower limit value. In this case, if the number of selected photographs is below the lower limit, the threshold determination unit 230 reduces the current threshold value by ΔTh, and the photo selection unit 220 reselects the photographs based on the changed threshold value. ..

さらなる変形例として、アルバムのページ数の上限値と下限値の双方を設定し、写真の枚数が上限値と下限値との間になるように閾値を自動的に調整するようにしてもよい。これにより、アルバムの編集に必要な写真の枚数に応じた写真の選択を自動的に行うことができる。 As a further modification, both the upper limit and the lower limit of the number of pages of the album may be set, and the threshold may be automatically adjusted so that the number of photographs is between the upper limit and the lower limit. As a result, it is possible to automatically select a photo according to the number of photos required for editing the album.

次に、本発明の第4の実施例について説明する。図12(A)は、第4の実施例に係るアルバム作成支援機能200Aの構成を示す図である。同図に示すように、閾値決定部230は、類似度算出部210によって使用される撮像画像のイベント数IVに応じて閾値Thを決定する。ある態様では、記憶部150に記憶される撮像画像のイベントは、複数の記念行事に分類される。記念行事は、例えば、入学式、卒業式、運動会、食事会、父兄参観などである。閾値決定部230は、分類されたイベントの種類からイベント数IVを判定し、イベント数IVが多ければ、より多くの写真が必要になるので閾値を相対的に低くし、イベント数IVが少なければ、少ない写真で済むため閾値を相対的に高くする。例えば、図12(B)に示すようなテーブルを用意し、閾値決定部230は、イベント数IVに対応する閾値を選択するようにしてもよい。 Next, a fourth embodiment of the present invention will be described. FIG. 12A is a diagram showing the configuration of the album creation support function 200A according to the fourth embodiment. As shown in the figure, the threshold value determination unit 230 determines the threshold value Th according to the number of events IV of the captured image used by the similarity calculation unit 210. In some embodiments, the captured image events stored in the storage unit 150 are classified into a plurality of commemorative events. Commemorative events include, for example, entrance ceremonies, graduation ceremonies, athletic meet, dinner parties, and parents' visits. The threshold value determination unit 230 determines the number of events IV from the types of classified events, and if the number of events IV is large, the threshold value is relatively low because more photographs are required, and if the number of events IV is small, the threshold value is relatively low. , The threshold is relatively high because only a small number of photographs are required. For example, a table as shown in FIG. 12B may be prepared, and the threshold value determination unit 230 may select a threshold value corresponding to the number of events IV.

次に、本発明の第5の実施例について説明する。図13(A)は、第5の実施例に係るアルバム作成支援機能200Bの構成を示す図である。同図に示すように、閾値決定部230は、類似度算出部210によって使用される参照画像の参照識別の数RVに応じて閾値Thを決定する。参照識別の数は、記憶部140に登録された参照識別の数(U1〜Un)をカウントすることにより得ることができる。アルバムに満遍なく参照識別(ユーザー識別)を掲載する場合、参照識別の数が多ければ、より多くの写真が必要になるので閾値を相対的に低くし、参照識別の数が少なければ、少ない写真で済むため閾値を相対的に高くする。例えば、図13(B)に示すようなテーブルを用意し、閾値決定部230は、参照識別の数RVに対応する閾値を選択するようにしてもよい。 Next, a fifth embodiment of the present invention will be described. FIG. 13A is a diagram showing the configuration of the album creation support function 200B according to the fifth embodiment. As shown in the figure, the threshold value determination unit 230 determines the threshold value Th according to the number RV of reference identification of the reference image used by the similarity calculation unit 210. The number of reference identifications can be obtained by counting the number of reference identifications (U1 to Un) registered in the storage unit 140. When posting reference identification (user identification) evenly in an album, if the number of reference identifications is large, more photos will be required, so the threshold value will be relatively low, and if the number of reference identifications is small, a small number of photos will be used. The threshold is set relatively high so that it can be done. For example, a table as shown in FIG. 13B may be prepared, and the threshold value determination unit 230 may select a threshold value corresponding to the number RV of reference identification.

なお、上記第1ないし第5の実施例は、それぞれ単独で実施されるものであってもよいし、第1ないし第5の実施例を適宜組み合わせて実施されるものであってもよい。例えば、第2の実施例と第4の実施例とを組み合わせた場合、イベント数が多ければ写真の上限値を大きくし、イベント数が少なければ写真の下限値を小さくしたり、第3の実施例と第5の実施例とを組み合わせた場合、参照識別の数が多ければアルバムのページ数の上限値を大きくし、参照識別の数が小さければアルバムのページ数の下限値を小さくするようにしてもよい。 The first to fifth embodiments may be carried out independently, or may be carried out in combination with the first to fifth embodiments as appropriate. For example, when the second embodiment and the fourth embodiment are combined, if the number of events is large, the upper limit of the photograph is increased, and if the number of events is small, the lower limit of the photograph is decreased, or the third embodiment is performed. When the example and the fifth embodiment are combined, if the number of reference identifications is large, the upper limit of the number of pages of the album is increased, and if the number of reference identifications is small, the lower limit of the number of pages of the album is decreased. You may.

次に、本発明の第6の実施例について説明する。図14は、第6の実施例に係るアルバム作成支援システム300の構成を示す図である。アルバム作成支援システム300は、アルバム作成支援装置100と、この装置100にネットワークNWを介して接続される1つまたは複数の利用者端末400(400_1、400_2〜400_n)を含んで構成される。利用者端末400は、スマートフォン、パーソナルコンピュータ、タブレット型情報端末、デジタルカメラ等であることができる。利用者端末400は、搭載された通信手段を利用して、インターネットまたはイントラネット上のアルバム作成支援装置100に接続することができ、この場合、利用者端末400はクライアントとして機能し、アルバム作成支援装置100はサーバーとして機能する。 Next, a sixth embodiment of the present invention will be described. FIG. 14 is a diagram showing the configuration of the album creation support system 300 according to the sixth embodiment. The album creation support system 300 includes an album creation support device 100 and one or more user terminals 400 (400_1, 400_2 to 400_n) connected to the device 100 via a network NW. The user terminal 400 can be a smartphone, a personal computer, a tablet-type information terminal, a digital camera, or the like. The user terminal 400 can be connected to the album creation support device 100 on the Internet or an intranet by using the on-board communication means. In this case, the user terminal 400 functions as a client and the album creation support device. 100 functions as a server.

利用者端末400は、アルバム作成支援装置100に対して、顔画像を含む参照画像をアップロードし、アルバム作成支援装置100は、記憶部140に参照画像を記憶する。また、アルバム作成支援装置100の記憶部150には、利用者端末400からアップロードされた撮像画像、あるいはその他のサーバーから提供された撮像画像が記憶される。 The user terminal 400 uploads a reference image including a face image to the album creation support device 100, and the album creation support device 100 stores the reference image in the storage unit 140. Further, the storage unit 150 of the album creation support device 100 stores the captured image uploaded from the user terminal 400 or the captured image provided by another server.

アルバム作成支援装置100は、利用者端末400からアルバム作成の指示を受け取ると、第1ないし第5の実施例で説明したようにアルバム作成支援のための動作を実行する。写真選択部220は、閾値Thに基づき写真を選択すると、図9に示すような選択された写真を含む編集用の画面132の画像データを利用者端末400に送信し、これが利用者端末400に表示される。利用者端末400は、例えば、閾値調整ボタン134を介して閾値調整の指示を閾値決定部230へ与えることができる。さらに利用者端末400は、アルバム作成支援装置100から送信された画面132の画像データを利用してアルバムの編集を行うことができる。 When the album creation support device 100 receives an album creation instruction from the user terminal 400, the album creation support device 100 executes an operation for album creation support as described in the first to fifth embodiments. When the photo selection unit 220 selects a photo based on the threshold value Th, the photo selection unit 220 transmits the image data of the editing screen 132 including the selected photo as shown in FIG. 9 to the user terminal 400, and this is transmitted to the user terminal 400. Is displayed. The user terminal 400 can give a threshold value adjustment instruction to the threshold value determination unit 230 via, for example, the threshold value adjustment button 134. Further, the user terminal 400 can edit the album by using the image data of the screen 132 transmitted from the album creation support device 100.

本実施例のアルバム作成支援システム300は、例えば、幼稚園や保育園等において利用される。例えば、幼稚園や保育園の保護者あるいは園の職員は、利用者端末400を利用してアルバム作成支援装置100にアクセスし、アルバムに使用するための撮像画像(写真)の選定に大きな労力を費やすことなく、効率よくアルバムの編集を行うことができる。また、アルバム作成支援装置において編集されたアルバムは、利用者端末間で閲覧しその内容をシェアすることができる。 The album creation support system 300 of this embodiment is used, for example, in a kindergarten, a nursery school, or the like. For example, a guardian of a kindergarten or a nursery school or a staff member of a kindergarten accesses an album creation support device 100 using a user terminal 400 and spends a great deal of effort in selecting an image (photograph) to be used for an album. You can edit the album efficiently without any problems. In addition, the album edited by the album creation support device can be viewed and its contents can be shared between user terminals.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various aspects are within the scope of the gist of the present invention described in the claims. It can be transformed and changed.

100:アルバム作成支援装置
110:外部I/F
120:入力部
130:表示部
140:記憶部
150:記憶部
160:制御部
200:アルバム作成支援機能
210:類似度算出部
220:写真選択部
230:閾値決定部
240:アルバム編集部
300:アルバム作成支援システム
400_1、400_2、400_n:利用者端末
100: Album creation support device 110: External I / F
120: Input unit 130: Display unit 140: Storage unit 150: Storage unit 160: Control unit 200: Album creation support function 210: Similarity calculation unit 220: Photo selection unit 230: Threshold determination unit 240: Album editorial unit 300: Album Creation support system 400_1, 400_2, 400_n: User terminal

Claims (12)

顔画像を含む参照画像を記憶する記憶手段と、
撮像カメラで撮像された撮像画像を取得する取得手段と、
前記参照画像と前記撮像画像とを比較し、前記撮像画像内の認識対象の顔画像の類似度を算出する算出手段と、
閾値を決定する決定手段と、
前記閾値以上の類似度をもつ撮像画像を選択する選択手段と、
前記選択された撮像画像のアルバム編集を可能とする編集手段と、
を有するアルバム作成支援装置。
A storage means for storing a reference image including a face image, and
An acquisition means for acquiring an captured image captured by an imaging camera, and
A calculation means for comparing the reference image with the captured image and calculating the similarity of the face image to be recognized in the captured image.
Determining means to determine the threshold and
A selection means for selecting an captured image having a similarity equal to or higher than the threshold value, and
An editing means that enables album editing of the selected captured image, and
Album creation support device with.
前記選択手段は、指定された参照画像の類似度が前記閾値以上の撮像画像を選択する、請求項1に記載のアルバム作成支援装置。 The album creation support device according to claim 1, wherein the selection means selects an captured image having a similarity of a designated reference image equal to or higher than the threshold value. アルバム作成支援装置は、ユーザー入力手段を含み、
前記決定手段は、前記入力手段からの入力に基づき前記閾値を決定する、請求項1に記載のアルバム作成支援装置。
The album creation support device includes a user input means.
The album creation support device according to claim 1, wherein the determination means determines the threshold value based on the input from the input means.
アルバム作成支援装置は、表示手段を含み、
前記表示手段は、前記選択手段により選択された撮像画像と前記閾値を変更するための閾値変更入力とを表示し、
前記決定手段は、前記閾値変更入力に基づき閾値を決定し、
前記選択手段は、前記閾値が変更されたとき撮像画像を再選択する、請求項1または3に記載のアルバム作成支援装置。
The album creation support device includes a display means, and includes a display means.
The display means displays the captured image selected by the selection means and the threshold value change input for changing the threshold value.
The determination means determines the threshold value based on the threshold value change input.
The album creation support device according to claim 1 or 3, wherein the selection means reselects an captured image when the threshold value is changed.
前記表示手段は、選択された撮像画像の数を表示する、請求項4に記載のアルバム作成支援装置。 The album creation support device according to claim 4, wherein the display means displays the number of selected captured images. 前記決定手段は、前記選択手段により選択された撮像画像の数に基づき、前記選択された撮像画像の数が上限値を超えないように前記閾値を調整する、請求項1に記載のアルバム作成支援装置。 The album creation support according to claim 1, wherein the determination means adjusts the threshold value so that the number of the selected captured images does not exceed the upper limit value based on the number of captured images selected by the selection means. Device. 前記決定手段はさらに、前記選択された撮像画像の数が下限値を下回らないように前記閾値を調整する、請求項6に記載のアルバム作成支援装置。 The album creation support device according to claim 6, wherein the determination means further adjusts the threshold value so that the number of selected captured images does not fall below the lower limit value. 前記決定手段は、前記選択手段により選択された撮像画像の数に基づき、前記選択された撮像画像の数がアルバムのページ数の上限値を超えないように前記閾値を調整する、請求項1に記載のアルバム作成支援装置。 The determination means adjusts the threshold value based on the number of captured images selected by the selection means so that the number of the selected captured images does not exceed the upper limit of the number of pages of the album. The described album creation support device. 前記決定手段はさらに、前記選択された撮像画像の数が下限値を下回らないように前記閾値を調整する、請求項8に記載のアルバム作成支援装置。 The album creation support device according to claim 8, wherein the determination means further adjusts the threshold value so that the number of selected captured images does not fall below the lower limit value. 前記決定手段は、前記撮像画像に関連するイベント数に応じて閾値を調整する、請求項1ないし9いずれか1つに記載のアルバム作成支援装置。 The album creation support device according to any one of claims 1 to 9, wherein the determination means adjusts a threshold value according to the number of events related to the captured image. 前記決定手段は、前記参照画像の数に応じて閾値を調整する、請求項1ないし9いずれか1つに記載のアルバム作成支援装置。 The album creation support device according to any one of claims 1 to 9, wherein the determination means adjusts a threshold value according to the number of reference images. 請求項1ないし11いずれか1つに記載のアルバム作成支援装置と、
前記アルバム作成支援装置とネットワークを介して接続された少なくとも1つの利用者端末とを含み、
前記利用者端末は、前記参照画像および前記撮像画像をアルバム作成支援装置にアップロードする手段と、
アルバム作成支援装置にアルバム編集の指示を入力する入力手段とを含む、アルバム作成支援システム。
The album creation support device according to any one of claims 1 to 11.
Including the album creation support device and at least one user terminal connected via a network.
The user terminal is a means for uploading the reference image and the captured image to the album creation support device, and
An album creation support system that includes an input means for inputting an album editing instruction into an album creation support device.
JP2020025284A 2020-02-18 2020-02-18 Album creation support device and album creation support system Active JP6976531B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020025284A JP6976531B2 (en) 2020-02-18 2020-02-18 Album creation support device and album creation support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025284A JP6976531B2 (en) 2020-02-18 2020-02-18 Album creation support device and album creation support system

Publications (2)

Publication Number Publication Date
JP2021131607A true JP2021131607A (en) 2021-09-09
JP6976531B2 JP6976531B2 (en) 2021-12-08

Family

ID=77551044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025284A Active JP6976531B2 (en) 2020-02-18 2020-02-18 Album creation support device and album creation support system

Country Status (1)

Country Link
JP (1) JP6976531B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049387A (en) * 2005-08-09 2007-02-22 Canon Inc Image output device and image output method
JP2007206751A (en) * 2006-01-30 2007-08-16 Fujifilm Corp Apparatus, method and program for album production
JP2008117271A (en) * 2006-11-07 2008-05-22 Olympus Corp Object recognition device of digital image, program and recording medium
JP2019067261A (en) * 2017-10-03 2019-04-25 キヤノン株式会社 Image processing apparatus, control method and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049387A (en) * 2005-08-09 2007-02-22 Canon Inc Image output device and image output method
JP2007206751A (en) * 2006-01-30 2007-08-16 Fujifilm Corp Apparatus, method and program for album production
JP2008117271A (en) * 2006-11-07 2008-05-22 Olympus Corp Object recognition device of digital image, program and recording medium
JP2019067261A (en) * 2017-10-03 2019-04-25 キヤノン株式会社 Image processing apparatus, control method and program

Also Published As

Publication number Publication date
JP6976531B2 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
US9972113B2 (en) Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
US8650242B2 (en) Data processing apparatus and data processing method
JP5857133B2 (en) Image reconstruction using face detection
JP6071289B2 (en) Image processing apparatus, image processing method, and program
US20110029635A1 (en) Image capture device with artistic template design
CN102333177B (en) Photographing support system, photographing support method, server and photographing apparatus
US8811747B2 (en) Image recomposition from face detection and facial features
WO2012137397A1 (en) Content-processing device, content-processing method, content-processing program, and integrated circuit
US9521211B2 (en) Content processing device, content processing method, computer-readable recording medium, and integrated circuit
JP2010259064A (en) Display and image pickup device
US10262193B2 (en) Image processing apparatus and method which determine an intimacy between a person in an image and a photographer of the image
US20130108119A1 (en) Image Recomposition From Face Detection And Facial Features
JP6947085B2 (en) Electronic devices and their control methods
JP5418565B2 (en) Image display system, image display apparatus, server, image display method and program
JP2004280254A (en) Contents categorizing method and device
JP5878523B2 (en) Content processing apparatus and integrated circuit, method and program thereof
JP6410427B2 (en) Information processing apparatus, information processing method, and program
JP2015053543A (en) Image processing apparatus, image processing method, and program
JP6976531B2 (en) Album creation support device and album creation support system
JP2015222460A (en) Disclosed image edition method and disclosed image edition device
JP6958795B1 (en) Information processing methods, computer programs and information processing equipment
US20130108157A1 (en) Image Recomposition From Face Detection And Facial Features
JP2004158950A (en) Recording video image automatic generating system, recording video image automatic generating method, recording video image automatic generating program, and recording medium for the recording video image automatic generating program
JP6221487B2 (en) Information processing apparatus, image display system, image display method and program in information processing apparatus
JP7470279B2 (en) Information processing device, image output program, and image output method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6976531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150