JP2015115741A - Image management device, image management method, and program - Google Patents

Image management device, image management method, and program Download PDF

Info

Publication number
JP2015115741A
JP2015115741A JP2013255810A JP2013255810A JP2015115741A JP 2015115741 A JP2015115741 A JP 2015115741A JP 2013255810 A JP2013255810 A JP 2013255810A JP 2013255810 A JP2013255810 A JP 2013255810A JP 2015115741 A JP2015115741 A JP 2015115741A
Authority
JP
Japan
Prior art keywords
image
face
face information
information
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013255810A
Other languages
Japanese (ja)
Inventor
佑一 畑中
Yuichi Hatanaka
佑一 畑中
紀子 板倉
Noriko Itakura
紀子 板倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Canon MJ IT Group Holdings Inc
Original Assignee
Canon Marketing Japan Inc
Canon MJ IT Group Holdings Inc
Canon Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon MJ IT Group Holdings Inc, Canon Software Inc filed Critical Canon Marketing Japan Inc
Priority to JP2013255810A priority Critical patent/JP2015115741A/en
Publication of JP2015115741A publication Critical patent/JP2015115741A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To protect the personal information of a person whose face information has not been registered by detecting a face image whose face information has not been registered from a face information DB in which face information is registered in an SNS or the like, and converting the face image whose face information has not been registered into an alternative image.SOLUTION: An image management device having face information storage means for storing a plurality of face information includes: pickup image reception means for receiving a pickup image; face image detection means for detecting a face image photographed in the pickup image received by the pickup image reception means; face image coincidence determination means for determining whether or not the characteristics of a face image detected by the face image detection means are coincident with the characteristics of the face information stored in the face information storage means; and image conversion means for, when there does not exist any face information whose characteristics are coincident with the characteristics of the face image in the plurality of face information by the face image coincidence determination means, converting the face image into an alternative image.

Description

本発明は、撮像装置で撮影された画像を管理する画像管理装置に関する。   The present invention relates to an image management apparatus that manages images taken by an imaging apparatus.

近年のブログやSNSでは、携帯端末や撮像装置で撮影された画像を、携帯端末や撮像装置に内蔵されている通信部により、Webサーバなどに簡単にアップロードし公開することが可能である。その携帯端末や撮像装置で撮影された画像には、撮影されている人の顔写真などが含まれることがあるが、撮影されている人(被写体人物)によっては、自分の顔が公開されることを望む人と望まない人がいる。   In recent blogs and SNSs, an image captured by a mobile terminal or an imaging device can be easily uploaded to a web server or the like by a communication unit built in the mobile terminal or the imaging device. The image taken with the mobile terminal or the imaging device may include a photograph of the person being photographed. Depending on the person (subject person) who is photographed, his / her face is disclosed. Some people want it and others don't.

一方、ブログやSNSでは、個人のプロフィールページで個人の顔写真をWebサーバに公開している場合がある。   On the other hand, in a blog or SNS, a personal face photo may be disclosed on a Web server on a personal profile page.

また、特許文献1には、人物の写真画像を投稿する際に、投稿された画像を被写体の顔部分が本来の画像のイメージを損なわないように加工して公開する処理をユーザの負担を増やすことなく実施できる技術が開示されている。   Japanese Patent Laid-Open No. 2004-228561 increases the burden on the user by processing the published image so that the face portion of the subject does not damage the original image when posting the photograph image of the person. Techniques that can be implemented without any problems are disclosed.

特開2009−223500号公報JP 2009-223500 A

特許文献1の技術を利用すれば、写真画像に写っている人物を似顔絵にすることが可能であり、似顔絵にしない人物はその都度指定することにより、そのままの顔写真で公開することが可能である。   If the technique of Patent Document 1 is used, it is possible to make a person appearing in a photographic image a portrait, and a person who does not make a portrait can be disclosed as it is by specifying it each time. is there.

しかし、多数の人物が撮影されている写真で一人一人の顔写真をそのまま公開するか、似顔絵などの代用の情報にするかを指定する作業を携帯端末や撮像装置上で指定するのは煩わしい。また、顔写真をそのまま公開してよいかどうかを撮影されている人物全て対して確認を取ることは困難である。   However, it is troublesome to designate on the portable terminal or the imaging device the operation of designating whether each person's face photograph is disclosed as it is in a photograph in which a large number of persons are photographed or substitute information such as a portrait. In addition, it is difficult to confirm whether or not the face photograph can be disclosed as it is to all the persons who have been photographed.

本発明の目的は、上記課題を解決するものであり、ブログやSNSなどの個人の情報紹介ページなどで顔写真が登録されているユーザの顔写真はそのまま公開し、顔写真が登録されていない顔である場合は代替画像で公開することにより、携帯端末や撮像装置からの写真投稿を容易にし、かつ顔情報を登録していないユーザは顔写真が公開されず、顔情報を登録していないユーザのプライバシーを保護できる点である。   An object of the present invention is to solve the above-mentioned problems, and a face photograph of a user whose face photograph is registered on a personal information introduction page such as a blog or SNS is disclosed as it is, and no face photograph is registered. If it is a face, publishing it as a substitute image makes it easy to post photos from a mobile terminal or imaging device, and for users who have not registered face information, face photos are not disclosed and face information is not registered It is a point which can protect a user's privacy.

上記課題を解決するために、本発明は、複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置であって、撮像画像を受信する撮像画像受信手段と、前記撮像画像受信手段により受信した撮像画像に撮影された顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断手段と、前記顔画像一致判断手段により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換手段と、を有することを特徴とする。   In order to solve the above-described problems, the present invention provides an image management apparatus having a face information storage unit that stores a plurality of pieces of face information, the captured image receiving unit receiving a captured image, and the received captured image receiving unit. Whether the features of the face image detection means for detecting the face image captured in the captured image, the face image detected by the face image detection means, and the face information stored in the face information storage means match An image for converting the face image into a substitute image when there is no face information whose feature matches the face image in the plurality of face information by the face image match determination unit and the face image match determination unit Conversion means.

本発明によれば、携帯端末や撮像装置からの写真投稿を容易にし、かつ顔情報を登録していないユーザは顔写真が公開されず、顔情報を登録していないユーザのプライバシーを保護できるという効果を有する。   According to the present invention, it is easy to post a photo from a mobile terminal or an imaging device, and a user who does not register face information does not disclose a face photo and can protect the privacy of a user who does not register face information. Has an effect.

本発明の実施形態に係る画像管理システムのシステム構成を示すブロック図である。1 is a block diagram illustrating a system configuration of an image management system according to an embodiment of the present invention. 本発明の実施形態に係る撮像装置200のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the imaging device 200 which concerns on embodiment of this invention. 本発明の実施形態に係る画像管理装置300のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the image management apparatus 300 which concerns on embodiment of this invention. 本発明の実施形態に係る画像管理システムのソフトウェア構成を示すブロック図である。It is a block diagram which shows the software structure of the image management system which concerns on embodiment of this invention. 本発明の画像管理システムにおける画像管理処理の流れを説明するシーケンスチャートである。It is a sequence chart explaining the flow of the image management process in the image management system of this invention. 本発明の画像管理装置における顔画像変換処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the face image conversion process in the image management apparatus of this invention. 本発明の画像管理装置における画像Web登録処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the image Web registration process in the image management apparatus of this invention. 本発明の撮像装置200のディスプレイ217に表示される画像管理装置へのログオンの画面イメージである。It is the screen image of the logon to the image management apparatus displayed on the display 217 of the imaging device 200 of this invention. 本発明の撮像装置200のディスプレイ217に表示されるメニューの画面イメージである。It is the screen image of the menu displayed on the display 217 of the imaging device 200 of this invention. 本発明の撮像装置200のディスプレイ217に表示される画像選択候補を表示した画面イメージである。It is the screen image which displayed the image selection candidate displayed on the display 217 of the imaging device 200 of this invention. 本発明の撮像装置200のディスプレイ217に表示される撮影画像の一例を示す画面イメージである。It is a screen image which shows an example of the picked-up image displayed on the display 217 of the imaging device 200 of this invention. 本発明の撮像装置200のディスプレイ217に表示される撮影画像の一例を示す画面イメージである。It is a screen image which shows an example of the picked-up image displayed on the display 217 of the imaging device 200 of this invention. 本発明の撮像装置200のディスプレイ217に表示される顔画像を変換した撮影画像の一例を示す画面イメージである。It is a screen image which shows an example of the picked-up image which converted the face image displayed on the display 217 of the imaging device 200 of this invention.

以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、図1を参照して、本発明を実施する画像管理システムのシステム構成について説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, a system configuration of an image management system that implements the present invention will be described with reference to FIG.

図1は、本発明における画像管理装置300(サーバ)と撮像装置200(カメラ)との関係を説明した図で、撮像装置200と画像管理装置300は、Wi−Fiや無線LAN、携帯電話の3G回線などでつながっており、お互いに情報の送受信をすることができる。なお、撮像装置200は必ずしも撮像専用ではなくてもよく、携帯端末や携帯電話が以下の図2の機能を有していてもよい。   FIG. 1 is a diagram illustrating the relationship between an image management apparatus 300 (server) and an imaging apparatus 200 (camera) according to the present invention. The imaging apparatus 200 and the image management apparatus 300 can be used for Wi-Fi, wireless LAN, and cellular phones. They are connected by 3G lines and can send and receive information to each other. Note that the imaging apparatus 200 is not necessarily dedicated to imaging, and a mobile terminal or a mobile phone may have the following functions shown in FIG.

次に、図2を参照して、本発明で利用する撮像装置200のハードウェア構成について説明する。   Next, a hardware configuration of the imaging apparatus 200 used in the present invention will be described with reference to FIG.

図2は、本発明の実施携帯に係る撮像装置200のハードウェア構成を示すブロック図である。   FIG. 2 is a block diagram illustrating a hardware configuration of the imaging apparatus 200 according to the embodiment of the present invention.

撮像装置200は、いわゆるデジタルカメラから成り、撮影用のレンズ201、撮像素子(以下、「CCD」と称する)202、カメラ信号処理部(以下、「ADC」と称する)203、画像処理部204、システムコントローラ210、バッファメモリ211、フラッシュROM212、インターフェース回路(以下、「I/F回路」と称する)213、カードホルダ214、メモリカード215、ディスプレイドライバ216、および操作部220を備える。   The imaging apparatus 200 includes a so-called digital camera, an imaging lens 201, an imaging element (hereinafter referred to as “CCD”) 202, a camera signal processing unit (hereinafter referred to as “ADC”) 203, an image processing unit 204, A system controller 210, a buffer memory 211, a flash ROM 212, an interface circuit (hereinafter referred to as “I / F circuit”) 213, a card holder 214, a memory card 215, a display driver 216, and an operation unit 220 are provided.

レンズ201は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子202は、レンズ201から入射した撮像光を結像し、電気信号(アナログ信号)に変換して出力するCCDイメージセンサで構成される。   The lens 201 is a lens or the like, and includes an objective lens, a zoom lens, a focus lens, and the like. The zoom lens and the focus lens are driven in the optical axis direction by a driving mechanism (not shown). The image sensor 202 is configured by a CCD image sensor that forms an image of the imaging light incident from the lens 201, converts it into an electrical signal (analog signal), and outputs the electrical signal.

カメラ信号処理部(ADC)203は、撮像素子202から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ210は、画像処理部204、バッファメモリ211、フラッシュROM212、I/F回路213、ディスプレイドライバ216、サウンドドライバ218、LEDドライバ228、および操作部220に接続されている   The camera signal processing unit (ADC) 203 has a function of performing signal processing such as digital conversion and white balance adjustment on the electric signal received from the image sensor 202 and converting it into a digital signal. The system controller 210 is connected to the image processing unit 204, buffer memory 211, flash ROM 212, I / F circuit 213, display driver 216, sound driver 218, LED driver 228, and operation unit 220.

画像処理部204は、前処理部205、YC処理部206、電子ズーム処理部207、圧縮部208、および伸長部209を備え、カメラ信号処理部203から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。   The image processing unit 204 includes a preprocessing unit 205, a YC processing unit 206, an electronic zoom processing unit 207, a compression unit 208, and an expansion unit 209, and generates image data from the digital signal output from the camera signal processing unit 203. Have a function of performing various image processing.

前処理部205は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源(蛍光灯や太陽光など)に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部205は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。   The preprocessing unit 205 has a function of performing white balance processing for adjusting the white balance of an image based on input image data and gamma correction processing for the image. The white balance process is a process of adjusting the color of an image so as to be close to the actual color, or adjusting the color to an appropriate color that matches a light source (such as a fluorescent lamp or sunlight). The gamma correction process is a process for adjusting the contrast of an image. Note that the preprocessing unit 205 can also perform image processing other than white balance processing and gamma correction processing.

YC処理部206は、入力される画像データに基づく画像を、輝度情報「Y」と、輝度信号と青色の色差情報「Cb」と、輝度信号と赤色の色差情報「Cr」とに分離する機能を有する。電子ズーム処理部207は、画像の一部(例えば中央部)を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。   The YC processing unit 206 has a function of separating an image based on input image data into luminance information “Y”, luminance signal and blue color difference information “Cb”, and luminance signal and red color difference information “Cr”. Have The electronic zoom processing unit 207 has a function of trimming a part of an image (for example, the center) with a predetermined size and enlarging the trimmed image to the size of the original image by signal processing.

電子ズーム処理部207は、例えば、撮影された1600×1200ドットの画像から中央の1024×768ドットの画像を切り出し、データ補間を行いながら1600×1200ドットのサイズに拡大することができる。   For example, the electronic zoom processing unit 207 can extract a center image of 1024 × 768 dots from a captured image of 1600 × 1200 dots and enlarge the image to a size of 1600 × 1200 dots while performing data interpolation.

圧縮部208は、画像データをJPEG(Joint Photographic Expert Group)方式などの圧縮形式によって圧縮する機能を有する。伸長部209は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをJPEG方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる(DCT処理)。次に、画像の階調やグラデーションを表現する段階を数値(量子化ビット数)で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。   The compression unit 208 has a function of compressing image data by a compression format such as a JPEG (Joint Photographic Expert Group) method. The decompression unit 209 has a function of decompressing compressed image data. For example, when compressing image data using the JPEG method, first, a discrete cosine transform process is performed (DCT process) that digitizes the ratio of high-frequency components and low-frequency components of image data. Next, a quantization process is performed for expressing the gradation or gradation of the image by a numerical value (quantization bit number). Finally, the image data is compressed by the Huffman encoding process.

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部208および伸長部209を省略することができる。また、画像データの圧縮形式は、JPEG方式に限らず、GIF(Graphical Interchange Format)形式などであっても、同様に処理を行うことができる。   Specifically, the signal character string of the image data is segmented every certain bit, and a shorter code is given to a character string having a high appearance frequency. Note that in the case of a method of recording image data without performing compression processing, the compression unit 208 and the expansion unit 209 can be omitted. Further, the image data compression format is not limited to the JPEG format, and the same processing can be performed even in a GIF (Graphical Interchange Format) format.

バッファメモリ211には、画像処理部204で画像処理が行われる際に、一時的に画像データが保存される。フラッシュROM212には、撮像装置200の各種設定情報や、後述するユーザ認証情報が保存される。I/F回路213は、システムコントローラ210から出力される画像データを、メモリカード215に記録可能なデータ形式に変換する。また、I/F回路213は、メモリカード215から読み出された画像データ等を、システムコントローラ210で処理可能なデータ形式に変換する。   The buffer memory 211 temporarily stores image data when the image processing unit 204 performs image processing. The flash ROM 212 stores various setting information of the imaging apparatus 200 and user authentication information described later. The I / F circuit 213 converts the image data output from the system controller 210 into a data format that can be recorded in the memory card 215. The I / F circuit 213 converts image data read from the memory card 215 into a data format that can be processed by the system controller 210.

カードホルダ214は、記録媒体であるメモリカード215を撮像装置200に着脱可能にする機構を備えると共に、メモリカード215との間でデータ通信が可能な電気接点を備える。また、カードホルダ214は、撮像装置200で利用される記録媒体の種類に応じた構造を有する。メモリカード215は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ214に着脱可能なカード型の記録媒体である。メモリカード215には、撮像装置200で撮影された画像データを記録することができる。   The card holder 214 includes a mechanism that allows the memory card 215 that is a recording medium to be attached to and detached from the imaging apparatus 200, and includes an electrical contact that enables data communication with the memory card 215. The card holder 214 has a structure corresponding to the type of recording medium used in the imaging apparatus 200. The memory card 215 is a card-type recording medium that incorporates a semiconductor storage element such as a flash memory and is detachable from the card holder 214. The memory card 215 can record image data captured by the imaging device 200.

ディスプレイドライバ216は、システムコントローラ210から出力される画像データを液晶ディスプレイ217で表示可能な信号に変換する。具体的には、ディスプレイドライバ216は、システムコントローラ210から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ217の表示可能エリアのサイズに適したサイズに変換する処理を行う。   The display driver 216 converts the image data output from the system controller 210 into a signal that can be displayed on the liquid crystal display 217. Specifically, the display driver 216 performs processing for converting digital image data output from the system controller 210 into an analog image signal, and then sets the image size to a size suitable for the size of the displayable area of the liquid crystal display 217. Process to convert to.

サウンドドライバ218は、システムコントローラ210から出力される音声データをスピーカ219で鳴動可能な信号に変換する処理を行う。LED(Light Emitting Diode)ドライバ228は、システムコントローラ210から出力される命令に従いランプ229の制御を行う。   The sound driver 218 performs processing for converting the audio data output from the system controller 210 into a signal that can be sounded by the speaker 219. An LED (Light Emitting Diode) driver 228 controls the lamp 229 in accordance with a command output from the system controller 210.

操作部220は、電源スイッチ221、モードダイヤル222、撮影ボタン223、カーソルキー224、ズームボタン225、および閲覧(再生)ボタン226を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ210に出力する。なお、操作部220には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。   The operation unit 220 includes a power switch 221, a mode dial 222, a shooting button 223, a cursor key 224, a zoom button 225, and a browse (playback) button 226. The operation unit 220 receives an operation input from the user and receives a signal corresponding to the operation content. Is output to the system controller 210. Note that the operation unit 220 includes operation buttons other than the illustrated operation buttons, but a description thereof will be omitted.

モードダイヤル(選択ボタン)222は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル222を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル222について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。   A mode dial (select button) 222 is a rotatable dial for switching the mode of the photographing operation. The user can select a plurality of shooting operation modes by operating the mode dial 222. In the embodiment of the present invention, the mode dial is described as a dial type mechanism. However, for example, a slide type button may be used instead of the dial. In other words, the mechanism of the mode dial 222 is not limited to the dial, and it is essential to have a mechanism for switching the camera mode.

閲覧ボタン226は、撮影した画像データを閲覧する閲覧モード(再生モード)に切り替えるためのボタンである。閲覧ボタン226が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン226の押下に限定されず、液晶ディスプレイ217上のタッチパネル(不図示)などによる移行方法であってもよい。   The browse button 226 is a button for switching to a browse mode (playback mode) for browsing captured image data. When the browse button 226 is pressed, the shooting mode is changed to the browsing mode. Note that the method for switching to the viewing mode is not limited to pressing the viewing button 226, and may be a transition method using a touch panel (not shown) on the liquid crystal display 217.

閲覧モードでは、システムコントローラ210が、I/F回路213を介して、カードホルダ214に装着されているメモリカード215から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード215に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像1枚分の画像データまたはサムネイルデータである。なお、メモリカード215から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。   In the browsing mode, the system controller 210 reads setting information and image data from the memory card 215 mounted on the card holder 214 via the I / F circuit 213. The setting information includes the number of images recorded on the currently installed memory card 215 and the capacity of the recorded image data. The read image data is, for example, image data or thumbnail data for one image. Note that the image data read from the memory card 215 is compressed in a predetermined compression format as described above.

メモリカード215から読み出された画像データは、I/F回路213およびシステムコントローラ210を介して、ディスプレイドライバ216へ入力される。ディスプレイドライバ216は、入力された画像データを液晶ディスプレイ217に表示させる。   The image data read from the memory card 215 is input to the display driver 216 via the I / F circuit 213 and the system controller 210. The display driver 216 displays the input image data on the liquid crystal display 217.

カーソルキー224は、ユーザが撮像装置200に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー224により、撮像装置200に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。   The cursor key 224 is a key for the user to perform a predetermined instruction or function selection for the imaging apparatus 200. The user can perform operation inputs such as various setting information and user authentication information for the imaging apparatus 200 with the cursor key 224.

また、カーソルキー224により、液晶ディスプレイ217にメニュー画面や撮像装置200に対して各種設定情報を設定するための画面を表示したり、撮像装置200が有する所定の機能を選択したりすることができ、また、画面にキーボードや文字列を表示させて、カーソルキー224で選択することにより、文字を入力することもできる。   The cursor key 224 can be used to display a menu screen or a screen for setting various setting information for the imaging apparatus 200 on the liquid crystal display 217, or to select a predetermined function of the imaging apparatus 200. In addition, a keyboard or a character string is displayed on the screen, and a character can be input by selecting with the cursor key 224.

さらに、カーソルキー224により、撮像装置200で撮影された画像データを液晶ディスプレイ217上にプレビュー表示させることができる。プレビュー表示とは、撮像装置200で撮影した画像を、その直後に液晶ディスプレイ217に表示させる機能である。   Furthermore, the cursor key 224 can display a preview of the image data captured by the imaging apparatus 200 on the liquid crystal display 217. The preview display is a function of causing the liquid crystal display 217 to display an image captured by the imaging apparatus 200 immediately after that.

なお、プレビュー表示については、液晶ディスプレイ217上に撮影した画像を1枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、カーソルキー224の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。   Note that the preview display is not limited to a configuration in which only one image taken on the liquid crystal display 217 is displayed, and a plurality of images including thumbnail images may be displayed. Further, the switching of the preview display is not limited to the pressing of the cursor key 224, but may be configured to be switched using a general method such as pressing of another button. Further, the preview display screen may be configured such that the preview display image can be deleted or edited.

レンズ制御部227は、レンズ201のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置200は、被写体を撮影して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧(再生)モードとを備える。   The lens control unit 227 controls zoom, focus, aperture, and the like for the lens of the lens 201. In addition, the imaging apparatus 200 includes a shooting mode in which a subject is shot to obtain image data and a browsing (reproduction) mode in which image data obtained in the shooting mode is displayed.

なお、音声についてはマイクやスピーカを用いることで、撮像装置200と同様に記録、及び再生が可能である。また、映像(動画)記録時には、通常音声記録も同時に行われ、圧縮部208および伸長部209で、映像と音声が多重化される。   Note that audio can be recorded and reproduced in the same manner as the imaging apparatus 200 by using a microphone or a speaker. Further, when recording video (moving image), normal audio recording is also performed at the same time, and video and audio are multiplexed by the compression unit 208 and the expansion unit 209.

また、撮像装置200における撮影動作について図1を用いて説明する。まず、ユーザが電源スイッチ221を操作し、撮像装置200の電源をONにする。すると、撮像装置200に内蔵されているバッテリー(不図示)から各回路へ電源供給されて、撮像装置200の起動処理(レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など)が行われる。   Further, a shooting operation in the imaging apparatus 200 will be described with reference to FIG. First, the user operates the power switch 221 to turn on the imaging apparatus 200. Then, power is supplied to each circuit from a battery (not shown) built in the imaging apparatus 200, and activation processing of the imaging apparatus 200 (operation control for opening the lens barrier, reset processing of the microcomputer, etc.) is performed.

撮像装置200は、電源OFF時に電源スイッチ221が押下されると電源ONとなり、自動的に撮影モードとなるように構成されている。また、電源OFF時に閲覧ボタンが押下されると電源ONとなり、自動的に閲覧モードとなるように構成されている。   The imaging apparatus 200 is configured to be turned on when the power switch 221 is pressed when the power is turned off, and to automatically enter the shooting mode. Further, when the viewing button is pressed when the power is turned off, the power is turned on and the viewing mode is automatically set.

撮像装置200が撮影モードに移行すると、光学画像がレンズ201を介して撮像装置200内へ入射し、撮像素子(CCD)202に結像される。CCD202は、入射される光学画像を電気信号に変換して、カメラ信号処理部(ADC)203へ出力する。ADC203は、入力される電気信号(アナログ信号)をデジタル信号に変換する。ADC203から出力されるデジタル信号は画像処理部204に入力される。   When the image capturing apparatus 200 shifts to the image capturing mode, an optical image enters the image capturing apparatus 200 through the lens 201 and forms an image on the image capturing element (CCD) 202. The CCD 202 converts the incident optical image into an electrical signal and outputs it to the camera signal processing unit (ADC) 203. The ADC 203 converts an input electric signal (analog signal) into a digital signal. A digital signal output from the ADC 203 is input to the image processing unit 204.

画像処理部204内の前処理部205では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部204内のYC処理部206では、画像データが輝度信号Yと色差信号CrおよびCbとに分離され、色差信号CrおよびCbの情報量を減らす処理が行われる。   A preprocessing unit 205 in the image processing unit 204 generates image data based on an input digital signal, and performs white balance processing, gamma correction processing, and the like. In the YC processing unit 206 in the image processing unit 204, the image data is separated into the luminance signal Y and the color difference signals Cr and Cb, and processing for reducing the information amount of the color difference signals Cr and Cb is performed.

色差信号CrおよびCbの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「4:2:2ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「4:1:1ダウンサンプリング処理」などがある。なお、前処理部205およびYC処理部206で画像処理を行う際は、画像データを一時的にバッファメモリ211に保存し、随時バッファメモリ211に保存されている画像データを読み出しながら画像処理が行われる。   The information amount reduction processing for the color difference signals Cr and Cb is, for example, “4: 2: 2 downsampling processing” for thinning out color information in the main scanning direction of an image, or “4: 1” for thinning out color information in the vertical and horizontal directions of an image. : 1 downsampling process ". When image processing is performed by the preprocessing unit 205 and the YC processing unit 206, image data is temporarily stored in the buffer memory 211, and image processing is performed while reading the image data stored in the buffer memory 211 as needed. Is called.

画像処理部204から出力される画像データ(非圧縮)はシステムコントローラ210に入力される。システムコントローラ210は、画像処理部204から出力される画像データを、ディスプレイドライバ216へ出力する。   Image data (uncompressed) output from the image processing unit 204 is input to the system controller 210. The system controller 210 outputs the image data output from the image processing unit 204 to the display driver 216.

ディスプレイドライバ216は、入力される画像データ(デジタル信号)をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズを液晶ディスプレイ217で表示可能なサイズに調整する。   The display driver 216 converts input image data (digital signal) into an analog image signal, and adjusts the size of the image based on the analog image signal to a size that can be displayed on the liquid crystal display 217.

また、ディスプレイドライバ216は、液晶ディスプレイ217に画像を表示させるよう制御する。このとき、液晶ディスプレイ217に表示される画像は、CCD202、ADC203、および画像処理部204で、連続的に信号処理されて生成される画像(スルー画像)である。   The display driver 216 controls the liquid crystal display 217 to display an image. At this time, the image displayed on the liquid crystal display 217 is an image (through image) generated by signal processing continuously performed by the CCD 202, the ADC 203, and the image processing unit 204.

液晶ディスプレイ217にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン223を操作すると、システムコントローラ210は画像処理部204に制御信号を出力する。画像処理部204に制御信号が入力されると、圧縮部208は、前処理部205およびYC処理部206で画像処理された画像データをバッファメモリ211へ保存し、圧縮処理を行う。   When the user operates the shooting button 223 at a desired timing while the through image is displayed on the liquid crystal display 217, the system controller 210 outputs a control signal to the image processing unit 204. When a control signal is input to the image processing unit 204, the compression unit 208 stores the image data image-processed by the preprocessing unit 205 and the YC processing unit 206 in the buffer memory 211, and performs compression processing.

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理(DCT処理)や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ210およびディスプレイドライバ216を介して液晶ディスプレイ217に表示される。また、圧縮された画像データは、カードホルダ214を介してメモリカード215に記録される。   Specifically, discrete cosine transform processing (DCT processing) that digitizes the ratio of high-frequency components and low-frequency components of image data, and quantization that expresses the gradation and gradation of an image with the number of quantization bits Processing, Huffman coding processing for dividing a signal character string of image data into fixed bits and giving a shorter code to a character string having a high appearance frequency is performed. The compressed image data is displayed on the liquid crystal display 217 via the system controller 210 and the display driver 216. The compressed image data is recorded on the memory card 215 via the card holder 214.

撮影ボタン223が操作される前にズームボタン225が操作されると、システムコントローラ210は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン225の操作後、撮影ボタン223が操作されると、拡大または縮小された画像の画像データがメモリカード215へ記録される。   When the zoom button 225 is operated before the shooting button 223 is operated, the system controller 210 can execute an optical zoom process or an electronic zoom process to enlarge or reduce the size of the image. When the shooting button 223 is operated after the zoom button 225 is operated, the image data of the enlarged or reduced image is recorded in the memory card 215.

書込み部230は、カーソルキー224により指示入力された設定情報を用いて、画像データに対して、書込みを行う。例えば、デジタルカメラの機種名や、撮影年月日、露出情報、撮影位置等が入力されたExif(Exchangeable Image File Format)に対して、書込み編集を行う。   The writing unit 230 writes the image data using the setting information input by the cursor key 224. For example, writing editing is performed on an Exif (Exchangeable Image File Format) in which a model name of the digital camera, shooting date, exposure information, shooting position, and the like are input.

通信部240は、Wi−Fiや無線LAN、携帯電話の3G回線などの無線通信を使って、外部の装置へ撮影情報や撮像装置200の情報などを送信することができる。また通信部240は、外部の装置から情報を入手して、ディスプレイ217へ情報を表示し、ユーザからの操作部220への操作を受け付け、外部の装置へレスポンスすることができる。   The communication unit 240 can transmit shooting information, information about the imaging device 200, and the like to an external device using wireless communication such as Wi-Fi, wireless LAN, and 3G line of a mobile phone. In addition, the communication unit 240 can acquire information from an external device, display the information on the display 217, accept an operation on the operation unit 220 from the user, and respond to the external device.

次に、図3を参照して、本発明で利用する画像管理装置300のハードウェア構成について説明する。   Next, the hardware configuration of the image management apparatus 300 used in the present invention will be described with reference to FIG.

図3は、本発明の実施形態における画像管理装置(サーバ)300に適用可能な情報処理装置のハードウェア構成図である。   FIG. 3 is a hardware configuration diagram of an information processing apparatus applicable to the image management apparatus (server) 300 according to the embodiment of the present invention.

図3において、301はCPUで、システムバス304に接続される各デバイスやコントローラを統括的に制御する。また、ROM303あるいは外部メモリ311には、CPU301の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、画像管理を実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。   In FIG. 3, reference numeral 301 denotes a CPU that comprehensively controls each device and controller connected to the system bus 304. The ROM 303 or the external memory 311 has a BIOS (Basic Input / Output System), an operating system program (hereinafter referred to as OS), which is a control program of the CPU 301, and a function necessary for realizing image management, which will be described later. Various programs are stored.

302はRAMで、CPU301の主メモリ、ワークエリア等として機能する。CPU301は、処理の実行に際して必要なプログラム等をROM303あるいは外部メモリ311からRAM302にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。   Reference numeral 302 denotes a RAM that functions as a main memory, work area, and the like for the CPU 301. The CPU 301 implements various operations by loading a program or the like necessary for execution of processing from the ROM 303 or the external memory 311 into the RAM 302 and executing the loaded program.

また、305は入力コントローラで、キーボードやポインティングデバイス等の入力装置309からの入力を制御する。306はビデオコントローラで、ディスプレイ装置310等の表示器への表示を制御する。これらは必要に応じて操作者が使用するものである。   An input controller 305 controls input from an input device 309 such as a keyboard or a pointing device. A video controller 306 controls display on a display device such as the display device 310. These are used by the operator as needed.

307はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ311へのアクセスを制御する。   A memory controller 307 is connected via an adapter to a hard disk (HD), flexible disk (FD), or PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, and the like. The access to the external memory 311 such as a compact flash (registered trademark) memory is controlled.

また、外部メモリ311のハードディスク(HD)は、撮像装置200から送信される撮像画像を受信し、記憶する大容量のメモリ領域を有している。   The hard disk (HD) of the external memory 311 has a large-capacity memory area that receives and stores captured images transmitted from the imaging apparatus 200.

308は通信I/F(インタフェース)コントローラで、ネットワーク(例えば、無線LANなど)を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。   A communication I / F (interface) controller 308 connects and communicates with an external device via a network (for example, a wireless LAN), and executes communication control processing in the network. For example, communication using TCP / IP is possible.

なお、CPU301は、例えばRAM302内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置310上での表示を可能としている。また、CPU301は、ディスプレイ装置310上の不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 301 enables display on the display device 310 by, for example, executing outline font rasterization processing on the display information area in the RAM 302. In addition, the CPU 301 enables a user instruction with a mouse cursor (not shown) on the display device 310.

本発明を実現するための後述するフローチャートに示す各ステップの処理は、コンピュータで読み取り実行可能なプログラムにより実行され、そのプログラムは外部メモリ311に記録されている。そして、必要に応じてRAM302にロードされることによりCPU301によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ311に格納されており、これらについての詳細な説明も後述する。   The processing of each step shown in the flowchart to be described later for realizing the present invention is executed by a program that can be read and executed by a computer, and the program is recorded in the external memory 311. Then, it is executed by the CPU 301 by being loaded into the RAM 302 as necessary. Furthermore, definition files and various information tables used when executing the program are also stored in the external memory 311, and detailed descriptions thereof will be described later.

次に、図4のソフトウェアブロック図を参照して、本発明のソフトウェア構成を説明する。   Next, the software configuration of the present invention will be described with reference to the software block diagram of FIG.

図4は、本発明の一実施形態を示すシステムのソフトウェア構成を示すソフトウェアブロック図の一例である。   FIG. 4 is an example of a software block diagram showing the software configuration of the system showing an embodiment of the present invention.

撮像装置200は、図2で説明した撮影機能を有する装置の例であり、ソフトウェアブロックとして撮像部401を有している。また、撮像装置200は、撮影した撮影画像を画像管理装置300などに送信する撮像画像送信部403を有しており、また、撮影した画像を加工したり送信したりするメニューを表示するメニュー表示部402を有する。   The imaging apparatus 200 is an example of an apparatus having the imaging function described with reference to FIG. 2, and includes an imaging unit 401 as a software block. In addition, the imaging apparatus 200 includes a captured image transmission unit 403 that transmits the captured image to the image management apparatus 300 and the like, and a menu display that displays a menu for processing and transmitting the captured image. Part 402.

画像管理装置300は、撮像装置などから撮影画像を受信する撮像画像受信部411と、受信した撮影画像から顔画像を検出する顔画像検出部412を有する。また、画像管理装置300はSNSのユーザプロファイルなどの顔情報を記憶した顔情報記憶部413を有しており、顔画像検出部412で検出した顔画像と顔情報記憶部413に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断部414も有している。   The image management apparatus 300 includes a captured image reception unit 411 that receives a captured image from an imaging apparatus and the like, and a face image detection unit 412 that detects a face image from the received captured image. The image management apparatus 300 includes a face information storage unit 413 that stores face information such as an SNS user profile, and the face image detected by the face image detection unit 412 and the face stored in the face information storage unit 413. It also has a face image match determination unit 414 that determines whether the feature matches the information.

また、画像管理装置300は、顔画像一致判断部414において、顔画像と特徴が一致する顔情報がないと判断された場合に、その顔画像を代替画像に変換する画像変換部415と、その変換された撮影画像をWebなどでコンテンツとして公開する公開処理部416を有している。また、画像管理装置300に接続される撮像装置200へ、顔画像変換メニューを送信して、撮像装置200に表示制御するための顔画像変換メニュー表示制御部417を有している。   The image management apparatus 300 also includes an image conversion unit 415 that converts the face image into a substitute image when the face image match determination unit 414 determines that there is no face information whose characteristics match the face image. It has a publication processing unit 416 that publishes the converted photographed image as content on the Web or the like. Further, the image processing apparatus 300 includes a face image conversion menu display control unit 417 for transmitting a face image conversion menu to the image capturing apparatus 200 connected to the image management apparatus 300 and controlling display on the image capturing apparatus 200.

次に、図5のフローチャートを参照して、撮像装置が画像を撮影後、画像管理装置に登録される処理手順について説明する。   Next, a processing procedure registered in the image management apparatus after the image capturing apparatus captures an image will be described with reference to a flowchart of FIG.

図5は、本発明の画像管理システムにおける画像管理処理の流れを説明するシーケンスチャートであり、撮像装置200及び画像管理装置300のそれぞれのシステムコントローラ(図2の210)及びCPU(図3の301)の制御の下、処理が実行される。なお、S501〜S512は各処理ステップを示す。   FIG. 5 is a sequence chart for explaining the flow of image management processing in the image management system of the present invention. Each system controller (210 in FIG. 2) and CPU (301 in FIG. 3) of the imaging device 200 and the image management device 300 are shown. The processing is executed under the control of). S501 to S512 indicate each processing step.

図5のシーケンスチャートは、撮像装置200において撮影が行われると開始される処理になる(ステップS501)。   The sequence chart in FIG. 5 is a process that is started when shooting is performed in the imaging apparatus 200 (step S501).

ステップS501において、画像が撮影されると、次に、撮像装置200のシステムコントローラ210は、画像管理装置300へログオンし画像を送信するため、ステップS502においてユーザからログオン操作を受け付ける。具体的には、ユーザからユーザアカウントとパスワードなどを取得する。ステップS502におけるログオンの画面イメージを図8を参照して説明する。   When an image is captured in step S501, the system controller 210 of the imaging apparatus 200 next accepts a logon operation from the user in step S502 in order to log on to the image management apparatus 300 and transmit the image. Specifically, a user account and a password are acquired from the user. The logon screen image in step S502 will be described with reference to FIG.

図8は、本発明の撮像装置200のディスプレイ217に表示される画像管理装置へのログオンの画面イメージである。なお、このログオン画面800は、撮像装置200に内蔵されている画面を表示しても良いし、一旦画像管理装置から情報を取得後、取得した画面(たとえば、Web画面など)をディスプレイ217に表示しても良い。   FIG. 8 is a screen image for logging on to the image management apparatus displayed on the display 217 of the imaging apparatus 200 of the present invention. The logon screen 800 may display a screen built in the imaging apparatus 200, or once the information is acquired from the image management apparatus, the acquired screen (for example, a Web screen) is displayed on the display 217. You may do it.

図8のログオン画面800は、アカウント入力欄801と、パスワード入力欄802を有しており、ユーザによりアカウント入力欄801にユーザアカウント(ユーザIDなど)を、パスワード入力欄802にユーザアカウントに対応したパスワードが入力される。その後、ユーザによりログオンボタン803が押下されると、   The logon screen 800 of FIG. 8 has an account input field 801 and a password input field 802. A user account (such as a user ID) is associated with the account input field 801 by the user, and a user account is associated with the password input field 802. A password is entered. After that, when the logon button 803 is pressed by the user,

なお、撮像装置にログオンアカウントやパスワードなどを登録しておいて、デフォルトで画像管理装置に接続できるようにしておいてもよい。通常、ログオン操作を受け付けるのは、ユーザが一連の撮影が終わった後だが、画像管理装置にログオンアカウントやパスワードなどをデフォルトで登録しておけば、1枚取るごとにログオンして画像データを送信しても良い。図5のフローチャートの説明に戻る。   Note that a logon account, a password, and the like may be registered in the imaging apparatus so that the image management apparatus can be connected by default. Normally, the logon operation is accepted after the user has completed a series of shootings, but if a logon account, password, etc. are registered in the image management device by default, the user logs on and sends image data each time one is taken. You may do it. Returning to the flowchart of FIG.

次に、図5のステップS503において、画像管理装置300のCPU301は、撮像装置200がユーザから取得したログオンアカウントとパスワードを受信し、図示しない認証DBから、ユーザアカウントとパスワードが一致するかを確認する。ユーザアカウントとパスワードが一致する場合は、次のステップS504へと処理を進める。   Next, in step S503 in FIG. 5, the CPU 301 of the image management apparatus 300 receives the logon account and password acquired by the imaging apparatus 200 from the user, and confirms whether the user account and password match from an authentication DB (not shown). To do. If the user account matches the password, the process proceeds to the next step S504.

次に、ステップS504において、撮像装置200のシステムコントローラ210は、ユーザにより選ばれる撮影画像を画像管理装置300へ送信する。なお、ユーザにより撮像画像を選ぶ処理は公知の技術を用いる。たとえば、撮像装置200のディスプレイ217に撮影した画像を順番に表示して、画像管理装置300に送信する画像を選ばせても良いし、撮像装置200のディスプレイ217に複数の撮像画像を表示して、タッチパネルになったディスプレイ217から選択させても良い。また、撮像画像にユニークな画像番号を対応させておき、その画像番号もしくは画像番号の範囲を入力させても良い。   Next, in step S <b> 504, the system controller 210 of the imaging apparatus 200 transmits the captured image selected by the user to the image management apparatus 300. A process for selecting a captured image by the user uses a known technique. For example, the captured images may be displayed in order on the display 217 of the imaging device 200 to select an image to be transmitted to the image management device 300, or a plurality of captured images may be displayed on the display 217 of the imaging device 200. Alternatively, the touch panel display 217 may be selected. Further, a unique image number may be associated with the captured image, and the image number or a range of image numbers may be input.

撮像装置200により選択された画像を、次のステップS505において、画像管理装置300のCPU301は、ステップS504で選択され送信された撮像画像を受信し、画像管理装置300の外部メモリ311に記憶する。   In the next step S 505, the CPU 301 of the image management apparatus 300 receives the image selected by the imaging apparatus 200 and transmits it in the external memory 311 of the image management apparatus 300 in step S 504.

次に、ステップS506において、画像管理装置300のCPU301は、撮像装置200上に表示させるメニュー項目情報を撮像装置200へ送信する。   Next, in step S <b> 506, the CPU 301 of the image management apparatus 300 transmits menu item information to be displayed on the imaging apparatus 200 to the imaging apparatus 200.

送信されたメニュー項目情報を受信した撮像装置200のシステムコントローラ210は、次のステップS507において、撮像装置200のディスプレイ217にユーザの選択を促すメニュー画面を表示する。撮像装置200のディスプレイ217に表示する画面イメージを図9を参照して説明する。   The system controller 210 of the imaging apparatus 200 that has received the transmitted menu item information displays a menu screen that prompts the user to select on the display 217 of the imaging apparatus 200 in the next step S507. A screen image displayed on the display 217 of the imaging apparatus 200 will be described with reference to FIG.

図9は、本発明の撮像装置200のディスプレイ217に表示されるメニューの画面イメージである。なお、このログオン画面900の内、顔画像変換メニュー901と画像Web登録メニュー902以外のメニュー項目は、撮像装置200に予め内蔵されているメニュー項目であり、顔画像変換メニュー901と画像Web登録メニュー902のメニュー項目は、画像管理装置300から受信した項目である。すなわち、撮像装置200に内蔵されているメニュー項目と画像管理装置300から取得したメニュー項目とを同じ画面に表示している。このことにより、ユーザは他のメニューと同様にシームレスに顔画像変換やWebへの登録が可能となる。   FIG. 9 is a screen image of a menu displayed on the display 217 of the imaging apparatus 200 of the present invention. In the logon screen 900, menu items other than the face image conversion menu 901 and the image Web registration menu 902 are menu items built in the imaging apparatus 200 in advance, and the face image conversion menu 901 and the image Web registration menu are included. A menu item 902 is an item received from the image management apparatus 300. That is, the menu items built in the imaging apparatus 200 and the menu items acquired from the image management apparatus 300 are displayed on the same screen. As a result, the user can seamlessly convert face images and register to the Web as with other menus.

図9の900は、ユーザが顔画像変換メニューボタン901を押下した直後のメニュー画面の例である。図5のフローチャートの説明に戻る。   900 in FIG. 9 is an example of a menu screen immediately after the user presses the face image conversion menu button 901. Returning to the flowchart of FIG.

図5のステップS507において、撮像装置200のシステムコントローラ210は、メニュー画面900を表示し、次のステップS508において、ユーザの入力を受け付ける。受け付けた入力メニューが顔画像変換メニューか、画像Web登録メニューであれば、ステップS509へと処理を移行し、それ以外のメニューであれば、図示しない撮像装置200が有する処理を実施する。   In step S507 of FIG. 5, the system controller 210 of the imaging apparatus 200 displays the menu screen 900, and accepts a user input in the next step S508. If the received input menu is the face image conversion menu or the image Web registration menu, the process proceeds to step S509. If the received input menu is any other menu, the process of the imaging apparatus 200 (not shown) is performed.

ステップS509へ処理を移行すると、画像管理装置300のCPU301は、撮像装置200から選択されたメニュー項目を受信し、次のステップS510でメニュー項目により分岐する。   When the process proceeds to step S509, the CPU 301 of the image management apparatus 300 receives the menu item selected from the imaging apparatus 200, and branches to the menu item in the next step S510.

ステップS508で選ばれたメニュー項目が顔画像変換メニューの場合は、ステップS511へと処理を移行し、Web登録メニューの場合は、ステップS512へと処理を移行する。また、ステップS508で終了ボタンが押下されている場合は、一連の処理を終える。ステップS511の顔画像変換処理の詳細を図6を参照して説明する。   If the menu item selected in step S508 is a face image conversion menu, the process proceeds to step S511. If the menu item is a Web registration menu, the process proceeds to step S512. If the end button is pressed in step S508, the series of processing ends. Details of the face image conversion processing in step S511 will be described with reference to FIG.

図6は、本発明の画像管理装置における顔画像変換処理の流れを説明するフローチャートであり、画像管理装置300のCPU(図3の301)の制御の下、処理が実行される。なお、S601〜S606は各処理ステップを示す。   FIG. 6 is a flowchart for explaining the flow of the face image conversion process in the image management apparatus of the present invention. The process is executed under the control of the CPU (301 in FIG. 3) of the image management apparatus 300. Note that S601 to S606 indicate each processing step.

図6のフローチャートは、図5のステップS511の処理に到達すると開始される処理である。   The flowchart in FIG. 6 is a process that is started when the process of step S511 in FIG. 5 is reached.

まず、ステップS601において、画像管理装置300のCPU301は、ステップS505で受信した撮影画像の内、どの撮影画像の顔を変換するのかの情報をユーザに選択させるため、画像選択候補表示画面を撮像装置200に送信する。画像選択候補表示画面を受信した撮像装置200は、ユーザにより顔画像を変換する撮影画像を選択される。撮像装置200に送られる画像選択候補表示画面の例を図10を参照して説明する。   First, in step S601, the CPU 301 of the image management apparatus 300 displays an image selection candidate display screen in order to allow the user to select information about which face of the captured image to be converted among the captured images received in step S505. 200. Upon receiving the image selection candidate display screen, the imaging apparatus 200 selects a captured image for converting a face image by the user. An example of the image selection candidate display screen sent to the imaging apparatus 200 will be described with reference to FIG.

図10は、本発明の撮像装置200のディスプレイ217に表示される画像選択候補を表示した画面イメージである。なお、この画面1000に表示されている撮影画像1006は、画像管理装置300から画像データ全て受信して表示しても良いし、画像管理装置300と撮像装置200のどちらも撮影画像データは持っているので、画像に対応して付された画像番号のみを撮像装置に送信して、撮像画像1006自体は撮像装置200の画像データを使用して表示しても良い。   FIG. 10 is a screen image displaying image selection candidates displayed on the display 217 of the imaging apparatus 200 of the present invention. The captured image 1006 displayed on the screen 1000 may be received and displayed from the image management apparatus 300, or both the image management apparatus 300 and the imaging apparatus 200 have captured image data. Therefore, only the image number assigned corresponding to the image may be transmitted to the imaging apparatus, and the captured image 1006 itself may be displayed using the image data of the imaging apparatus 200.

図10の画像選択候補表示画面1000には、ユーザに顔画像を変換する画像データを選択するよう促す文字が1001に表示され、撮像画像1006の中からユーザが1枚もしくは複数枚の撮影画像を選択することができる。画像選択候補表示画面1000の例では、1002の撮像画像をユーザが選択している状態である。この状態で選択ボタン1003が押下されると、撮影画像1002のみが選択されて、撮影画像1002のみが顔画像変換対象の撮影画像となる。また、画像選択候補表示画面1000の状態で全選択ボタン1004が押下されると、撮影画像1006の全ての撮像画像が顔画像変換対象となる。なお、キャンセルボタン1005が押下されると、図6のフローチャートの処理を終了する。図6のフローチャートの説明に戻る。   On the image selection candidate display screen 1000 in FIG. 10, characters that prompt the user to select image data for converting a face image are displayed on 1001, and the user selects one or a plurality of captured images from the captured image 1006. You can choose. In the example of the image selection candidate display screen 1000, the user has selected 1002 captured images. When the selection button 1003 is pressed in this state, only the photographed image 1002 is selected, and only the photographed image 1002 becomes a photographed image to be subjected to face image conversion. When the all selection button 1004 is pressed in the state of the image selection candidate display screen 1000, all the captured images of the captured image 1006 are subject to face image conversion. Note that when the cancel button 1005 is pressed, the processing of the flowchart of FIG. 6 ends. Returning to the flowchart of FIG.

ステップS601で撮像装置200へ送信した画像選択候補表示画面1000により、撮像装置200で指定された選択画像を、次のステップS602で、画像管理装置300のCPU301は、選択画像自体もしくは選択画像の画像番号として取得する。   In the next step S602, the CPU 301 of the image management apparatus 300 selects the selected image itself or the image of the selected image from the image selection candidate display screen 1000 transmitted to the imaging apparatus 200 in step S601. Get as a number.

ステップS602において、顔画像を変換する対象の撮影画像を取得・指定されると、次に、ステップS603において、画像管理装置300のCPU301は、指定された撮影画像に撮影されている顔画像を検出します。顔画像の検出方法としては、たとえば、顔パーツ(目、鼻、口)の検出や、肌色検出、頭髪分布、シルエット(頭部、首の部分のくびれ、肩)からの検出などがあるが、これらにはこだわらない。   When a captured image to be converted into a face image is acquired / designated in step S602, next, in step S603, the CPU 301 of the image management apparatus 300 detects a face image photographed in the designated photographed image. To do. Examples of face image detection methods include detection of face parts (eyes, nose, mouth), skin color detection, hair distribution, silhouette (constriction of head, neck, shoulder), I do not stick to these.

次に、ステップS604において、画像管理装置300のCPU301は、画像管理装置300が有する顔画像のデータである顔画像DBから顔画像情報を取得する。この顔画像DBは、たとえば、Facebook(登録商標)などのSNS(Social Networking Service)に登録されているユーザプロファイルが有する顔画像情報などが良い。SNSのユーザプロファイルに顔情報を掲載していない人は、顔情報を公開したくない可能性が高く、またそもそもSNSに登録していない人は、顔情報を公開してよいのかも分からないため、それらの顔画像を公開することは、個人情報保護上、リスクが高い。そのため、SNSに顔情報が登録されている人のみを顔画像を加工せずに公開し、それ以外の人は顔画像を加工して表示して、個人情報を保護する。なお、取得する顔画像情報はSNSの全ての顔画像でもよいが、顔画像の一致不一致に時間がかかるようであれば、ステップS503で認証したユーザの関係するSNSのグループ内の人のユーザプロファイルの顔画像のみを取得しても良い。   Next, in step S <b> 604, the CPU 301 of the image management apparatus 300 acquires face image information from the face image DB that is face image data included in the image management apparatus 300. The face image DB may be, for example, face image information possessed by a user profile registered in an SNS (Social Networking Service) such as Facebook (registered trademark). People who do not post face information in the SNS user profile are more likely not to disclose face information, and those who are not registered in SNS do not know whether face information may be disclosed in the first place. Publishing those face images has a high risk for protecting personal information. Therefore, only the person whose face information is registered in the SNS is disclosed without processing the face image, and other persons process and display the face image to protect personal information. The face image information to be acquired may be all face images of the SNS. However, if it takes time to match and mismatch the face images, the user profile of the person in the SNS group to which the user authenticated in step S503 is related. Only the face image of may be acquired.

ステップS604において、顔画像情報を取得すると、次のステップS605において、それらの顔画像情報がと、顔の特徴がなどが一致している顔が撮像画像の中にあるかどうかを判断する。顔の特徴が一致する顔情報がない場合、ステップS606へと処理を移行し、顔の特徴が一致している顔情報がある場合は、ステップS606を実行せず、ステップS607へと処理を移行する。ここで撮影画像の顔画像と顔情報DBの顔情報との特徴が一致しているかの判断は、たとえば、顔の外形、顔を形成する目、口、鼻、耳などのパーツの位置、形状、相互関係などを認識して数値化し、数値化された特徴をデータベースなどで照合して個人の識別をすることができる。   When the face image information is acquired in step S604, in the next step S605, it is determined whether or not there is a face in the captured image that has the same facial features and the like. If there is no face information with matching facial features, the process proceeds to step S606. If there is face information with matching facial features, step S606 is not performed, and the process proceeds to step S607. To do. Here, the judgment as to whether the characteristics of the face image of the photographed image and the face information in the face information DB are the same is, for example, the shape of the face, the position and shape of parts such as the eyes, mouth, nose and ears that form the face. Individuals can be identified by recognizing mutual relations and digitizing them and collating the digitized characteristics with a database or the like.

撮影画像の顔画像に、顔情報DBの特徴が一致している顔情報がない場合は、ステップS606へと処理を移行し、ステップS606において、画像管理装置300のCPU301は、顔情報と一致する画像がない顔画像に対して、顔が分からないような画像で上書きする。この処理により、顔情報が登録されていない、すなわち顔情報を公開していない被写体人物の顔は、そのまま公開されることがないという効果を有する。具体的に顔画像を上書きするイメージを図11、図12を参照して説明する。   If the face image of the photographed image does not have face information whose features in the face information DB match, the process proceeds to step S606. In step S606, the CPU 301 of the image management apparatus 300 matches the face information. Overwrite the face image with no image with an image whose face is unknown. This process has an effect that the face of the subject person whose face information is not registered, that is, whose face information is not disclosed, is not disclosed as it is. A specific image for overwriting a face image will be described with reference to FIGS.

図11は、本発明の撮像装置200のディスプレイ217に表示される撮影画像の一例を示す画面イメージである。   FIG. 11 is a screen image showing an example of a captured image displayed on the display 217 of the imaging apparatus 200 of the present invention.

図11の1100には、人物像1101と人物像1102の2人が撮影されており、それぞれの人物の顔が顔情報DBに登録されているかによって、1100の顔画像を変換するか判断する。   In 1100 of FIG. 11, two people, a person image 1101 and a person image 1102, are photographed, and it is determined whether or not to convert the face image of 1100 depending on whether the faces of each person are registered in the face information DB.

たとえば、1101の人物の顔情報は、顔情報DBに登録されており、1102の人物の顔情報は、顔情報DBに登録されていない場合を考える。1101の人物の顔情報は顔情報DBに登録されているので、そのままの画像で表示し、一方、1102の人物の顔情報は顔情報DBに登録されていないので、別の画像により上書きされて表示される。顔画像が上書きされた画面イメージを図12を参照して説明する。   For example, let us consider a case where the face information of the person 1101 is registered in the face information DB, and the face information of the person 1102 is not registered in the face information DB. Since the face information of the person 1101 is registered in the face information DB, the face information is displayed as it is. On the other hand, since the face information of the person 1102 is not registered in the face information DB, it is overwritten with another image. Is displayed. A screen image on which the face image is overwritten will be described with reference to FIG.

図12は、本発明の撮像装置200のディスプレイ217に表示される撮影画像の一例を示す画面イメージであり、撮像画像の顔画像のうち、顔情報DBに登録されていない顔画像を文字絵で上書き変換した例を示している。   FIG. 12 is a screen image showing an example of a captured image displayed on the display 217 of the imaging apparatus 200 of the present invention. Of the facial images of the captured image, facial images that are not registered in the facial information DB are represented by character pictures. An example of overwriting conversion is shown.

図12の1200には、顔情報が登録されている人物像1101と、顔情報が登録されていない人物像1102とが撮影されていたため、顔情報が登録されていない顔画像である人物像1104には、上書きで文字絵を貼り付けている。この処理により、顔情報が登録されていない顔画像は、そのまま公開されることがないため、顔情報を登録していない人物の個人情報を保護できるという効果を有する。図6のフローチャートの説明に戻る。   In FIG. 12, since a person image 1101 in which face information is registered and a person image 1102 in which face information is not registered are photographed in 1200 in FIG. 12, a person image 1104 that is a face image in which face information is not registered. The text picture is pasted by overwriting. By this processing, since the face image in which no face information is registered is not disclosed as it is, there is an effect that personal information of a person for whom no face information is registered can be protected. Returning to the flowchart of FIG.

ステップS605からステップS606までの処理を撮影画像の撮影された顔画像毎に繰り返し、全ての顔画像に対して、顔情報があるかを確認する。顔画像の確認と顔画像変換が終わると、次のステップS607へと処理を進める。   The processing from step S605 to step S606 is repeated for each captured face image of the captured image, and it is confirmed whether there is face information for all face images. When the face image confirmation and the face image conversion are completed, the process proceeds to the next step S607.

ステップS607へと処理を進めると、画像管理装置300のCPU301は、変換した撮像画像を撮像装置200へ送信する。送信された撮影画像を表示した表示イメージを図
12を参照して説明する。
When the process proceeds to step S <b> 607, the CPU 301 of the image management apparatus 300 transmits the converted captured image to the imaging apparatus 200. A display image displaying the transmitted captured image will be described with reference to FIG.

図12の1200には、顔情報が登録されていない人物像1104の顔画像を文字絵1201に変換された画像として、撮像装置200のディスプレイ217に表示されている。この画面に保存ボタン1202とキャンセルボタン1203とが配置されており、保存ボタン1202が押下されると、撮像装置200のシステムコントローラ210は、画像管理装置300へ、顔変換画像1200の画像を保存させる命令を送信する。   In 1200 of FIG. 12, a face image of a person image 1104 for which face information is not registered is displayed on the display 217 of the imaging apparatus 200 as an image converted to a character picture 1201. A save button 1202 and a cancel button 1203 are arranged on this screen. When the save button 1202 is pressed, the system controller 210 of the imaging apparatus 200 causes the image management apparatus 300 to save the image of the face conversion image 1200. Send instructions.

画像を保存する命令を受信した画像管理装置300のCPU301は、次のステップS608で、ステップS607で送信した顔変換画像を画像管理装置300の外部メモリ311に保存する。   The CPU 301 of the image management apparatus 300 that has received the instruction to save the image saves the face conversion image transmitted in step S607 in the external memory 311 of the image management apparatus 300 in the next step S608.

以上で、図6の顔画像変換処理のフローチャートの説明を終える。   This is the end of the description of the flowchart of the face image conversion process in FIG.

次に、ステップS512のWeb登録処理の詳細を図7を参照して説明する。   Next, details of the Web registration process in step S512 will be described with reference to FIG.

図7は、本発明の画像管理装置における画像Web登録処理の流れを説明するフローチャートであり、画像管理装置300のCPU(図3の301)の制御の下、処理が実行される。なお、S701〜S703は各処理ステップを示す。   FIG. 7 is a flowchart for explaining the flow of the image Web registration process in the image management apparatus of the present invention. The process is executed under the control of the CPU (301 in FIG. 3) of the image management apparatus 300. Note that S701 to S703 indicate each processing step.

図7のフローチャートは、図5のステップS512の処理に到達すると開始される処理である。   The flowchart of FIG. 7 is a process that starts when the process of step S512 of FIG. 5 is reached.

まず、ステップS701において、画像管理装置300のCPU301は、図6のステップS608で保存した顔変換画像をWebに登録して公開するのか判断させるために、画像Web登録画面を撮像装置200に送信する。画像Web登録画面を受信した撮像装置200は、ユーザによりWebに登録して公開するのかを判断を受け付ける。撮像装置200に送られる画像Web登録画面の例を図13を参照して説明する。   First, in step S701, the CPU 301 of the image management apparatus 300 transmits an image Web registration screen to the imaging apparatus 200 in order to determine whether the face conversion image stored in step S608 in FIG. . The imaging apparatus 200 that has received the image Web registration screen accepts a determination as to whether the user registers and publishes on the Web. An example of an image Web registration screen sent to the imaging apparatus 200 will be described with reference to FIG.

図13は、本発明の撮像装置200のディスプレイ217に表示される顔画像を変換した撮影画像の一例を示す画面イメージである。   FIG. 13 is a screen image showing an example of a captured image obtained by converting a face image displayed on the display 217 of the imaging apparatus 200 of the present invention.

図13の1300には、顔情報が登録されていない人物の顔画像を文字絵に変換された画像として、撮像装置200のディスプレイ217に表示されており、また、この画面には、Web登録ボタン1301とキャンセルボタン1302とが配置されている。この画面において、Web登録ボタン1301が押下されると、撮像装置200のシステムコントローラ210は、画像管理装置300へ、顔変換画像1300の画像をWebに登録させる命令を送信する。一方、キャンセルボタン1302が押下されると、Web登録はしないという命令を送信する。図7のフローチャートの説明に戻る。   In 1300 in FIG. 13, a face image of a person whose face information is not registered is displayed on the display 217 of the imaging apparatus 200 as an image converted into a character picture. On this screen, a Web registration button is displayed. 1301 and a cancel button 1302 are arranged. When the Web registration button 1301 is pressed on this screen, the system controller 210 of the imaging apparatus 200 transmits an instruction for registering the image of the face conversion image 1300 to the Web to the image management apparatus 300. On the other hand, when the cancel button 1302 is pressed, an instruction not to perform Web registration is transmitted. Returning to the flowchart of FIG.

次に、図7のステップS702において、画像管理装置300のCPU301は、撮像装置200から受信したWeb登録するかどうかの情報により、処理を分ける。Web登録をするという情報を受け取った場合は、ステップS703へと処理を進め、ステップS703において画像管理装置のWeb公開する領域に顔変換画像1300を登録して、1枚の顔変換画像の処理を終える。一方、ステップS702において、Web登録しないという情報を受け取った場合は、Web公開する領域に顔変換画像1300を登録せずに処理を終える。   Next, in step S <b> 702 of FIG. 7, the CPU 301 of the image management apparatus 300 divides the process according to the information received from the imaging apparatus 200 as to whether to perform Web registration. If the Web registration information is received, the process proceeds to step S703. In step S703, the face conversion image 1300 is registered in the Web public area of the image management apparatus, and one face conversion image is processed. Finish. On the other hand, if it is determined in step S702 that information indicating that the Web registration is not performed is received, the process ends without registering the face conversion image 1300 in the Web public area.

以上で、図6の顔画像変換処理のフローチャートの説明を終え、図5のフローチャートの説明に戻る。   Above, description of the flowchart of the face image conversion process of FIG. 6 is completed, and it returns to description of the flowchart of FIG.

以上の図5のステップS511、すなわち図6の処理と、ステップS512、すなわち図7の処理とをWebに登録する回数だけ繰り返して、Webサーバに登録する画像を選択し、顔画像を変換する。なお、図6と図7の処理は、引き続いて行っても良く、またステップS602において、撮像装置から画像選択を受け付けると、ユーザへの確認のために撮像装置200へ情報を送信することなく、画像管理装置300側で自動的に顔画像DBのデータと照合して、ステップS602で選択された画像全てに対して顔変換するかしないかを判断し、Webサーバへ登録しても良い。   Step S511 in FIG. 5, that is, the process in FIG. 6 and step S512, that is, the process in FIG. 7, are repeated as many times as the number of registrations on the Web, and an image to be registered in the Web server is selected to convert the face image. 6 and 7 may be performed subsequently, and when an image selection is accepted from the imaging device in step S602, information is not transmitted to the imaging device 200 for confirmation to the user. The image management apparatus 300 may automatically collate with the data of the face image DB, determine whether or not to convert the face for all the images selected in step S602, and register it in the Web server.

以上の処理により、本発明の画像管理システムは、携帯端末や撮像装置からの写真投稿を容易にし、さらにSNSなどの顔情報が登録されている顔情報DBから、顔情報が登録されていない顔画像を検出し、顔情報が登録されていない顔画像は、代替画像に変換することにより、顔情報を登録していない人物の個人情報を保護できるという効果を有する。   With the above processing, the image management system of the present invention facilitates posting photos from a mobile terminal or an imaging device, and further, a face for which face information is not registered from a face information DB in which face information such as SNS is registered. By detecting an image and converting a face image in which no face information is registered into a substitute image, personal information of a person for whom no face information is registered can be protected.

上記実施形態では、画像管理装置と画像公開用のWebサーバとを共通の構成として説明したが、画像管理装置と画像公開用のWebサーバ構成は別の筐体としても良い。   In the above embodiment, the image management apparatus and the image publishing Web server have been described as a common configuration. However, the image management apparatus and the image publishing Web server structure may be separate housings.

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報,作成者等も記憶され、かつ、プログラム読み出し側のOS等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。   Although not specifically illustrated, information for managing a program group stored in the recording medium, for example, version information, creator, etc. is also stored, and information depending on the OS on the program reading side, for example, a program is identified. An icon to be displayed may also be stored.

さらに、各種プログラムに従属するデータも同じディレクトリに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。   Further, data belonging to various programs is also managed in the same directory. In addition, when a program or data to be installed is compressed, a program to be decompressed may be stored.

本実施形態における図4、図5、図6に示す機能が外部からインストールされるプログラムによって、撮像機能を有する情報処理装置により遂行されていてもよい。そして、その場合、CD−ROMやフラッシュメモリやFD等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。   The functions shown in FIGS. 4, 5, and 6 in this embodiment may be performed by an information processing apparatus having an imaging function by a program installed from the outside. In this case, the present invention is applied even when an information group including a program is supplied to the output device from a recording medium such as a CD-ROM, a flash memory, or an FD, or from an external recording medium via a network. Is.

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ(またはCPUやMPU)が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。   As described above, a recording medium that records a program code of software that realizes the functions of the above-described embodiments is supplied to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus records the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing the program code stored in the medium.

この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。   In this case, the program code itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program code constitutes the present invention.

プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テ−プ,不揮発性のメモリカ−ド,ROM,EEPROM,シリコンディスク等を用いることができる。   Examples of the recording medium for supplying the program code include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a DVD-ROM, a magnetic tape, and a non-volatile memory card. ROM, EEPROM, silicon disk, etc. can be used.

また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program code read out by the computer, not only the functions of the above-described embodiments are realized, but also the computer is operated on the basis of the instruction of the program code. It goes without saying that the OS (operating system) or the like performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program code read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the program code is read out. -A case where the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the function and the functions of the above-described embodiments are realized by the processing. Needless to say.

また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program represented by software for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ,データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Furthermore, by downloading and reading a program represented by software for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention. Is possible.

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。   In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

200 撮像装置
300 画像管理装置
200 Imaging device 300 Image management device

Claims (5)

複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置であって、
撮像画像を受信する撮像画像受信手段と、
前記撮像画像受信手段により受信した撮像画像に撮影された顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断手段と、
前記顔画像一致判断手段により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換手段と、
を有することを特徴とする画像管理装置。
An image management apparatus having face information storage means for storing a plurality of face information,
Captured image receiving means for receiving a captured image;
A face image detecting means for detecting a face image photographed in the captured image received by the captured image receiving means;
A face image coincidence determining unit that determines whether or not the features of the face image detected by the face image detecting unit and the face information stored in the face information storage unit match.
Image conversion means for converting the face image into an alternative image when the face image match determination means does not have face information whose characteristics match the face image in the plurality of face information;
An image management apparatus comprising:
前記画像管理装置は、前記撮像画像をWebのコンテンツとして公開する公開処理手段を有し、
前記公開処理手段は、前記画像変換手段により前記顔画像を代替画像に変換された撮像画像を、Webのコンテンツとして公開することを特徴とする請求項1に記載の画像管理装置。
The image management apparatus includes a publication processing unit that publishes the captured image as Web content,
The image management apparatus according to claim 1, wherein the publication processing unit publishes a captured image obtained by converting the face image into a substitute image by the image conversion unit as Web content.
前記撮像画像を送信する撮像画像送信装置に対して、顔画像変換メニューを表示させる顔画像変換メニュー表示制御手段を有することを特徴とする請求項1または2に記載の画像管理装置。   The image management apparatus according to claim 1, further comprising a face image conversion menu display control unit configured to display a face image conversion menu with respect to the captured image transmission apparatus that transmits the captured image. 複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置の画像管理方法であって、
撮像画像を受信する撮像画像受信工程と、
前記撮像画像受信工程により受信した撮像画像に撮影された顔画像を検出する顔画像検出工程と、
前記顔画像検出工程により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断工程と、
前記顔画像一致判断工程により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換工程と、
を有することを特徴とする画像管理方法。
An image management method of an image management apparatus having face information storage means for storing a plurality of face information,
A captured image receiving step of receiving a captured image;
A face image detection step of detecting a face image captured in the captured image received by the captured image reception step;
A face image match determination step for determining whether the features of the face image detected by the face image detection step match the features of the face information stored in the face information storage means;
In the face image match determination step, when there is no face information whose characteristics match the face image in the plurality of face information, an image conversion step of converting the face image into an alternative image;
An image management method characterized by comprising:
請求項4に記載された画像管理方法を実行するためのプログラム。   A program for executing the image management method according to claim 4.
JP2013255810A 2013-12-11 2013-12-11 Image management device, image management method, and program Pending JP2015115741A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013255810A JP2015115741A (en) 2013-12-11 2013-12-11 Image management device, image management method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013255810A JP2015115741A (en) 2013-12-11 2013-12-11 Image management device, image management method, and program

Publications (1)

Publication Number Publication Date
JP2015115741A true JP2015115741A (en) 2015-06-22

Family

ID=53529182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013255810A Pending JP2015115741A (en) 2013-12-11 2013-12-11 Image management device, image management method, and program

Country Status (1)

Country Link
JP (1) JP2015115741A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020532903A (en) * 2017-09-05 2020-11-12 フェイスブック,インク. Modification of video data capture by imager based on video data previously captured by imager

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020532903A (en) * 2017-09-05 2020-11-12 フェイスブック,インク. Modification of video data capture by imager based on video data previously captured by imager
JP7258857B2 (en) 2017-09-05 2023-04-17 メタ プラットフォームズ, インク. Modification of video data capture by the imaging device based on video data previously captured by the imaging device

Similar Documents

Publication Publication Date Title
US9055276B2 (en) Camera having processing customized for identified persons
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
KR101901910B1 (en) Method and apparatus for generating or storing resultant image which changes selected area
US20130027569A1 (en) Camera having processing customized for recognized persons
JP6108755B2 (en) Shooting device, shot image transmission method, and shot image transmission program
JP2014131217A (en) Photographing device, photographing system, control method, and program for deterring leakage of personal information
JP2010021921A (en) Electronic camera and image processing program
JP2012084052A (en) Imaging apparatus, control method and program
JP2013135459A (en) Imaging apparatus and control method and program thereof
JP6417752B2 (en) Network camera system, information processing method, program
JP4837024B2 (en) Imaging apparatus, control method therefor, and program
JP2015106843A (en) Imaging device, imaging control method and program
JP2015115741A (en) Image management device, image management method, and program
JP2014115772A (en) Image processing apparatus, image processing system, control method, and program
JP2014115388A (en) Information processor, information processing system, control method, and program
JP5942422B2 (en) Information processing apparatus, control method thereof, and program
JP2014115982A (en) Photographing device, security release method and program
JP6337451B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP5464679B2 (en) Image capturing apparatus, control method therefor, and program for image capturing apparatus
JP2012129659A (en) Image pickup device, operation control method, and program
JP6282136B2 (en) Imaging apparatus and control method thereof
JP2018133806A (en) Imaging device, imaging system, and control method and program therefor
US8934738B2 (en) Image processing apparatus and method for controlling the same
JP2012235273A (en) Imaging device, control method, and program
JP6725853B2 (en) Network camera system, information processing method, program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150410

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101