JP2015201786A - Imaging system and imaging method - Google Patents

Imaging system and imaging method Download PDF

Info

Publication number
JP2015201786A
JP2015201786A JP2014080149A JP2014080149A JP2015201786A JP 2015201786 A JP2015201786 A JP 2015201786A JP 2014080149 A JP2014080149 A JP 2014080149A JP 2014080149 A JP2014080149 A JP 2014080149A JP 2015201786 A JP2015201786 A JP 2015201786A
Authority
JP
Japan
Prior art keywords
marker
captured image
imaging
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014080149A
Other languages
Japanese (ja)
Other versions
JP6278806B2 (en
Inventor
貴之 舞野
Takayuki MAINO
貴之 舞野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2014080149A priority Critical patent/JP6278806B2/en
Publication of JP2015201786A publication Critical patent/JP2015201786A/en
Application granted granted Critical
Publication of JP6278806B2 publication Critical patent/JP6278806B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging system and an imaging method, which can protect privacy of a third person being a subject without depending on the intension of a user of a mounting device.SOLUTION: An imaging system includes: a mounting device 20 which has an imaging section 201 for performing imaging and can be mounted on a part of a body of a user; and a marker 10 which a third person becoming a subject of the imaging section can mount. The marker includes a pattern section which includes instruction information for giving an instruction of display of a privacy protection image in a prescribed position in a captured image by the imaging section. The mounting device includes: a marker determination section 202 for determining whether the marker exists in the captured image acquired by the imaging section; and a captured image processing section 204 for superposing the privacy protection image on the prescribed position in the captured image in response to the instruction information which the pattern section shows.

Description

本発明は、撮像システム及び撮像方法に関する。   The present invention relates to an imaging system and an imaging method.

従来、被写体を撮像装置で撮像した際に特定の条件で被写体にぼかしやモザイク処理を行い、被写体のプライバシの保護を図る技術がある。例えば特許文献１に記載の画像処理装置は、撮像画像から顔の検出を行い、顔又はその背景に対してモザイク・ぼかし等のプライバシ保護処理を行うようになっている。また、例えば特許文献２に記載の撮像装置は、撮像画像中の顔面積の大きさに基づいて被写体の優先順位を設定し、主要な被写体と判断された被写体の顔部分にはモザイク処理を行わず、主要でない被写体と判断された被写体の顔部分にモザイク処理を行うようになっている。   2. Description of the Related Art Conventionally, there is a technique for protecting a subject's privacy by performing blurring or mosaic processing on the subject under specific conditions when the subject is imaged by an imaging device. For example, the image processing apparatus described in Patent Document 1 detects a face from a captured image and performs privacy protection processing such as mosaic / blurring on the face or its background. Further, for example, the imaging device described in Patent Document 2 sets the priority order of the subject based on the size of the face area in the captured image, and performs mosaic processing on the face portion of the subject determined to be the main subject. First, mosaic processing is performed on the face portion of a subject that is determined to be a non-main subject.

特開２００９−１９４６８７号公報JP 2009-194687 A 特開２００９−２８４２３５号公報JP 2009-284235 A

ところで、近年では、近年、眼鏡型や腕時計型といったユーザの体の一部に装着可能な装着デバイスの開発が盛んになってきている。かかる装着デバイスにも撮像装置が搭載されることが考えられるが、装着デバイスによる撮像のユーザ利便性を鑑みると、被写体である第三者の認知なしに撮像が行われてしまう場面が多発するおそれがある。また、装着デバイスに搭載されるアプリケーションによっては、装着デバイスのユーザの操作なしに被写体である第三者が撮像されてしまうことも考えられる。   By the way, in recent years, the development of wearing devices that can be worn on a part of a user's body, such as a glasses type or a wrist watch type, has become active. Although it is conceivable that an imaging device is also mounted on such a wearing device, in view of user convenience of imaging with the wearing device, there is a risk that scenes where imaging is performed without the recognition of the third person who is the subject may occur. There is. Further, depending on the application installed in the wearing device, it is conceivable that a third party as a subject is imaged without an operation of the user of the wearing device.

本発明は、上記課題の解決のためになされたものであり、装着デバイスのユーザの意図に依らずに被写体である第三者のプライバシを保護できる撮像システム及び撮像方法を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to provide an imaging system and an imaging method capable of protecting the privacy of a third party as a subject without depending on the intention of the user of the wearing device. To do.

上記課題の解決のため、本発明に係る撮像システムは、撮像を行う撮像手段を有し、ユーザの身体の一部に装着可能な装着デバイスと、撮像手段の被写体となる第三者が装着可能なマーカと、を備えて構成される撮像システムであって、マーカは、撮像手段による撮像画像中の所定位置にプライバシ保護用画像の表示を指示する指示情報を含むパターン部を有し、装着デバイスは、撮像手段によって取得された撮像画像中にマーカが存在するか否かを判断するマーカ判断手段と、マーカ判断手段によって撮像画像中にマーカが存在すると判断された場合に、パターン部が示す指示情報に基づいて撮像画像中の所定位置にプライバシ保護用画像を重畳する撮像画像加工手段と、を備える。   In order to solve the above-described problems, an imaging system according to the present invention has an imaging unit that performs imaging, and can be mounted on a mounting device that can be mounted on a part of the user's body and a third party that is a subject of the imaging unit A marker having a pattern portion including instruction information for instructing display of the privacy protection image at a predetermined position in the image captured by the imaging unit. Includes a marker determination unit that determines whether or not a marker exists in the captured image acquired by the imaging unit, and an instruction indicated by the pattern unit when the marker determination unit determines that the marker is present in the captured image. Captured image processing means for superimposing a privacy protection image on a predetermined position in the captured image based on the information.

この撮像システムでは、第三者がマーカを装着している場合に、装着デバイスで撮像された撮像画像中の所定位置にプライバシ保護用画像が重畳されるようになっている。つまり、この撮像システムでは、撮像画像中のプライバシ保護処理は、被写体である第三者の意思に基づいて装着デバイス側で自動的に行われるので、装着デバイスのユーザの意図に依らずに被写体である第三者のプライバシを保護できる。   In this imaging system, when a third party wears a marker, a privacy protection image is superimposed on a predetermined position in a captured image captured by the mounting device. In other words, in this imaging system, the privacy protection process in the captured image is automatically performed on the wearing device side based on the intention of the third person who is the subject, so that the subject is not subject to the intention of the user of the wearing device. Can protect the privacy of a third party.

また、マーカの形状寸法は統一されており、撮像画像加工手段は、撮像画像中のマーカの大きさに基づいて装着デバイスとマーカとの距離を検出し、当該距離に基づいてプライバシ保護用画像を重畳する所定位置を決定してもよい。この場合、撮像画像中の所定位置にプライバシ保護用画像を好適に重畳できる。   Further, the shape dimensions of the markers are unified, and the captured image processing means detects the distance between the mounting device and the marker based on the size of the marker in the captured image, and the privacy protection image is determined based on the distance. You may determine the predetermined position to superimpose. In this case, the privacy protection image can be suitably superimposed at a predetermined position in the captured image.

また、マーカは、当該マーカを特定するための特定情報を装着デバイスに送信する特定情報送信手段を有し、撮像画像加工手段は、装着デバイスと特定情報によって特定されるマーカとの距離を検出してプライバシ保護用画像を重畳する所定位置を決定してもよい。この場合、撮像画像中に複数のマーカが検出される場合であっても、撮像画像中の所定位置にプライバシ保護用画像を好適に重畳できる。   The marker has a specific information transmitting unit that transmits specific information for specifying the marker to the mounting device, and the captured image processing unit detects a distance between the mounting device and the marker specified by the specific information. The predetermined position where the privacy protection image is superimposed may be determined. In this case, even when a plurality of markers are detected in the captured image, the privacy protection image can be suitably superimposed on a predetermined position in the captured image.

また、マーカにおけるパターン部には、当該マーカを特定するための特定情報が指示情報に関連付けられており、撮像画像加工手段は、装着デバイスと特定情報によって特定されるマーカとの距離を検出してプライバシ保護用画像を重畳する所定位置を決定してもよい。この場合、撮像画像中に複数のマーカが検出される場合であっても、撮像画像中の所定位置にプライバシ保護用画像を好適に重畳できる。   In addition, specific information for specifying the marker is associated with the instruction information in the pattern portion of the marker, and the captured image processing means detects the distance between the mounting device and the marker specified by the specific information. A predetermined position on which the privacy protection image is superimposed may be determined. In this case, even when a plurality of markers are detected in the captured image, the privacy protection image can be suitably superimposed on a predetermined position in the captured image.

また、装着デバイスは、特定情報によって特定されるマーカに対し、マーカ判断手段によって撮像画像中にマーカが存在すると判断された場合に通知情報を送信する通知情報送信手段を更に備えていてもよい。こうすると、装着デバイスによってマーカが検出されたことをマーカ側で把握できる。   The wearing device may further include a notification information transmitting unit that transmits notification information when the marker is determined by the marker determining unit to be present in the captured image with respect to the marker specified by the specific information. In this way, the marker side can grasp that the marker has been detected by the mounting device.

また、マーカは、通知情報送信手段から通知情報を受信したことを報知する報知手段を更に備えていてもよい。こうすると、装着デバイスによってマーカが検出されたことを被写体である第三者側で把握できる。   In addition, the marker may further include notification means for notifying that notification information has been received from the notification information transmission means. In this way, the third party who is the subject can grasp that the marker has been detected by the wearing device.

また、本発明に係る撮像方法は、撮像を行う撮像手段を有し、ユーザの身体の一部に装着可能な装着デバイスと、撮像手段の被写体となる第三者が装着可能なマーカと、を用いた撮像方法であって、撮像手段による撮像画像中の所定位置にプライバシ保護用画像の表示を指示する指示情報を含むパターン部をマーカに設け、装着デバイスにおいて、マーカ判断手段が、撮像手段によって取得された撮像画像中にマーカが存在するか否かを判断し、撮像画像加工手段が、マーカ判断手段によって撮像画像中にマーカが存在すると判断された場合に、パターン部が示す指示情報に基づいて撮像画像中の所定位置にプライバシ保護用画像を重畳する。   In addition, an imaging method according to the present invention includes an imaging device that performs imaging, a mounting device that can be mounted on a part of a user's body, and a marker that can be mounted by a third party that is a subject of the imaging unit. In the imaging method used, a pattern portion including instruction information for instructing display of a privacy protection image is provided at a predetermined position in an image captured by the imaging unit. It is determined whether or not a marker is present in the acquired captured image, and when the captured image processing unit determines that the marker is present in the captured image by the marker determination unit, based on the instruction information indicated by the pattern unit Thus, the privacy protection image is superimposed at a predetermined position in the captured image.

この撮像方法では、第三者がマーカを装着している場合に、装着デバイスで撮像された撮像画像中の所定位置にプライバシ保護用画像が重畳されるようになっている。つまり、この撮像方法では、撮像画像中のプライバシ保護処理は、被写体である第三者の意思に基づいて装着デバイス側で自動的に行われるので、装着デバイスのユーザの意図に依らずに被写体である第三者のプライバシを保護できる。   In this imaging method, when a third party wears a marker, a privacy protection image is superimposed on a predetermined position in the captured image captured by the mounting device. In other words, in this imaging method, the privacy protection process in the captured image is automatically performed on the wearing device side based on the intention of the third person who is the subject, so that the subject is not subject to the intention of the user of the wearing device. Can protect the privacy of a third party.

本発明によれば、装着デバイスのユーザの意図に依らずに被写体である第三者のプライバシを保護できる。   According to the present invention, it is possible to protect the privacy of a third party as a subject regardless of the intention of the user of the wearing device.

本発明の一実施形態に係る撮像システムの概要を示す図である。1 is a diagram illustrating an overview of an imaging system according to an embodiment of the present invention. マーカの構成の一例を示す図である。It is a figure which shows an example of a structure of a marker. 図１に示した撮像システムの機能的な構成要素を示す図である。It is a figure which shows the functional component of the imaging system shown in FIG. プライバシ保護用画像が重畳された撮像画像の一例を示す図である。It is a figure which shows an example of the captured image on which the privacy protection image was superimposed. 図１に示した撮像システムの動作を示すシーケンスである。It is a sequence which shows operation | movement of the imaging system shown in FIG.

以下、図面を参照しながら、本発明に係る撮像システム及び撮像方法の好適な実施形態について詳細に説明する。   Hereinafter, preferred embodiments of an imaging system and an imaging method according to the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施形態に係る撮像システムの概要を示す図である。同図に示すように撮像システム１は、撮像部（撮像手段）２０１を備えると共に、例えばユーザＹの頭部に装着可能な眼鏡型の装着デバイス２０と、装着デバイス２０の被写体となる第三者Ｘが装着するマーカ１０とを備えて構成されている。この撮像システム１は、装着デバイス２０によって第三者Ｘの撮像が行われた場合であっても、撮像画像においてマーカ１０を装着した第三者Ｘのプライバシ処理が自動的になされる機能を有している。   FIG. 1 is a diagram showing an outline of an imaging system according to an embodiment of the present invention. As shown in FIG. 1, the imaging system 1 includes an imaging unit (imaging unit) 201 and, for example, a spectacle-type mounting device 20 that can be mounted on the head of the user Y and a third party that is a subject of the mounting device 20. And a marker 10 to which X is attached. This imaging system 1 has a function of automatically performing privacy processing of the third party X wearing the marker 10 in the captured image even when the third device X is captured by the mounting device 20. doing.

マーカ１０は、第三者Ｘがプライバシ保護の意思を表示するために装着するカード型の部材である。マーカ１０は、例えばストラップ付きのケースなどに入れられ、第三者Ｘが首から下げて携帯できるようになっている。このマーカ１０は、例えば図２に示すように、矩形の本体部１１を備えている。本体部１１の幅・長さといった形状寸法は、規格によって統一されており、いずれの第三者Ｘが装着するマーカ１０もすべて同一の形状寸法となっている。   The marker 10 is a card-type member that the third party X wears to display his / her privacy protection intention. The marker 10 is placed in a case with a strap, for example, so that the third party X can carry it down from the neck. For example, as shown in FIG. 2, the marker 10 includes a rectangular main body 11. Shape dimensions such as width and length of the main body 11 are standardized according to the standard, and all the markers 10 attached to any third party X have the same shape dimensions.

本体部１１の一面側には、例えばパターン部１２と、報知部（報知手段）１３とが設けられている。パターン部１２は、例えば二次元コードなどにより、撮像部２０１による撮像画像中の所定位置にプライバシ保護用画像の表示を指示する指示情報が印字されている部分である。指示情報には、例えば撮像画像中のマーカ１０の位置に対してどの位置にプライバシ保護用画像を表示させるかといった情報、表示させるプライバシ保護用画像の形状・寸法・模様に関する情報などが含まれている。また、報知部１３は、例えばＬＥＤなどの光源装置によって構成されている。報知部１３は、装着デバイス２０によってマーカ１０を装着している第三者Ｘが撮像されたことを第三者Ｘに報知するようになっている（詳細は後述する）。   For example, a pattern unit 12 and a notification unit (notification unit) 13 are provided on one surface side of the main body unit 11. The pattern unit 12 is a part on which instruction information for instructing display of the privacy protection image is printed at a predetermined position in the image captured by the image capturing unit 201, for example, using a two-dimensional code. The instruction information includes, for example, information on which position to display the privacy protection image with respect to the position of the marker 10 in the captured image, information on the shape, size, and pattern of the privacy protection image to be displayed. Yes. Moreover, the alerting | reporting part 13 is comprised by light source devices, such as LED, for example. The notification unit 13 notifies the third party X that the third party X wearing the marker 10 has been imaged by the mounting device 20 (details will be described later).

図３は、撮像システム１の機能的な構成要素を示すブロック図である。同図に示すように、マーカ１０は、機能的な構成要素として、特定情報送信部（特定情報送信手段）１０１と、通知情報受信部１０２とを有している。   FIG. 3 is a block diagram illustrating functional components of the imaging system 1. As shown in the figure, the marker 10 includes a specific information transmitting unit (specific information transmitting unit) 101 and a notification information receiving unit 102 as functional components.

特定情報送信部１０１は、マーカ１０を特定するための特定情報を装着デバイス２０に送信する部分である。特定情報は、例えばマーカ１０のＩＤ情報であり、複数の文字列などによって構成されている。特定情報送信部１０１は、所定の通信範囲をもってマーカ１０の周囲に特定情報を随時送信する。   The specific information transmission unit 101 is a part that transmits specific information for specifying the marker 10 to the mounting device 20. The specific information is, for example, ID information of the marker 10 and includes a plurality of character strings. The specific information transmitting unit 101 transmits specific information around the marker 10 at any time with a predetermined communication range.

通知情報受信部１０２は、装着デバイス２０から通知情報を受信する部分である。通知情報には、マーカ１０を装着している第三者Ｘが装着デバイス２０によって撮像されたことを示す情報が含まれている。通知情報受信部１０２は、装着デバイス２０から通知情報を受信した場合に、報知部１３を所定のパターンで駆動する。   The notification information receiving unit 102 is a part that receives notification information from the wearing device 20. The notification information includes information indicating that the third device X wearing the marker 10 has been imaged by the wearing device 20. The notification information receiving unit 102 drives the notification unit 13 in a predetermined pattern when receiving notification information from the wearing device 20.

装着デバイス２０は、撮像部（撮像手段）２０１と、マーカ判断部（マーカ判断手段）２０２と、特定情報受信部２０３と、撮像画像加工部（撮像画像加工手段）２０４と、画像格納部２０５と、通知情報送信部（通知情報送信手段）２０６とを有している。   The mounting device 20 includes an imaging unit (imaging unit) 201, a marker determination unit (marker determination unit) 202, a specific information reception unit 203, a captured image processing unit (captured image processing unit) 204, and an image storage unit 205. And a notification information transmission unit (notification information transmission means) 206.

撮像部２０１は、撮像を行う部分である。撮像部２０１は、例えばユーザＹの所定の操作或いは自動で装着デバイス２０の前方を撮像し、撮像画像を取得する。撮像部２０１は、取得した撮像画像をマーカ判断部２０２に出力する。   The imaging unit 201 is a part that performs imaging. For example, the imaging unit 201 captures an image of the front of the mounting device 20 by a predetermined operation of the user Y or automatically, and acquires a captured image. The imaging unit 201 outputs the acquired captured image to the marker determination unit 202.

マーカ判断部２０２は、撮像部２０１によって取得された撮像画像中にマーカ１０が存在するか否かを判断する部分である。マーカ判断部２０２は、例えばマーカ１０の形状又はマーカ１０のパターン部１２の検出によって、撮像画像中にマーカ１０が存在するか否かを判断する。マーカ判断部２０２は、判断結果を示す判断結果情報を撮像画像と共に撮像画像加工部２０４に出力する。また、マーカ判断部２０２は、撮像画像中にマーカ１０が存在すると判断した場合に、判断結果情報を通知情報送信部２０６に出力する。   The marker determination unit 202 is a part that determines whether or not the marker 10 is present in the captured image acquired by the imaging unit 201. The marker determining unit 202 determines whether or not the marker 10 is present in the captured image, for example, by detecting the shape of the marker 10 or the pattern unit 12 of the marker 10. The marker determination unit 202 outputs determination result information indicating the determination result to the captured image processing unit 204 together with the captured image. Further, when the marker determination unit 202 determines that the marker 10 is present in the captured image, the marker determination unit 202 outputs determination result information to the notification information transmission unit 206.

特定情報受信部２０３は、マーカ１０が送信している特定情報を受信する部分である。特定情報受信部２０３は、受信した特定情報を撮像画像加工部２０４に出力する。また、特定情報受信部２０３は、受信した特定情報を通知情報送信部２０６に出力する。   The specific information receiving unit 203 is a part that receives the specific information transmitted by the marker 10. The specific information receiving unit 203 outputs the received specific information to the captured image processing unit 204. Further, the specific information receiving unit 203 outputs the received specific information to the notification information transmitting unit 206.

撮像画像加工部２０４は、撮像画像中の所定位置にプライバシ保護用画像を重畳する部分である。撮像画像加工部２０４は、マーカ判断部２０２から判断結果情報と撮像画像とを受け取ると、判断結果情報を参照し、撮像画像中にマーカ１０が存在しない旨の判断結果情報を受け取った場合には、撮像画像に加工を行わずに画像格納部２０５に格納する。   The captured image processing unit 204 is a part that superimposes a privacy protection image on a predetermined position in the captured image. When the captured image processing unit 204 receives the determination result information and the captured image from the marker determination unit 202, the captured image processing unit 204 refers to the determination result information, and receives the determination result information indicating that the marker 10 does not exist in the captured image. The captured image is stored in the image storage unit 205 without being processed.

一方、撮像画像加工部２０４は、撮像画像中にマーカ１０が存在する旨の判断結果情報を受け取った場合には、特定情報受信部２０３から受け取った特定情報に基づいて撮像画像中のマーカ１０を特定する。そして、撮像画像加工部２０４は、撮像画像中のマーカ１０の大きさに基づいて装着デバイス２０とマーカ１０との距離や撮像部２０１の光軸に対する角度などを検出し、当該距離に基づいてプライバシ保護用画像を重畳する。このとき、撮像画像加工部２０４は、マーカ１０のパターン部１２を解析し、パターン部１２に含まれる指示情報に基づいて、撮像画像中のマーカ１０に対するプライバシ保護用画像の表示位置や、表示させるプライバシ保護用画像の形状・寸法・模様などを決定する。   On the other hand, when the captured image processing unit 204 receives the determination result information indicating that the marker 10 exists in the captured image, the captured image processing unit 204 displays the marker 10 in the captured image based on the specific information received from the specific information receiving unit 203. Identify. Then, the captured image processing unit 204 detects the distance between the mounting device 20 and the marker 10 based on the size of the marker 10 in the captured image, the angle of the imaging unit 201 with respect to the optical axis, and the like based on the distance. Superimpose a protection image. At this time, the captured image processing unit 204 analyzes the pattern portion 12 of the marker 10 and displays the display position of the privacy protection image for the marker 10 in the captured image based on the instruction information included in the pattern portion 12. Determine the shape, dimensions, pattern, etc. of the privacy protection image.

図４は、プライバシ保護用画像が重畳された撮像画像の一例を示す図である。同図に示す例では、マーカ１０を装着した第三者Ｘの顔部周辺の画像が装着デバイス２０によって撮像されており、マーカ１０の上方で且つ第三者Ｘの両目を含む横長の略長方形状領域に、プライバシ保護用画像Ｐが重畳されている。撮像画像加工部２０４は、加工後の撮像画像を画像格納部２０５に格納する。   FIG. 4 is a diagram illustrating an example of a captured image on which a privacy protection image is superimposed. In the example shown in the figure, an image of the periphery of the face of the third person X wearing the marker 10 is taken by the wearing device 20, and is a horizontally long substantially rectangular shape above the marker 10 and including both eyes of the third person X. The privacy protection image P is superimposed on the shape area. The captured image processing unit 204 stores the processed captured image in the image storage unit 205.

通知情報送信部２０６は、撮像画像中にマーカ１０が存在すると判断された場合に通知情報を送信する部分である。通知情報送信部２０６は、特定情報受信部２０３からマーカ１０の特定情報を受け取ると共に、マーカ判断部２０２から撮像画像中にマーカ１０が存在する旨の判断結果情報を受け取る。そして、通知情報送信部２０６は、マーカ判断部２０２から判断結果情報を受け取った場合に、特定情報によって特定されるマーカ１０に向けて通知情報を送信する。   The notification information transmission unit 206 is a part that transmits notification information when it is determined that the marker 10 is present in the captured image. The notification information transmission unit 206 receives the specific information of the marker 10 from the specific information reception unit 203 and receives determination result information indicating that the marker 10 is present in the captured image from the marker determination unit 202. When the notification information transmission unit 206 receives the determination result information from the marker determination unit 202, the notification information transmission unit 206 transmits the notification information toward the marker 10 specified by the specific information.

続いて、上述した撮像システム１の動作について説明する。図５は、撮像システム１の動作を示すシーケンスである。   Next, the operation of the imaging system 1 described above will be described. FIG. 5 is a sequence showing the operation of the imaging system 1.

同図に示すように、第三者Ｘが装着するマーカ１０は、当該マーカ１０を特定するための特定情報を周囲に送信している。特定情報の通信距離内に装着デバイス２０が位置すると、当該装着デバイス２０に向けて特定情報の送信がなされる（ステップＳ０１）。次に、装着デバイス２０においてマーカ１０を装着した第三者Ｘの撮像がなされると（ステップＳ０２）、取得した撮像画像中にマーカ１０が存在するか否かの判断がなされる（ステップＳ０３）。   As shown in the figure, the marker 10 worn by the third party X transmits specific information for specifying the marker 10 to the surroundings. When the mounting device 20 is located within the communication distance of the specific information, the specific information is transmitted to the mounting device 20 (step S01). Next, when an image of the third person X wearing the marker 10 is taken in the wearing device 20 (step S02), it is determined whether or not the marker 10 is present in the acquired taken image (step S03). .

撮像画像中にマーカ１０が存在すると判断された場合、装着デバイス２０からマーカ１０に対して通知情報が送信され（ステップＳ０４）、通知情報を受信したマーカ１０では、報知部１３におけるＬＥＤの点灯などによって、第三者Ｘに対する通知情報の報知がなされる（ステップＳ０５）。   When it is determined that the marker 10 is present in the captured image, notification information is transmitted from the mounting device 20 to the marker 10 (step S04). Thus, the notification information for the third party X is notified (step S05).

また、装着デバイス２０では、撮像画像中におけるマーカ１０のパターン部１２の解析がなされ（ステップＳ０６）、撮像画像中のマーカ１０に対するプライバシ保護用画像の表示位置や、表示させるプライバシ保護用画像の形状・寸法・模様などが決定される。そして、装着デバイス２０では、プライバシ保護用画像が撮像画像に重畳され（ステップＳ０７）、撮像画像の格納がなされる（ステップＳ０８）。   In addition, the wearing device 20 analyzes the pattern portion 12 of the marker 10 in the captured image (step S06), and the display position of the privacy protection image with respect to the marker 10 in the captured image and the shape of the privacy protection image to be displayed.・ Dimensions and patterns are determined. Then, in the wearing device 20, the privacy protection image is superimposed on the captured image (step S07), and the captured image is stored (step S08).

以上説明したように、撮像システム１では、第三者Ｘがマーカ１０を装着している場合に、装着デバイス２０で撮像された撮像画像中の所定位置にプライバシ保護用画像が重畳されるようになっている。つまり、この撮像システム１では、撮像画像中のプライバシ保護処理は、被写体である第三者Ｘの意思に基づいて装着デバイス２０側で自動的に行われるので、装着デバイス２０のユーザＹの意図に依らずに被写体である第三者Ｘのプライバシを保護できる。   As described above, in the imaging system 1, when the third party X wears the marker 10, the privacy protection image is superimposed on a predetermined position in the captured image captured by the mounting device 20. It has become. That is, in this imaging system 1, privacy protection processing in the captured image is automatically performed on the wearing device 20 side based on the intention of the third person X who is the subject. The privacy of the third party X that is the subject can be protected regardless.

また、撮像システム１では、マーカ１０の形状寸法が統一されており、撮像画像加工部２０４は、撮像画像中のマーカ１０の大きさに基づいて装着デバイス２０とマーカ１０との距離を検出し、当該距離に基づいてプライバシ保護用画像を重畳する所定位置を決定する。これにより、プライバシ保護用画像を重畳させる処理が簡便なものとなり、撮像画像中の所定位置にプライバシ保護用画像を好適に重畳できる。また、第三者Ｘは、パターン部１２の異なるマーカ１０を付け替えることで、撮像画像に表示するプライバシ保護用画像の表示位置等を簡単に調整することができる。なお、撮像画像加工部２０４におけるプライバシ保護用画像の重畳には、公知の顔認識技術等を組み合わせてもよい。   Moreover, in the imaging system 1, the shape dimensions of the marker 10 are unified, and the captured image processing unit 204 detects the distance between the mounting device 20 and the marker 10 based on the size of the marker 10 in the captured image, A predetermined position on which the privacy protection image is superimposed is determined based on the distance. Thereby, the process of superimposing the privacy protection image becomes simple, and the privacy protection image can be suitably superimposed at a predetermined position in the captured image. In addition, the third party X can easily adjust the display position of the privacy protection image displayed on the captured image by changing the different marker 10 of the pattern unit 12. It should be noted that a known face recognition technique or the like may be combined with the privacy protection image superposition in the captured image processing unit 204.

また、撮像システム１では、マーカ１０が特定情報を装着デバイス２０に送信している。このため、撮像画像中に複数のマーカ１０が検出される場合であっても、撮像画像中の所定位置にプライバシ保護用画像を好適に重畳できる。   In the imaging system 1, the marker 10 transmits specific information to the mounting device 20. For this reason, even when a plurality of markers 10 are detected in the captured image, the privacy protection image can be suitably superimposed on a predetermined position in the captured image.

さらに、撮像システムでは、装着デバイス２０において撮像画像中にマーカ１０が存在すると判断された場合にマーカ１０に通知情報を送信し、通知情報を受信したマーカ１０は、報知部１３によって通知情報を受信したことを報知するようになっている。これにより、装着デバイス２０によってマーカ１０が検出されたことを被写体である第三者Ｘ側で把握できる。なお、報知部１３による通知情報の報知は、ＬＥＤの点灯に限らず、振動や音などによるものであってもよい。   Further, in the imaging system, when the mounted device 20 determines that the marker 10 is present in the captured image, the notification information is transmitted to the marker 10, and the marker 10 that has received the notification information receives the notification information by the notification unit 13. It has come to inform you that. Thereby, it can be grasped on the third party X side that is the subject that the marker 10 is detected by the mounting device 20. The notification of the notification information by the notification unit 13 is not limited to the lighting of the LED, but may be based on vibration or sound.

本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、眼鏡型の装着デバイス２０を例示したが、腕時計型やネックレス型など、ユーザＹの身体の他の部位に装着可能な装着デバイスであってもよい。また、上記実施形態では、第三者Ｘがストラップ付きのケースなどによってマーカ１０を携帯している例を示したが、マーカ１０の設置箇所は任意であってよい。   The present invention is not limited to the above embodiment. For example, in the above-described embodiment, the spectacle-type mounting device 20 is illustrated, but a mounting device that can be mounted on another part of the body of the user Y, such as a wristwatch type or a necklace type, may be used. Moreover, in the said embodiment, although the third person X showed the example which carries the marker 10 by the case with a strap, the installation location of the marker 10 may be arbitrary.

また、上記実施形態では、特定情報を送信する特定情報送信部１０１をマーカ１０に設けているが、特定情報送信部１０１を設ける代わりに、パターン部１２が示す指示情報に特定情報を関連付けてもよい。この場合、装着デバイス２０がパターン部１２を解析する際に、マーカ１０の特定を行うことが可能となる。   Moreover, in the said embodiment, although the specific information transmission part 101 which transmits specific information is provided in the marker 10, instead of providing the specific information transmission part 101, specific information may be linked | related with the instruction information which the pattern part 12 shows. Good. In this case, the marker 10 can be specified when the mounting device 20 analyzes the pattern portion 12.

また、上記実施形態では、プライバシ保護用画像を重畳した撮像画像を画像格納部２０５に格納したが、プライバシ保護用画像を重畳した撮像画像とプライバシ保護用画像を重畳する前の元の撮像画像とを関連付けて画像格納部２０５に格納してもよい。例えば装着デバイス２０をドライブレコーダなどとして用いる場合、元の撮像画像の活用が可能となる。なお、このような場合、元の撮像画像についてはユーザＹの通常の操作では閲覧できないようにすることが好適である。   In the above-described embodiment, the captured image on which the privacy protection image is superimposed is stored in the image storage unit 205. However, the captured image on which the privacy protection image is superimposed on the original captured image before the privacy protection image is superimposed on the captured image May be stored in the image storage unit 205 in association with each other. For example, when the mounting device 20 is used as a drive recorder or the like, the original captured image can be used. In such a case, it is preferable that the original captured image cannot be viewed by the normal operation of the user Y.

１…撮像システム、１０…マーカ、１２…パターン部、１３…報知部（報知手段）、２０…装着デバイス、１０１…特定情報送信部（特定情報送信手段）、２０１…撮像部（撮像手段）、２０２…マーカ判断部（マーカ判断手段）、２０４…撮像画像加工部（撮像画像加工手段）、２０６…通知情報送信部（通知情報送信手段）、Ｐ…プライバシ保護用画像、Ｘ…第三者、Ｙ…ユーザ。   DESCRIPTION OF SYMBOLS 1 ... Imaging system, 10 ... Marker, 12 ... Pattern part, 13 ... Notification part (notification means), 20 ... Wearing device, 101 ... Specific information transmission part (specific information transmission means), 201 ... Imaging part (imaging means), 202 ... Marker determination unit (marker determination unit), 204 ... Captured image processing unit (captured image processing unit), 206 ... Notification information transmission unit (notification information transmission unit), P ... Privacy protection image, X ... Third party, Y: User.

Claims (7)

撮像を行う撮像手段を有し、ユーザの身体の一部に装着可能な装着デバイスと、
前記撮像手段の被写体となる第三者が装着可能なマーカと、を備えて構成される撮像システムであって、
前記マーカは、前記撮像手段による撮像画像中の所定位置にプライバシ保護用画像の表示を指示する指示情報を含むパターン部を有し、
前記装着デバイスは、
前記撮像手段によって取得された撮像画像中に前記マーカが存在するか否かを判断するマーカ判断手段と、
前記マーカ判断手段によって前記撮像画像中に前記マーカが存在すると判断された場合に、前記パターン部が示す指示情報に基づいて前記撮像画像中の所定位置にプライバシ保護用画像を重畳する撮像画像加工手段と、を備える撮像システム。 A wearing device having an imaging means for taking an image and attachable to a part of a user's body;
An imaging system comprising a marker that can be worn by a third party as a subject of the imaging means,
The marker has a pattern portion including instruction information for instructing display of a privacy protection image at a predetermined position in an image captured by the imaging unit,
The wearing device is
Marker judging means for judging whether or not the marker is present in the captured image acquired by the imaging means;
When the marker determining unit determines that the marker is present in the captured image, the captured image processing unit superimposes a privacy protection image on a predetermined position in the captured image based on instruction information indicated by the pattern unit. An imaging system comprising: 前記マーカの形状寸法は統一されており、
前記撮像画像加工手段は、前記撮像画像中の前記マーカの大きさに基づいて前記装着デバイスと前記マーカとの距離を検出し、当該距離に基づいて前記プライバシ保護用画像を重畳する所定位置を決定する請求項１記載の撮像システム。 The shape dimensions of the marker are unified,
The captured image processing means detects a distance between the mounting device and the marker based on the size of the marker in the captured image, and determines a predetermined position on which the privacy protection image is superimposed based on the distance. The imaging system according to claim 1. 前記マーカは、当該マーカを特定するための特定情報を前記装着デバイスに送信する特定情報送信手段を有し、
前記撮像画像加工手段は、前記装着デバイスと前記特定情報によって特定されるマーカとの距離を検出して前記プライバシ保護用画像を重畳する所定位置を決定する請求項２記載の撮像システム。 The marker has specific information transmitting means for transmitting specific information for specifying the marker to the wearing device,
The imaging system according to claim 2, wherein the captured image processing unit detects a distance between the mounting device and a marker specified by the specifying information and determines a predetermined position on which the privacy protection image is superimposed. 前記マーカにおける前記パターン部には、当該マーカを特定するための特定情報が前記指示情報に関連付けられており、
前記撮像画像加工手段は、前記装着デバイスと前記特定情報によって特定されるマーカとの距離を検出して前記プライバシ保護用画像を重畳する所定位置を決定する請求項２記載の撮像システム。 In the pattern portion of the marker, specific information for specifying the marker is associated with the instruction information,
The imaging system according to claim 2, wherein the captured image processing unit detects a distance between the mounting device and a marker specified by the specifying information and determines a predetermined position on which the privacy protection image is superimposed. 前記装着デバイスは、前記特定情報によって特定されるマーカに対し、前記マーカ判断手段によって前記撮像画像中に前記マーカが存在すると判断された場合に通知情報を送信する通知情報送信手段を更に備える請求項３又は４記載の撮像システム。   The said mounting device is further provided with the notification information transmission means which transmits notification information with respect to the marker specified by the said specific information, when the said marker determination means determines that the said marker exists in the said captured image. The imaging system according to 3 or 4. 前記マーカは、前記通知情報送信手段から通知情報を受信したことを報知する報知手段を更に備える請求項５記載の撮像システム。   The imaging system according to claim 5, wherein the marker further includes notification means for notifying that notification information has been received from the notification information transmission means. 撮像を行う撮像手段を有し、ユーザの身体の一部に装着可能な装着デバイスと、
前記撮像手段の被写体となる第三者が装着可能なマーカと、を用いた撮像方法であって、
前記撮像手段による撮像画像中の所定位置にプライバシ保護用画像の表示を指示する指示情報を含むパターン部を前記マーカに設け、
前記装着デバイスにおいて、
マーカ判断手段が、前記撮像手段によって取得された撮像画像中に前記マーカが存在するか否かを判断し、
撮像画像加工手段が、前記マーカ判断手段によって前記撮像画像中に前記マーカが存在すると判断された場合に、前記パターン部が示す指示情報に基づいて前記撮像画像中の所定位置にプライバシ保護用画像を重畳する撮像方法。 A wearing device having an imaging means for taking an image and attachable to a part of a user's body;
An imaging method using a marker that can be worn by a third party as a subject of the imaging means,
A pattern portion including instruction information for instructing display of a privacy protection image at a predetermined position in an image captured by the imaging unit is provided in the marker.
In the wearing device,
A marker determining unit determines whether or not the marker is present in a captured image acquired by the imaging unit;
When the captured image processing means determines that the marker is present in the captured image by the marker determining means, a privacy protection image is placed at a predetermined position in the captured image based on the instruction information indicated by the pattern unit. The imaging method to superimpose.
JP2014080149A 2014-04-09 2014-04-09 Imaging system and imaging method Active JP6278806B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014080149A JP6278806B2 (en) 2014-04-09 2014-04-09 Imaging system and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014080149A JP6278806B2 (en) 2014-04-09 2014-04-09 Imaging system and imaging method

Publications (2)

Publication Number Publication Date
JP2015201786A true JP2015201786A (en) 2015-11-12
JP6278806B2 JP6278806B2 (en) 2018-02-14

Family

ID=54552701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014080149A Active JP6278806B2 (en) 2014-04-09 2014-04-09 Imaging system and imaging method

Country Status (1)

Country Link
JP (1) JP6278806B2 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278584A (en) * 1999-03-19 2000-10-06 Minolta Co Ltd Image input device provided with image processing function and recording medium recording its image processing program
JP2001169175A (en) * 1999-12-09 2001-06-22 Sharp Corp Image pickup device, image receiver and line exchange
JP2006086582A (en) * 2004-09-14 2006-03-30 Kyoraku Sangyo Mobile crime-prevention camera
JP2006148842A (en) * 2004-10-20 2006-06-08 Daimei Kk Wearable monitor camera system
JP2006148386A (en) * 2004-11-18 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> Video photographing apparatus, video photographing method, program for this photographing method, and recording medium recorded with the program
JP2006217161A (en) * 2005-02-02 2006-08-17 Advanced Telecommunication Research Institute International Image photographing system
JP2006270131A (en) * 2005-03-22 2006-10-05 Nec Access Technica Ltd Information portable terminal with camera
JP2011044935A (en) * 2009-08-21 2011-03-03 Nec Corp System and method for preventing surreptitious photographing, and program thereof
JP2011170373A (en) * 2011-04-11 2011-09-01 Fujifilm Corp Photographing device
JP2011204047A (en) * 2010-03-26 2011-10-13 Konami Digital Entertainment Co Ltd Augmented reality system, marker terminal photographing terminal, augmented reality method, and information recording medium
JP2013092887A (en) * 2011-10-25 2013-05-16 Canon Inc Image processing device; control method and program for the same; information processing device and control method and program for the same
JP2013206322A (en) * 2012-03-29 2013-10-07 Sony Corp Information processor, information processing system and information processing method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278584A (en) * 1999-03-19 2000-10-06 Minolta Co Ltd Image input device provided with image processing function and recording medium recording its image processing program
JP2001169175A (en) * 1999-12-09 2001-06-22 Sharp Corp Image pickup device, image receiver and line exchange
JP2006086582A (en) * 2004-09-14 2006-03-30 Kyoraku Sangyo Mobile crime-prevention camera
JP2006148842A (en) * 2004-10-20 2006-06-08 Daimei Kk Wearable monitor camera system
JP2006148386A (en) * 2004-11-18 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> Video photographing apparatus, video photographing method, program for this photographing method, and recording medium recorded with the program
JP2006217161A (en) * 2005-02-02 2006-08-17 Advanced Telecommunication Research Institute International Image photographing system
JP2006270131A (en) * 2005-03-22 2006-10-05 Nec Access Technica Ltd Information portable terminal with camera
JP2011044935A (en) * 2009-08-21 2011-03-03 Nec Corp System and method for preventing surreptitious photographing, and program thereof
JP2011204047A (en) * 2010-03-26 2011-10-13 Konami Digital Entertainment Co Ltd Augmented reality system, marker terminal photographing terminal, augmented reality method, and information recording medium
JP2011170373A (en) * 2011-04-11 2011-09-01 Fujifilm Corp Photographing device
JP2013092887A (en) * 2011-10-25 2013-05-16 Canon Inc Image processing device; control method and program for the same; information processing device and control method and program for the same
JP2013206322A (en) * 2012-03-29 2013-10-07 Sony Corp Information processor, information processing system and information processing method

Also Published As

Publication number Publication date
JP6278806B2 (en) 2018-02-14

Similar Documents

Publication Publication Date Title
US8744113B1 (en) Communication eyewear assembly with zone of safety capability
US9753285B2 (en) Information processing device, notification state control method, and program
JP7444228B2 (en) program
US9542958B2 (en) Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
JP2010081480A (en) Portable suspicious individual detecting apparatus, suspicious individual detecting method, and program
US20160054565A1 (en) Information processing device, presentation state control method, and program
US20200322506A1 (en) Image processing system, non-transitory recording medium, and image processing method
JP5696262B1 (en) Work management device, work defect prevention program, and work defect prevention method
CN106817913A (en) Head mounted display, personal digital assistant device, image processing apparatus, display control program, display control method and display system
JP2020197733A (en) Spectacle type wearable terminal, control program therefor, and notification method
JP6244120B2 (en) Video display system and video display program
CN109155055B (en) Region-of-interest image generating device
KR101440543B1 (en) Method for Preventing Missing Children
CN104813247A (en) Operator system for a machine
JP7155808B2 (en) Wearable device and control program
JP2012108793A (en) Information display system, device, method and program
JP2015158866A (en) Congestion state grasping device, congestion state grasping system and congestion state grasping method
JP6278806B2 (en) Imaging system and imaging method
JP2017080382A (en) Portable information terminal and automatic imaging device equipped with the same
JP2017046233A (en) Display device, information processor, and control method of the same
TW201823802A (en) Estimation system, estimation method, and estimation program
KR101366349B1 (en) Guard equipment with video system
CN111722401A (en) Display device, display control method, and display system
JP7359532B2 (en) Helmet
CN104076926B (en) Set up the method and wearable electronic equipment of data transmission link

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180116

R150 Certificate of patent or registration of utility model

Ref document number: 6278806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250