JP2020022054A - 撮影装置、電子機器及び通知方法 - Google Patents

撮影装置、電子機器及び通知方法 Download PDF

Info

Publication number
JP2020022054A
JP2020022054A JP2018143970A JP2018143970A JP2020022054A JP 2020022054 A JP2020022054 A JP 2020022054A JP 2018143970 A JP2018143970 A JP 2018143970A JP 2018143970 A JP2018143970 A JP 2018143970A JP 2020022054 A JP2020022054 A JP 2020022054A
Authority
JP
Japan
Prior art keywords
image data
unit
data transmission
data
transmission state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018143970A
Other languages
English (en)
Inventor
和幸 奥池
Kazuyuki Okuchi
和幸 奥池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018143970A priority Critical patent/JP2020022054A/ja
Priority to PCT/JP2019/028291 priority patent/WO2020026837A1/ja
Priority to CN201980048900.4A priority patent/CN112470455B/zh
Priority to US17/251,969 priority patent/US11561458B2/en
Publication of JP2020022054A publication Critical patent/JP2020022054A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Abstract

【課題】撮影された画像が外部に出力されているか否かを適切に通知することのできる撮影装置、電子機器及び通知方法を提案する。【解決手段】撮影装置は、撮像素子の撮像結果に基づいて、イメージデータを生成する信号処理部と、イメージデータが外部に出力された際に、データ送信状態表示部を制御してイメージデータが外部に出力されたことを通知するデータ送信状態通知部と、を備える。【選択図】図1

Description

本開示は、撮影装置、電子機器及び通知方法に関する。
カメラなどによって撮影された画像が流出しないように、被撮影者のプライバシーを保護する技術が知られている。
例えば、特許文献1には、撮影を依頼された撮影者が携帯電話を用いて依頼者を撮影する場合に、携帯電話のインカメラが動作中であることを撮影者に警告する技術が開示されている。
特開2015−133624号公報
しかしながら、上記の従来技術では、表示部に表示される画像に基づいて警告を表示させているので、例えば、不正なアプリなどのプログラムによって警告が解除されてしまう可能性がある。
そこで、本開示では、撮影された画像が外部に出力されているか否かを適切に通知することのできる撮影装置、電子機器及び通知方法を提案する。
上記の課題を解決するために、本開示に係る一形態の撮影装置は、撮像素子の撮像結果に基づいて、イメージデータを生成する信号処理部と、イメージデータが外部に出力された際に、データ送信状態表示部を制御してイメージデータが外部に出力されたことを通知するデータ送信状態通知部と、を備える。
本開示によれば、撮影された画像が外部に出力されているか否かを適切に通知することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第1の実施形態に係る撮影システムの構成の一例を示すブロック図である。 信号処理部の処理の一例を示す模式図である。 ローカル認証部の処理の一例を示す模式図である。 本開示の第1の実施形態に係る撮影装置が外部に送信するデータの組み合わせを説明するための図である。 データ送信状態通知部の動作の一例を示す模式図である。 LEDの動作を説明するための図である。 本開示の第1の実施形態に係る撮影システムの処理の流れの一例を示すフローチャートである。 本開示の第1の実施形態に係る撮影システムの変形例の処理の流れの一例を示すフローチャートである。 本開示の第2の実施形態に係る撮影システムの構成を示すブロック図である。 本開示の第3の実施形態に係る撮影システムの構成の一例を示すブロック図である。 本開示の第4の実施形態に係る撮影システムの構成の一例を示すブロック図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
1.第1の実施形態
1−1.第1の実施形態に係る撮影システムの構成
1−2.第1の実施形態に係る撮影システムの動作
1−3.第1の形態に係る撮影システムの変形例の動作
2.第2の実施形態
2−1.第2の実施形態に係る撮影システムの構成
3.第3の実施形態
3−1.第3の実施形態に係る撮影システムの構成
4.第4の実施形態
4−1.第4の実施形態に係る撮影システムの構成
(1.第1の実施形態)
[1−1.第1の実施形態に係る撮影システムの構成]
図1を用いて、本開示の第1の実施形態に係る撮影システムの構成について説明する。図1は、本開示の第1の実施形態に係る撮影システムの構成を示すブロック図である。
図1に示すように、撮影システム1は、撮影装置100と、サーバ200とを含む。撮影システム1では、イメージデータが撮影装置100から図示しないアプリケーションプロセッサを介して、サーバ200に送信される。
撮影装置100は、撮像素子110と、A/D(Analog to Digital)変換部120と、信号処理部130と、機械学習部140と、データ送信判断部150と、セレクタ160と、データ送信部170と、データ送信状態通知部180と、データ受信部190とを備える。本開示の撮影装置100は、デジタルカメラ、タブレット端末、スマートフォン、携帯電話、パソコン、ヘッドマウントディスプレイ、車載機器、ウエアラブルデバイス、ドローン、およびゲーム機などの電子機器に適用されるが、これらに限定されない。
撮像素子110は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子110は、図示しないレンズから入射光を受光する。撮像素子110は、受光した光を光電変換することによって、入射光に対応するイメージデータを生成する。撮像素子110は、生成したイメージデータをA/D変換部120に出力する。
A/D変換部120は、イメージデータをデジタル信号に変換する、A/D変換部120は、デジタル信号に変換されたイメージデータを信号処理部130に出力する。
信号処理部130は、デジタル信号に変換されたイメージデータから出力用のイメージデータを生成する。
図2を用いて、信号処理部130が実行する具体的な処理について説明する。図2は、信号処理部130の処理の一例を示す模式図である。
図2に示すように、信号処理部130は、受けたイメージデータに対して、シェーディング補正(ステップS11)、混色補正(ステップS12)、デジタルゲイン調整(ステップS13)を実行する。信号処理部130は、デジタルゲイン調整されたイメージデータに対して、ホワイトバランスゲイン調整(ステップS14)、デモザイク処理(ステップS16)、ガンマ補正(ステップS17)などを実行して出力用のイメージデータを生成する。また、信号処理部130は、デジタルゲイン調整されたイメージデータに対して、検波を実行する(ステップS15)。信号処理部130は、イメージデータを機械学習部140と、セレクタ160とに出力する。
機械学習部140は、例えば、DNN(Deep Neural Network)を用いて、イメージデータに含まれる物体の種類を認識するための特徴量を学習し、DNNのモデルに反映させる。機械学習部140は、例えば、DNNを用いて、イメージデータに含まれる物体をDNNのモデルに基づいて認識する。機械学習部140は、ローカル認証部141と、ローカル認証用データ記憶部142とを有する。
ローカル認証部141は、例えば、DNNを用いて、イメージデータに特定の物体が含まれているか否かを認識する。ローカル認証部141は、例えば、DNNを用いて、イメージデータに特定の人物が含まれているか否かを認識(ローカル認証)する。
図3を用いて、ローカル認証部141が実行する処理について説明する。図3は、ローカル認証部141の処理の一例を示す図である。
図3に示すように、ローカル認証部141は、受けたイメージデータを正規化する(ステップS21)。ここでは、ローカル認証部141は、例えば、受けたイメージデータの明度を正規化する。ローカル認証部141は、正規化されたイメージデータに対して、ローカル認証を実行する(ステップS22)。ローカル認証部141は、ローカル認証の認証結果をデータ送信判断部150に出力する。ローカル認証部141は、イメージデータのメタデータを生成し、生成したメタデータをセレクタ160に出力する。
ローカル認証用データ記憶部142は、ローカル認証部141がローカル認証を実行するためのデータを記憶している。具体的には、ローカル認証用データ記憶部142は、ローカル認証部141が、DNNを実行するためのモデルを記憶している。そのため、ローカル認証部141は、ローカル認証用データ記憶部142が記憶しているモデルに基づいて、ローカル認証を実行する。
データ送信判断部150は、信号処理部130が生成したイメージデータと、機械学習部140が生成したメタデータとの少なくとも一方をサーバ200に送信するかを判定する。具体的には、データ送信判断部150は、ローカル認証部141の認証結果に基づいて、ローカル認証部141のローカル認証が成功した場合にはメタデータを送信し、ローカル認証が失敗した場合にはイメージデータを送信するように判断する。データ送信判断部150は、イメージデータと、メタデータとのどちらのデータを出力するかの指示をセレクタ160に出力する。データ送信判断部150は、イメージデータを送信すると判断した場合には、データ送信状態通知部180に対して、データ送信状態表示部181を動作させる指示を出力する。また、具体的には後述するが、データ送信判断部150は、信号処理部130が生成したイメージデータと、機械学習部140が生成したメタデータとの両方をサーバ200に送信すると判断してもよい。
データ送信判断部150は、例えば、ローカル認証部141が人物認識を実行し、メタデータをサーバ200に送信した場合であっても、データ送信状態通知部180に対して、データ送信状態表示部181を動作させる指示を出力してもよい。これにより、人物認識を実行したメタデータにはプライバシー情報を含むことがあるので、セキュリティをより向上させることができる。ここで、データ送信判断部150は、メタデータにプライバシー情報が含まれている場合にのみ、データ送信状態通知部180に対して、データ送信状態表示部181を動作させる指示を出力してもよい。この場合、メタデータにプライバシー情報が含まれているか否かは、例えば、ローカル認証部141がDNNによって判断すればよい。
セレクタ160は、データ送信判断部150の指示に従って、イメージデータ又はメタデータをデータ送信部170に出力する。
データ送信部170は、セレクタ160から受けたイメージデータ又はメタデータをサーバ200のデータ受信部210に出力する。
データ送信状態通知部180は、データ送信判断部150の判断結果に基づいて、データ送信状態表示部181を動作させる。データ送信状態通知部180は、イメージデータがサーバ200に送信されている間、データ送信状態表示部181を動作させる。
データ送信状態表示部181は、データ送信状態通知部180からの指示に従って、イメージデータがサーバ200に送信されていることを通知する。すなわち、データ送信状態表示部181を動作させる処理は撮影装置100の内部で閉じており、アプリケーションプロセッサなどで実行される処理とは独立している。言い換えれば、撮影装置100の内部の処理のみで、被撮像者に通知することができる。データ送信状態表示部181は、例えば、LED(Light Emitting Diode)で実現することができる。この場合、データ送信状態通知部180は、イメージデータがサーバ200に送信されている間、LEDを点灯させる。なお、データ送信状態表示部181は、LEDに限定されない。データ送信状態表示部181は、例えば、音声出力部や、表示部などから構成されていてもよい。データ送信状態表示部181が音声出力部である場合、データ送信状態通知部180は、イメージデータがサーバ200に送信されている間、音声で通知する。このような音声出力部は、例えば、スピーカで実現することができる。データ送信状態表示部181が表示部である場合、データ送信状態通知部180はイメージデータがサーバ200に送信されている間、表示部に特定の画像を表示することで通知する。このような、表示部は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。
図4と、図5とを用いて、データ送信部170と、データ送信状態表示部181の動作について説明する。図4は、データ送信部170がサーバ200に送信するイメージデータとメタデータとの組み合わせを示す図である。図5は、データ送信状態表示部181の動作の一例を示す模式図である。
図4に示すように、データ送信部170が送信するイメージデータとメタデータとの組み合わせは4つのケースが考えられ。ケース1は、データ送信部170がイメージデータと、メタデータとの両方をサーバ200に送信するケースである。ケース2は、データ送信部170がメタデータのみをサーバ200に送信するケースである。ケース3は、データ送信部170がイメージデータのみをサーバ200に送信するケースである。ケース4は、データ送信部170がイメージデータも、メタデータもサーバ200に送信しないケースである。各ケースに応じて、データ送信状態表示部181の動作が異なってくる。
図5には、データ送信状態表示部181がLEDである場合の撮影装置100が適用された電子機器400が示されている。図5に示すように、ケース2と、ケース4との時には、データ送信状態表示部181は消灯している。そして、ケース1と、ケース3との時には、データ送信状態表示部181は点灯している。これにより、被撮像者は、データ送信状態表示部181を視認することによって、イメージデータがサーバ200に送信されていることを認識することができる。
また、データ送信状態表示部181がLEDである場合には、データの送信の状況や、送信されるデータの種類に応じて、LEDの点灯、点滅、色を変えてもよい。例えば、LEDをデータが送信さていない時のみ消灯させておいて、イメージデータ、メタデータ、プライバシー情報を含むデータが外部に送信される場合において、異なる色を点灯させたり、点灯パターンを変化させたりしてもよい。また、データ送信状態表示部181が音声出力部である場合、送信されるデータの種類に応じて出力する音声の種類を変えたり、音声を大きくしたりすればよい。また、データ送信状態表示部181が表示部である場合、例えば、図5に図示の電子機器400の表示部410に送信されるデータの種類に応じて異なる警告を表示させてもよい。これにより、被撮像者は、撮影装置100からサーバ200に送信されているデータの詳細を認識することができる。すなわち、本開示では、サーバ200にデータ送信される前の段階の、撮影装置100の処理のみで、撮影装置100からサーバ200にデータが送信されていることを、被撮像者に通知することができる。これにより、被撮像者は、自身のイメージデータが外部に送信されていることを認識できる。
図6を用いて、撮影装置100によって撮像されてからメタデータ又はイメージデータが送信されるまでのLEDの動作について説明する。図6は、ローカル認証が成功した場合と、ローカル認証が失敗した場合のLEDの動作を示す模式図である。
図6に示すように、LEDは初期状態では消灯しているものとする。撮影されて、ローカル認証が成功した場合には、メタデータが送信される。この場合、LEDは消灯したままである。一方、撮影されて、ローカル認証が失敗した場合には、LEDが点灯する。この場合、例えば、LEDが点灯してからt1秒後に撮影された場合にはイメージデータが送信される。
再び図1を参照する。データ受信部190は、例えば、サーバ200から出力されるイメージデータの認証結果を受ける。データ受信部190は、サーバ200から受けた認証結果が成功だった場合、ローカル認証用データ記憶部142に認証結果を出力する。これにより、ローカル認証用データ記憶部142に記憶されているモデルが更新される。そのため、ローカル認証部141は、イメージデータをサーバ200に送信した今回の被写体について、次回以降、ローカル認証を成功させることができる。
サーバ200は、データ受信部210と、サーバ認証部220と、認証用データ記憶部230と、データ送信部240とを備える。
データ受信部210は、撮影装置100のデータ送信部170からイメージデータ又はメタデータを受ける。データ受信部210は、撮影装置100のデータ送信部170からイメージデータを受けた場合には、受けたイメージデータをサーバ認証部220に出力する。
サーバ認証部220は、イメージデータに含まれる被写体が予め登録されている被写体であるか否かを認証する。具体的には、サーバ認証部220は、予め認証用データ記憶部230に記憶されている認証用データに基づいて、イメージデータに含まれる被写体が予め登録されている被写体であるか否かを認証する。サーバ認証部220は、イメージデータに含まれる被写体が予め登録されている被写体であった場合、ローカル認証用データ記憶部142に記憶されているDNNのモデルを更新するための更新データをデータ送信部240に出力する。
データ送信部240は、ローカル認証用データ記憶部142が記憶しているDNNのモデルを更新するための更新データを撮影装置100のデータ受信部190に送信する。これにより、撮影装置100は、ローカル認証用データ記憶部142に記憶されているDNNのモデルを更新することができる。
[1−2.撮影システムの動作]
図7を用いて、第1の実施形態に係る撮影システム1の動作に流れについて説明する。図7は、第1の実施形態に係る撮影システム1の動作の流れを示すフローチャートである。
まず、撮影装置100は、撮像した被写体に対して、ローカル認証を実行する。具体的には、撮影装置100は、ローカル認証部141によって、撮像した被写体に対して、ローカル認証を実行する。
ローカル認証が成功した場合(ステップS101の「Yes」)、撮影装置100は、メタデータをサーバ200に送信する(ステップS102)。この場合、サーバ200は、撮影装置100から送信されたメタデータを認証する(ステップS103)。そして、撮影システム1は、図7の処理を終了する。
一方、ローカル認証が失敗した場合(ステップS101の「No」)、撮影装置100は、アプリケーションプロセッサを介して、イメージデータをサーバ200に送信するととともに、データ送信状態表示部181を動作させてデータ送信状態を通知する(ステップS104)。
サーバ200は、撮影装置100から送信されたイメージデータを受信する(ステップS105)。サーバ200は、イメージデータに対して、サーバ認証を実行する。具体的には、サーバ200は、サーバ認証部220によって、イメージデータに対して、サーバ認証を実行する。
サーバ認証が成功した場合(ステップS106の「Yes」)、サーバ200は、ローカル認証用データの更新データを撮影装置100に送信する。そして、撮影装置100は、ローカル認証用データ記憶部142に記憶されているローカル認証用データを更新する(ステップS107)。そして、ステップS103の処理を実行し、撮影システム1は、図7の処理を終了する。
一方、サーバ認証が失敗した場合(ステップS106の「No」)、サーバ200は、イメージデータの送信を認証しない(ステップS108)。そして、撮影システム1は図7の処理を終了する。
上述のとおり、第1の実施形態では、撮影装置100によって撮影されたイメージデータが外部に送信されたことが被撮像者に通知される。これにより、被撮像者は、自身のプライバシーに関する情報が外部に送信された否かを認識することができる。
[1−3.撮影システムの変形例の動作]
図8を用いて、第1の実施形態に係る撮影システム1の変形例の動作の流れについて説明する。図8は、第1の実施形態に係る撮影システム1の変形例の動作の流れを示すフローチャートである。具体的には、図8に示す処理では、ローカル認証部141はイメージデータから人を検出する。
ローカル認証部141がイメージデータから人を検出しなかった場合(ステップS201の「No」)、撮影装置100は、イメージデータをサーバ200Aに送信する(ステップS202)。次いで、サーバ200は、イメージデータを受信する(ステップS203)。そして、撮影システム1は、図8の処理を終了する。
一方、イメージデータから人が検出された場合(ステップS201の「Yes」)、撮影装置100は、イメージデータをサーバ200に送信するととともに、データ送信状態表示部181を動作させてデータ送信状態を通知する(ステップS204)。
サーバ認証が成功した場合(ステップS206の「Yes」)、サーバ200は、イメージデータの送信を認証する。そして、撮影システム1は、図8の処理を終了する。
一方、サーバ認証が失敗した場合(ステップS206の「No」)、サーバ200は、イメージデータの送信を認証しない。そして、撮影システム1は、図8の処理を終了する。
上述のとおり、第1の実施形態の変形例では、イメージデータに人が含まれているか否かを検出し、人がイメージデータに含まれている場合にのみ、イメージデータが外部に送信されたことが被撮像者に通知される。これにより、被撮像者は、自身のプライバシーに関する情報が外部に送信された否かをより認識することができる。
(2.第2の実施形態)
[2−1.撮影システムの構成]
図9を用いて、本開示の第2の実施形態に係る撮影システム1Aについて説明する。図9は、本開示の第2の実施形態に係る撮影システム1Aの構成を示すブロック図である。
図9に示すように、撮影システム1Aは、撮影装置100と、外部記憶媒体300とを備える。すなわち、第2の実施形態は、サーバ200の代わりに、外部記憶媒体300を備えている点で第1の実施形態と異なっている。撮影システム1Aでは、イメージデータが撮影装置100からアプリケーションプロセッサを介さずに、外部記憶媒体300に入力される。
外部記憶媒体300は、データ受信部310と、データ記憶部320とを備える。データ受信部310は、データ送信部170から被写体のイメージデータ又はメタデータを受信する。データ受信部310は、イメージデータ又はメタデータをデータ記憶部320に出力する。データ記憶部320は、被写体のイメージデータ及びメタデータを記憶している。外部記憶媒体300に特に制限はなく、例えば、SPI(Serial Peripheral Interface)フラッシュメモリや、SDカードが挙げられる。
データ送信状態通知部180は、外部記憶媒体300に対して、イメージデータが送信された場合に、データ送信状態表示部181を動作させる。すなわち、第2の実施形態は、イメージデータが外部記憶媒体300に記憶される際に、データ送信状態表示部181を動作させる。すなわち、本開示では、アプリケーションプロセッサを介さずにイメージデータが外部記憶媒体300に入力された場合であっても、撮影装置100の内部の処理のみで、被撮像者に通知することができる。
上述のとおり、第2の実施形態では、撮影装置100によって撮影されたイメージデータが外部記憶媒体300に記憶されたことが被撮像者に通知される。これにより、被撮像者は、自身のプライバシーに関する情報が記憶媒体に記憶されたか否かを認識することができる。
(3.第3の実施形態)
[3−1.撮影システムの構成]
図10を用いて、本開示の第3の実施形態に係る撮影システム1Bについて説明する。図10は、本開示の第3の実施形態に係る撮影システム1Bの構成を示すブロック図である。
図10に示すように、撮影システム1Bは、撮影装置100Aと、サーバ200Aとを備える。撮影装置100Aは、機械学習部140Aがローカル認証部141の代わりに物体認識部143を備え、ローカル認証用データ記憶部142の代わりに物体認識用データ記憶部144を備えている点で第1の実施形態と異なっている。サーバ200Aは、データ送信部240を備えていない点で第1の実施形態と異なっている。撮影システム1Bでは、イメージデータが撮影装置100Aから図示しないアプリケーションプロセッサを介して、サーバ200Aに送信される。
物体認識部143は、信号処理部130から受けたイメージデータに含まれる物体を認識する。具体的には、物体認識部143は、物体認識用データ記憶部144に記憶されているDNNのモデルを用いて、イメージデータに含まれる物体を認識し、物体が認識できた場合には、メタデータを生成する。物体認識部143は、物体の認識結果をデータ送信判断部150に出力する。
物体認識用データ記憶部144は、物体認識部143が物体を認識するための物体認識用データを記憶している。具体的には、物体認識用データ記憶部144は、物体認識部143がイメージデータに含まれる物体を認識するためのDNNのモデルを記憶している。
データ送信判断部150は、物体認識部143が物体認識に成功した場合には、イメージデータ及びメタデータの両方を出力させる指示をセレクタ160に出力する。データ送信判断部150は、物体認識部143が物体認識に失敗した場合には、イメージデータ及びメタデータのいずれも出力させない指示をセレクタ160に出力する。
データ送信部170は、物体認識部143が物体認識に成功した場合には、イメージデータ及びメタデータをサーバ200Aのデータ受信部210に送信する。データ送信部170は、物体認識部143が物体認識に失敗した場合には、イメージデータ及びメタデータのいずれもサーバ200Aのデータ受信部210に送信しない。
データ送信状態通知部180は、イメージデータ及びメタデータがサーバ200Aのデータ受信部210に送信される際に、データ送信状態表示部181を動作させる。すなわち、本開示では、撮影装置100Aの内部の処理のみで、撮影装置100Aからサーバ200Aにイメージデータ及びメタデータが送信されていることを、被撮像者に通知することができる。
上述のとおり、第3の実施形態では、撮影装置100Aからイメージデータ及びメタデータの両方がサーバ200Aに送信されたことが通知される。これにより、物体認識のようにイメージデータ及びメタデータの両方が撮影装置100Aから外部に送信される場合であっても、データが外部に送信されていることを認識することができる。
(4.第4の実施形態)
[4−1.撮影システムの構成]
図11を用いて、本開示の第4の実施形態に係る撮影システム1Cについて説明する。図11は、本開示の第4の実施形態に係る撮影システム1Cの構成を示すブロック図である。
図11に示すように、撮影システム1Cは、撮影装置100Bと、サーバ200Aとを備える。撮影装置100Bは、機械学習部140と、データ送信判断部150と、セレクタ160とを備えていない点で、第1の実施形態とは異なっている。すなわち、撮影装置100Bは、DNNを実行しない撮影装置である。
第4の実施形態では、信号処理部130は、イメージデータをデータ送信部170に出力する。データ送信部170は、イメージデータをサーバ200Aに送信するとともに、イメージデータを送信したことを示す信号をデータ送信状態通知部180に出力する。データ送信状態通知部180は、データ送信部170から信号を受けると、データ送信状態表示部181を制御して、イメージデータがサーバ200Aに送信されていることを通知する。すなわち、第4の実施形態では、撮影装置100Bからサーバ200Aにデータが送信されれば、必ず通知される。すなわち、本開示では、撮影装置100Bの内部の処理のみで、撮影装置100からサーバ200Aにイメージデータが送信されていることを、被撮像者に通知することができる。
上述のとおり、第4の実施形態では、撮影装置100Bによって撮影されたイメージデータがサーバ200Aに送信されたことが被撮像者に通知される。これにより、被撮像者は、自身のプライバシーに関する情報が外部に送信された否かを認識することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
撮像素子の撮像結果に基づいて、イメージデータを生成する信号処理部と、
前記イメージデータが外部に出力された際に、データ送信状態表示部を制御して前記イメージデータが外部に出力されたことを通知するデータ送信状態通知部と、を備える、
撮影装置。
(2)
前記信号処理部が生成した前記イメージデータのメタデータを生成する機械学習部をさらに備え、
前記イメージデータと、前記メタデータの少なくとも一方を外部に出力する、
前記(1)に記載の撮影装置。
(3)
前記機械学習部における前記イメージデータの認証結果に基づいて、ローカル認証が成功した場合は前記メタデータを外部に出力し、前記ローカル認証が失敗した場合には前記イメージデータを外部に出力する、
前記(2)に記載の撮影装置。
(4)
前記イメージデータと、前記メタデータとの両方を外部に出力する、
前記(2)または(3)に記載の撮影装置。
(5)
前記機械学習部が前記イメージデータにプライバシー情報が含まれていると認識した場合、
前記データ送信状態通知部は、前記メタデータのみが外部に出力された場合であっても、前記データ送信状態表示部を制御する、
前記(2)または(3)に記載の撮影装置。
(6)
前記データ送信状態通知部は、前記機械学習部の認識の結果、前記イメージデータに人が含まれていた場合には前記データ送信状態表示部によって通知し、前記イメージデータに人が含まれていない場合には前記データ送信状態表示部によって通知しない、
前記(2)〜(5)のいずれか1つに記載の撮影装置。
(7)
前記データ送信状態表示部は、発光部と、音声出力部と、表示部との少なくとも1つを含む、
前記(1)〜(6)のいずれか1つに記載の撮影装置。
(8)
前記データ送信状態表示部は、外部に送信されるデータの種類に応じて異なる通知を実行する、
前記(1)〜(7)のいずれか1つに記載の撮影装置。
(9)
前記イメージデータの出力先がアプリケーションサーバである、
前記(1)〜(8)のいずれか1つに記載の撮影装置。
(10)
前記イメージデータの出力先が外部記憶媒体である、
前記(1)〜(8)のいずれか1つに記載の撮影装置。
(11)
撮像素子の撮像結果に基づいて、イメージデータを生成する信号処理部と、
前記イメージデータが外部に出力された際に、データ送信状態表示部を制御して前記イメージデータが外部に出力されたことを通知するデータ送信状態通知部と、を有する撮影装置を備えた、
電子機器。
(12)
撮像素子の撮像結果に基づいて、イメージデータを生成し、
前記イメージデータが外部に出力された際に、データ送信状態表示部を制御して前記イメージデータが外部に出力されたことを通知する、
通知方法。
1,1A,1B,1C 撮影システム
100,100A,100B 撮影装置
110 撮像素子
120 A/D変換部
130 信号処理部
140,140A 機械学習部
141 ローカル認証部
142 ローカル認証用データ記憶部
143 物体認識部
144 物体認識用データ記憶部
150 データ送信判断部
160 セレクタ
170,240 データ送信部
180 データ送信状態通知部
181 データ送信状態表示部
200,200A アプリケーションサーバ
210,310 データ受信部
220 サーバ認証部
230 認証用データ記憶部
300 外部記憶媒体
320 データ記憶部
400 電子機器
410 表示部

Claims (12)

  1. 撮像素子の撮像結果に基づいて、イメージデータを生成する信号処理部と、
    前記イメージデータが外部に出力された際に、データ送信状態表示部を制御して前記イメージデータが外部に出力されたことを通知するデータ送信状態通知部と、を備える、
    撮影装置。
  2. 前記信号処理部が生成した前記イメージデータのメタデータを生成する機械学習部をさらに備え、
    前記イメージデータと、前記メタデータの少なくとも一方を外部に出力する、
    請求項1に記載の撮影装置。
  3. 前記機械学習部における前記イメージデータの認証結果に基づいて、ローカル認証が成功した場合は前記メタデータを外部に出力し、前記ローカル認証が失敗した場合には前記イメージデータを外部に出力する、
    請求項2に記載の撮影装置。
  4. 前記イメージデータと、前記メタデータとの両方を外部に出力する、
    請求項2に記載の撮影装置。
  5. 前記機械学習部が前記イメージデータにプライバシー情報が含まれていると認識した場合、
    前記データ送信状態通知部は、前記メタデータのみが外部に出力された場合であっても、前記データ送信状態表示部を制御する、
    請求項2に記載の撮影装置。
  6. 前記データ送信状態通知部は、前記機械学習部の認識の結果、前記イメージデータに人が含まれていた場合には前記データ送信状態表示部によって通知し、前記イメージデータに人が含まれていない場合には前記データ送信状態表示部によって通知しない、
    請求項2に記載の撮影装置。
  7. 前記データ送信状態表示部は、発光部と、音声出力部と、表示部との少なくとも1つを含む、
    請求項1に記載の撮影装置。
  8. 前記データ送信状態表示部は、外部に送信されるデータの種類に応じて異なる通知を実行する、
    請求項2に記載の撮影装置。
  9. 前記イメージデータの出力先がアプリケーションサーバである、
    請求項1に記載の撮影装置。
  10. 前記イメージデータの出力先が外部記憶媒体である、
    請求項1に記載の撮影装置。
  11. 撮像素子の撮像結果に基づいて、イメージデータを生成する信号処理部と、
    前記イメージデータが外部に出力された際に、データ送信状態表示部を制御して前記イメージデータが外部に出力されたことを通知するデータ送信状態通知部と、を有する撮影装置を備えた、
    電子機器。
  12. 撮像素子の撮像結果に基づいて、イメージデータを生成し、
    前記イメージデータが外部に出力された際に、データ送信状態表示部を制御して前記イメージデータが外部に出力されたことを通知する、
    通知方法。
JP2018143970A 2018-07-31 2018-07-31 撮影装置、電子機器及び通知方法 Pending JP2020022054A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018143970A JP2020022054A (ja) 2018-07-31 2018-07-31 撮影装置、電子機器及び通知方法
PCT/JP2019/028291 WO2020026837A1 (ja) 2018-07-31 2019-07-18 撮影装置、電子機器及び通知方法
CN201980048900.4A CN112470455B (zh) 2018-07-31 2019-07-18 成像设备、电子装置及通知方法
US17/251,969 US11561458B2 (en) 2018-07-31 2019-07-18 Imaging apparatus, electronic device, and method for providing notification of outgoing image-data transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143970A JP2020022054A (ja) 2018-07-31 2018-07-31 撮影装置、電子機器及び通知方法

Publications (1)

Publication Number Publication Date
JP2020022054A true JP2020022054A (ja) 2020-02-06

Family

ID=69231714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018143970A Pending JP2020022054A (ja) 2018-07-31 2018-07-31 撮影装置、電子機器及び通知方法

Country Status (4)

Country Link
US (1) US11561458B2 (ja)
JP (1) JP2020022054A (ja)
CN (1) CN112470455B (ja)
WO (1) WO2020026837A1 (ja)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229955A (ja) 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2005027135A (ja) 2003-07-04 2005-01-27 Matsushita Electric Ind Co Ltd 盗撮防止システム及び盗撮防止端末機
JP3938127B2 (ja) * 2003-09-29 2007-06-27 ソニー株式会社 撮像装置
JP2005123817A (ja) 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd 携帯通信端末
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP5088161B2 (ja) 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP2008282428A (ja) * 2008-08-11 2008-11-20 Murata Mach Ltd コンテンツデータ提供装置およびネットワークシステム
JP5381498B2 (ja) * 2009-08-24 2014-01-08 株式会社ニコン 画像処理装置、画像処理プログラムおよび画像処理方法
JP5956764B2 (ja) * 2012-02-08 2016-07-27 キヤノン株式会社 ネットワークシステム及びその処理方法
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6739200B2 (ja) 2016-03-24 2020-08-12 キヤノン株式会社 映像処理装置、映像処理システムおよび制御方法
JP2018137726A (ja) * 2017-02-22 2018-08-30 キヤノン株式会社 撮像装置、その制御方法、プログラム

Also Published As

Publication number Publication date
CN112470455A (zh) 2021-03-09
US11561458B2 (en) 2023-01-24
US20210255526A1 (en) 2021-08-19
CN112470455B (zh) 2022-12-20
WO2020026837A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
KR102079091B1 (ko) 단말기 및 그것의 이미지 처리 방법
US11368615B2 (en) Modifying image parameters using wearable device input
US20160037067A1 (en) Method for generating image and electronic device thereof
CN111371938B (zh) 一种故障检测方法及电子设备
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
CN104838642A (zh) 用创建者身份或场景标记媒体的方法和设备
EP2978265A1 (en) Method and apparatus for automatically connecting wireless network
WO2018048177A1 (ko) 전자 장치 및 복수의 영상을 처리하는 방법
CN109196316B (zh) 用于验证图像的光源的方法和电子设备
EP4254319A1 (en) Image processing method and apparatus
CN111614634A (zh) 流量检测方法、装置、设备及存储介质
CN111159604A (zh) 图片资源加载方法及装置
US10038812B2 (en) Imaging apparatus, recording instruction apparatus, image recording method and recording instruction method
KR102412591B1 (ko) 다른 노출값을 갖는 복수의 영상들을 이용하여 합성 영상을 생성하는 방법 및 이를 지원하는 전자 장치
US10827156B2 (en) Light filling method and apparatus for photographing environment, and computer-readable storage medium
WO2020026837A1 (ja) 撮影装置、電子機器及び通知方法
JP5891828B2 (ja) 携帯端末、撮影画像公開方法、プログラム
JP2009290541A (ja) 携帯端末装置及びプログラム
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
JP4889568B2 (ja) 撮像装置及び携帯端末装置
WO2020116197A1 (ja) 固体撮像装置、固体撮像方法および電子機器
JP5253560B2 (ja) 携帯電話機
CN116668836B (zh) 拍照处理方法和电子设备
JP2010103669A (ja) 撮像装置
JP2007158892A (ja) 画像送受信システム、携帯型画像受信装置、画像送信装置及びプログラム