JP2022068663A - 撮像装置、情報処理方法、及びプログラム - Google Patents
撮像装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022068663A JP2022068663A JP2020177464A JP2020177464A JP2022068663A JP 2022068663 A JP2022068663 A JP 2022068663A JP 2020177464 A JP2020177464 A JP 2020177464A JP 2020177464 A JP2020177464 A JP 2020177464A JP 2022068663 A JP2022068663 A JP 2022068663A
- Authority
- JP
- Japan
- Prior art keywords
- image
- analysis
- image analysis
- result
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 7
- 230000010365 information processing Effects 0.000 title claims description 6
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000010191 image analysis Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims description 159
- 230000008569 process Effects 0.000 claims description 143
- 238000004458 analytical method Methods 0.000 claims description 129
- 238000004891 communication Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 35
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】 着脱可能デバイスに実行させた画像解析の結果を、撮像装置が、適切なタイミングで取得可能とする技術を提供する。
【解決手段】 判定手段は、所定の画像に対する画像解析が完了したか判定する。決定手段は、判定手段による判定結果に基づいて、撮像装置によって撮像された撮像画像に対する画像解析を開始させてから当該画像解析の結果を取得するまでの待ち時間を決定する。取得手段は、撮像画像に対する画像解析の結果を示す情報を着脱可能デバイスから取得する。制御手段は、待ち時間が決定された後に、撮像画像に対する画像解析を、着脱可能デバイスに開始させ、取得手段は、制御手段によって撮像画像に対する画像解析が開始されてから待ち時間が経過すると、撮像画像に対する画像解析の結果を示す情報を着脱可能デバイスから取得する取得処理を実行する。
【選択図】 図3
【解決手段】 判定手段は、所定の画像に対する画像解析が完了したか判定する。決定手段は、判定手段による判定結果に基づいて、撮像装置によって撮像された撮像画像に対する画像解析を開始させてから当該画像解析の結果を取得するまでの待ち時間を決定する。取得手段は、撮像画像に対する画像解析の結果を示す情報を着脱可能デバイスから取得する。制御手段は、待ち時間が決定された後に、撮像画像に対する画像解析を、着脱可能デバイスに開始させ、取得手段は、制御手段によって撮像画像に対する画像解析が開始されてから待ち時間が経過すると、撮像画像に対する画像解析の結果を示す情報を着脱可能デバイスから取得する取得処理を実行する。
【選択図】 図3
Description
本発明は、情報処理技術に関するものである。
近年、撮像装置(カメラ)により撮像された画像を用いて、物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果に基づく物体数の推定等の画像処理が行われている。従来、このような画像処理は、画像処理を実行するPCやサーバ等の高性能な演算装置に、撮像装置によって撮像された画像を転送することによって行われてきた。これに対し、近年の演算デバイスの処理能力の向上や小型化に伴い、撮像装置側で画像処理を行うことが可能となってきている。撮像装置側での処理は、撮像装置本体に配置された演算デバイスによって実行されうる。
しかしながら、撮像装置が有する演算デバイスの処理能力は、十分ではないことがあり、撮像装置に着出可能な着脱可能デバイスを、撮像装置に取り付けて、演算処理を実行させることが考えられる。その際、撮像装置から着脱可能デバイス上で演算処理を実行させる場合に、着脱可能デバイスの種類によっては、着脱可能デバイスでの演算処理に要する時間を把握することが難しい場合がある。ここで、撮像装置に装着可能なデバイスに関し、特許文献1では、カメラに装着可能な発光部が、発光可能時間を示す情報をカメラに送信する技術が開示されている。
しかしながら、着脱可能デバイスにおける画像解析に要する時間を、撮像装置が取得することができず、着脱可能デバイスに実行させた画像解析の結果を、撮像装置が、適切なタイミングで取得できないという課題があった。
そこで、本発明の目的は、着脱可能デバイスに実行させた画像解析の結果を、撮像装置が、適切なタイミングで取得可能とする技術を提供することである。
上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、撮像装置に着脱可能な着脱可能デバイスを装着可能な撮像装置であって、前記着脱可能デバイスが画像解析を実行可能である場合に、前記着脱可能デバイスに所定の画像に対する画像解析を開始させる制御手段と、前記所定の画像に対する前記画像解析が完了したか判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮像装置によって撮像された撮像画像に対する画像解析を開始させてから当該画像解析の結果を取得するまでの待ち時間を決定する決定手段と前記撮像画像に対する前記画像解析の結果を示す情報を前記着脱可能デバイスから取得する取得手段とを有し、前記制御手段は、前記決定手段によって前記待ち時間が決定された後に、前記撮像画像に対する前記画像解析を、前記着脱可能デバイスに開始させ、前記取得手段は、前記制御手段によって前記撮像画像に対する前記画像解析が開始されてから前記決定手段によって決定された前記待ち時間が経過すると、前記撮像画像に対する前記画像解析の結果を示す前記情報を前記着脱可能デバイスから取得する取得処理を実行する。
本発明によれば、着脱可能デバイスに実行させた画像解析の結果を、撮像装置が、適切なタイミングで取得可能とすることが可能となる。
以下、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は以下の実施形態で説明する構成に限定されるものではない。また、各実施形態において、重複した説明は、適宜、省略する。また、各実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。また、各実施形態は、監視目的や、放送目的等、種々の目的の撮像技術に適用することが可能である。また、以下の各実施形態は、ネットワークに接続して他の装置と通信可能な撮像装置(ネットワークカメラ)に適用できる。また、ネットワークに接続できない撮像装置にも適用可能である。また、各実施形態において、画像解析の対象とする画像は、静止画であってもよいし、動画であってもよい。なお、各実施形態において、撮像装置を例に説明するが、本発明は、他の電子機器にも応用可能である。
<第1の実施形態>
(システム構成)
着脱可能デバイス100(100a~100d)は、撮像装置110(110a~110d)に対して着脱可能な演算デバイスである。着脱可能デバイス100は、一例として、SDカードに所定の処理回路を搭載したデバイスである。ただし、着脱可能デバイス100は、SDカードとしての機能全てを有している必要はない。
(システム構成)
着脱可能デバイス100(100a~100d)は、撮像装置110(110a~110d)に対して着脱可能な演算デバイスである。着脱可能デバイス100は、一例として、SDカードに所定の処理回路を搭載したデバイスである。ただし、着脱可能デバイス100は、SDカードとしての機能全てを有している必要はない。
着脱可能デバイス100は、例えば、SDカードの態様で、撮像装置110にその全体が挿入可能に構成され、これにより、撮像装置110から突出する部分がない状態で撮像装置110と接続可能に構成することができる。また、着脱可能デバイス100は、例えば、撮像装置110にその半分以上の部分が挿入可能に構成され、これにより、撮像装置110から突出する部分が少ない状態で撮像装置110と接続可能に構成されてもよい。これにより、着脱可能デバイス100が配線等の障害物と干渉することを防ぐことができ、デバイスの利用時の利便性をより高めることができる。ただし、着脱可能デバイス100は、必ずしも、撮像装置110にその半分以上の部分が挿入可能に構成されなくてもよい。
また、多くの既存のネットワークカメラなどの撮像装置110には、SDカードスロットが用意されているため、既存の撮像装置110に対して、着脱可能デバイス100により拡張機能を提供することができる。なお、着脱可能デバイス100は、SDカードの態様以外に、少なくともその撮像装置110で撮像された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置110に装着されるように構成されてもよい。例えば、着脱可能デバイス100は、USB(ユニバーサリシリアルバス)インタフェースを有し、撮像装置110のUSBソケットに装着されるように構成されてもよい。なお、着脱可能デバイス100は、撮像装置110で撮像された画像を記録する記録機能を有するように構成してもよいが、必ずしも記録機能を有していなくてもよい。
また、前述した、着脱可能デバイス100の所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたFPGA(フィールドプログラマブルゲートアレイ)によって実装される。しかし、それ以外の形式で実装されてもよい。
撮像装置110は、ネットワークカメラ等の撮像装置である。本実施形態では、撮像装置110は、画像を処理することのできる演算デバイスを内蔵するものとするが、これに限られない。例えば、撮像装置110に接続されたPC(パーソナルコンピュータ)等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置110として扱ってもよい。
また、本実施形態では、一例として、全ての撮像装置110に、着脱可能デバイス100が装着されているものとする。なお、図1では、4つの撮像装置110と、それぞれに装着された着脱可能デバイスとが示されているが、これらの装置の組み合わせの数は3つ以下であってもよいし、5つ以上であってもよい。
撮像装置110に、画像解析機能を有する着脱可能デバイス100が装着されることにより、撮像装置110が画像解析機能を有しなくても、撮像装置110側で画像処理を実行することが可能となる。また、本実施形態のように撮像装置110に画像処理用の演算デバイスが配置された形態では、次のような効果がある。つまり、演算デバイスが配置された着脱可能デバイス100が撮像装置110に装着されることにより、撮像装置110側で実行可能な画像処理を多様化したり、高度化したりすることができる。入出力装置130は、ユーザからの入力の受け付けや、ユーザへの情報の出力(例えば情報の表示)を行う装置である。
本実施形態では、例えば、入出力装置130は、PC等のコンピュータであり、そのコンピュータにインストールされたブラウザやネイティブアプリケーションが内蔵されたプロセッサによって実行されることで、情報の入出力が行われる。撮像装置110と入出力装置130は、ネットワーク120を介して通信可能に接続される。ネットワーク120は、例えばEthernet(登録商標)等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク120は、撮像装置110と入出力装置130との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク120は、インターネットや有線LAN(Local Area Network)、無線LAN、WAN(Wide Area Network)等でありうる。また、ネットワーク120は、例えば、ONVIF(Open Network Video Interface Forum)規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク120は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。
(撮像装置の構成)
続いて、撮像装置110の構成について説明する。図2は、撮像装置110のハードウェア構成例を示す図である。撮像装置110は、そのハードウェア構成として、例えば、撮像部201、画像処理部202、演算処理部203、配信部204、SD I/F部205を含む。なお、I/Fは、インタフェースの略語である。撮像部201は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部202から通知された設定値に基づいて調整される。
続いて、撮像装置110の構成について説明する。図2は、撮像装置110のハードウェア構成例を示す図である。撮像装置110は、そのハードウェア構成として、例えば、撮像部201、画像処理部202、演算処理部203、配信部204、SD I/F部205を含む。なお、I/Fは、インタフェースの略語である。撮像部201は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部202から通知された設定値に基づいて調整される。
撮像部201によって取得されたアナログ信号は、アナログ-デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部202へ転送される。演算処理部203は、CPUやMPU等の1つ以上のプロセッサ、RAMやROM等のメモリ、各I/Fのドライバなどから構成される。
なお、CPUはCentral Processing Unitの、MPUはMicro Processing Unitの、RAMはRandom Access Memoryの、ROMはRead Only Memoryの、頭字語である。
演算処理部203では、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置110と着脱可能デバイス100とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。
画像処理部202から受け取った画像は、配信部204、又は、SD I/F部205へ転送される。また、解析結果のデータも配信部204へ転送される。配信部204は、ネットワーク配信エンジンと、例えば、RAMやETH PHYモジュールなどの周辺デバイス等を含んで構成される。ETH PHYモジュールは、Ethernetの物理(PHY)レイヤの処理を実行するモジュールである。
配信部204は、演算処理部203から取得した画像データや解析結果のデータを、ネットワーク120へ配信可能な形式に変換して、変換後のデータをネットワーク120へ出力する。SD I/F部205は、着脱可能デバイス100と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス100を着脱するための、着脱ソケット等の装着機構を含んで構成される。
ここでは、SD I/F部205が、SD Associationにより策定されたSD規格に従って構成されるものとする。演算処理部203から取得された画像の着脱可能デバイス100への転送や、着脱可能デバイス100からのデータの取得等の、着脱可能デバイス100と撮像装置110との間での通信は、SD I/F部205を通じて行われる。
図3に、撮像装置110の機能構成例を示す。撮像装置110は、その機能として、例えば、撮像制御部301、信号処理部302、記憶部303、制御部304、解析部305、デバイス通信部306、及び、ネットワーク通信部307を含む。撮像制御部301は、撮像部201を介して周囲の環境を撮像するようにする制御を実行する。
信号処理部302は、撮像制御部301によって撮像された画像に対して所定の処理を施して、撮像画像のデータ(画像データ)を生成する。以下では、適宜、この撮像画像のデータを単に「撮像画像」と呼んだり、「画像」と呼んだりする。前述のようにこの撮像画像は静止画であっても、動画であってもよい。
信号処理部302は、例えば、撮像制御部301によって撮像された画像を符号化する。信号処理部302は、静止画像に対して、例えば、JPEG(Joint Photographic Experts Group)等の符号化方式を用いて符号化を行う。また、信号処理部302は、動画像に対して、H.264/MPEG-4 AVC(以下では「H.264」と呼ぶ。)、HEVC(High Efficiency Video Coding)等の符号化方式を用いて符号化を行う。
また、信号処理部302は、予め設定された複数の符号化方式の中から、例えば撮像装置110の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。記憶部303は、解析部305において実行可能な解析処理のリスト(以下では「第1処理リスト」と呼ぶ。)と、解析処理の結果に対する後処理のリストとを記憶する。また、記憶部303は、解析処理の結果を記憶する。
なお、本実施形態では、実行される処理が解析処理であるが、任意の処理が実行されてもよく、記憶部303は、その実行される処理に関連する処理について、第1処理リストと後処理のリストとを記憶するようにしうる。制御部304は、信号処理部302、記憶部303、解析部305、デバイス通信部306、ネットワーク通信部307を、それぞれが所定の処理を実行するように、制御する。
解析部305は、撮像画像に対して、解析前処理、解析処理、解析後処理の少なくともいずれかを選択的に実行する。解析前処理は、解析処理を実行する前に、撮像画像に対して実行する処理である。本実施形態の解析前処理では、一例として、撮像画像を分割して分割画像を作成する処理が実行されるものとする。
解析処理は、入力された画像を解析して得られる情報を出力する処理である。本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析結果を出力する処理が実行されるものとする。
解析処理は、例えば下記の文献に記載の技術によって、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された処理でありうる。
「J.Redmon、A.Farhadi、「YOLO9000:Better Faster Stronger」、Computer Vision and Pattern Recognition(CVPR)2016」
解析後処理は、解析処理が実行された後に実行される処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を解析結果として出力する処理が実行されるものとする。
解析後処理は、解析処理が実行された後に実行される処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を解析結果として出力する処理が実行されるものとする。
なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。デバイス通信部306は、着脱可能デバイス100との通信を行う。デバイス通信部306は、入力されたデータを着脱可能デバイス100が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス100に送信する。
また、デバイス通信部306は、着脱可能デバイス100からデータを受信し、受信したデータを撮像装置110が処理可能な形式に変換する。本実施形態では、デバイス通信部306は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部306によって実行されてもよい。
また、本実施形態では、デバイス通信部306は、着脱可能デバイス100に対してSD規格の範囲内で事前に定められたコマンドシーケンスを送信し、着脱可能デバイス100からの応答を受信することで、着脱可能デバイス100との通信を行うものとする。ネットワーク通信部307は、ネットワーク120を介して、入出力装置130との通信を行う。
(着脱可能デバイスの構成)
図4に、着脱可能デバイス100のハードウェア構成例を示す。着脱可能デバイス100は、一例として、I/F部401、FPGA402、SDコントローラ403、及び、記憶部404を含んで構成される。
図4に、着脱可能デバイス100のハードウェア構成例を示す。着脱可能デバイス100は、一例として、I/F部401、FPGA402、SDコントローラ403、及び、記憶部404を含んで構成される。
着脱可能デバイス100は、撮像装置110が有するSD I/F部205の着脱ソケットに挿抜できる形状で、すなわちSD規格に則った形状で成形されるものとする。
I/F部401は、撮像装置110等の装置と着脱可能デバイス100とを接続するためのインタフェース部分である。I/F部401は、例えば、撮像装置110から電源の供給を受け、着脱可能デバイス100内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。
I/F部401は、撮像装置110のSD I/F部205と同様に、SD規格内で定義(準拠)されている項目に関しては、それに従うものとする。撮像装置110からの画像や設定データの受け取り、FPGA402から撮像装置110へのデータの送信は、I/F部401を介して実行される。
FPGA402は、入出力制御部410、処理切替部411、及び演算処理部412を含んで構成される。FPGA402は、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。FPGA402が実現する処理により、着脱可能デバイス100が装着された装置に、画像解析等の処理機能を追加(提供)することができる。また、FPGA402の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス100を装着することにより、その装置において適時に適切な処理を実行することが可能となる。
なお、本実施形態では、FPGAが用いられる例について説明するが、各実施形態における処理を実現可能である限りにおいて、例えば、汎用のASICや専用のLSIが用いられてもよい。FPGA402は、生成される論理回路構造の情報を含んだ設定データが専用のI/Fから書き込まれることにより、又は、その設定データがその専用のI/Fから読み出されることによって、起動される。本実施形態では、この設定データが記憶部404に保持(記憶)されているものとする。
記憶部404は、例えばNAND型フラッシュメモリによって構成される。記憶部404は、例えば、撮像装置110から書き込まれた画像データ等のデータ、演算処理部412に書き込まれる画像解析機能の情報を記憶する。また、記憶部404は、例えば、FPGA402の設定データ、解析用の回路データ等の各種情報を記憶する。なお、記憶部404として、RAM(Random Access Memory)を用いてもよい。
FPGA402は、電源が投入されると、記憶部404から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、I/F部401を介して、撮像装置110がFPGA402に設定データを書き込んでもよい。
入出力制御部410は、撮像装置110との間で画像を送受信するための回路、撮像装置110から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、SD規格に定義されているものであり、入出力制御部410は、それらのうちのいくつかを検出することができる。
入出力制御部410は、記憶処理の場合はSDコントローラ403へ画像を送信し、画像解析を行う場合は演算処理部412へ画像を送信するように制御を行う。また、入出力制御部410は、処理の切り替えの設定データを受け取った場合は、処理切替部411へ設定データを送信する。
SDコントローラ403は、SD規格に定義(準拠)されているような公知のコントロールIC(集積回路)であり、SDプロトコルのスレーブ動作の制御と、記憶部404に対するデータの読み書きの制御とを実行する。
処理切替部411は、撮像装置110から受け取った設定データに基づいて、記憶部404から画像解析機能の情報を取得し、演算処理部412に書き込むための回路を含んで構成される。
画像解析機能の情報は、例えば、演算処理部412内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。演算処理部412は、画像解析機能を実行するために必要な複数の演算回路を含んで構成される。
演算処理部412は、処理切替部411から受け取った画像解析機能の情報に基づいて、各演算処理を実行して、その解析結果を撮像装置110へ送信し、及び/又は、その解析結果を記憶部404に記録する。このように、FPGA402は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部412によって実行される処理内容を書き換える。
これにより、着脱可能デバイス100が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置110側で最新の処理を実行させることができる。
なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス100のFPGA402が1つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部412の処理内容を変更することができる場合、複数の処理機能を有する、と表現する。
次に、図5を用いて、着脱可能デバイス100の機能構成例を示す。着脱可能デバイス100は、その機能構成として、例えば、解析部501、通信部502、及び記憶部503を含む。
解析部501は、撮像装置110から入力された画像に対する解析処理を実行する。解析部501は、例えば、解析処理の設定要求を入力された場合に、入力された解析処理を実行可能な状態に自らを設定する。具体的には、前述のように、FPGA402の倫理回路構造を、指定された解析処理を実行可能なように再構成する。そして、解析部501は、撮像装置110から画像が入力された場合、その入力された画像に対して、設定された解析処理を実行する。
本実施形態では、解析部501によって実行可能な解析処理は、人体検出処理と顔検出処理であるものとするが、これらに限られない。例えば、事前に記憶された人物が画像に含まれるか否かを判定する処理であってもよい。また、例えば、事前に記憶された人物の画像特徴量と、入力された画像から検出された人物の画像特徴量との一致度合いが算出され、一致度合いが閾値以上の場合に事前に記憶された人物であると判定される。また、プライバシー保護を目的として入力された画像から検出された人物に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。これらの解析処理の内の複数を実行してもよい。
また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。
以上のように、実行可能な解析処理は、機械学習を用いた画像解析にも、機械学習を用いない画像解析にも応用可能である。また、上記の各解析処理は、着脱可能デバイス100が単独で行うのではなく、撮像装置110と協働して実行してもよい。
次に、通信部502は、I/F部401を介して、撮像装置110との通信を行う。具体的には、I/F部401を介して、撮像装置110から画像が入力されたり、撮像装置100から解析結果が読み出されたりする。
記憶部503は、解析処理の設定内容や解析処理に要するクロック数の情報等を記憶する。解析処理に要するクロック数は、所定の画像単位に対して解析処理を完了するために要する、演算処理部412のクロック数の値を示す情報である。また、記憶部503は、その他にも前述の記憶部404の説明で記した情報を記憶する。
(解析結果の読み出し待ち時間の決定方法)
次に、着脱可能デバイス100による処理(映像解析)の結果を、撮像装置110が読み出す読み出し時間を決定する方法について説明する。具体的には、撮像装置110が、画像解析処理の対象となる画像を着脱可能デバイスに入力してから、その結果を読み出すまでの待ち時間を決定する方法について説明する。SDカードの通信プロトコルを使用する着脱可能デバイス100の場合は、マスターである撮像装置110に対してスレーブとなる着脱可能デバイス側から能動的に時間情報や解析処理の終了した旨をホストの撮像装置110側に通知する術がない。また、着脱可能デバイスが撮像装置から供給されるクロックを解析処理に使用する際などには、クロックサイクルにより解析処理に要する時間が変わるという課題がある。本実施形態における読み出し時間の決定方法では、この課題を解決することが可能である。なお、クロックサイクルとは、クロック信号の繰り返し周期1回分にかかる時間の長さである。
次に、着脱可能デバイス100による処理(映像解析)の結果を、撮像装置110が読み出す読み出し時間を決定する方法について説明する。具体的には、撮像装置110が、画像解析処理の対象となる画像を着脱可能デバイスに入力してから、その結果を読み出すまでの待ち時間を決定する方法について説明する。SDカードの通信プロトコルを使用する着脱可能デバイス100の場合は、マスターである撮像装置110に対してスレーブとなる着脱可能デバイス側から能動的に時間情報や解析処理の終了した旨をホストの撮像装置110側に通知する術がない。また、着脱可能デバイスが撮像装置から供給されるクロックを解析処理に使用する際などには、クロックサイクルにより解析処理に要する時間が変わるという課題がある。本実施形態における読み出し時間の決定方法では、この課題を解決することが可能である。なお、クロックサイクルとは、クロック信号の繰り返し周期1回分にかかる時間の長さである。
図6を用いて解析結果の読み出し待ち時間の決定する方法(情報処理方法)について説明する。なお、図6の処理は、制御部304が、撮像装置110に装着された着脱可能デバイスが、画像解析を実行することが可能なデバイスであると判定された場合に実行される。
まず、撮像装置110の制御部304は、デバイス通信部306を介して、着脱可能デバイス100に解析処理の起動用コマンドを着脱可能デバイス110に発行してS601(ステップ601)で解析処理の設定を行う。
着脱可能デバイス100の解析部501は、このコマンドを受け取ることで、記憶部503に格納されている解析処理用の回路データを設定する。つまり、解析部501は、前述のように、FPGA402の倫理回路構造を、指定された解析処理を実行可能なように再構成する。
次にS602で、撮像装置110の制御部304は、デバイス通信部306を介して、S601で設定した解析処理用の所定の画像(以下テスト画像と呼ぶ)を着脱可能デバイスに送信し、着脱可能デバイス110に画像解析を実行させる(開始させる)。撮像装置110の記憶部303は、このテスト画像を解析した解析結果を保持している。つまり、記憶部303は、解析結果の正解(期待値)となる値を示す情報を保持している。なお、テスト画像のデータとその期待値は、着脱可能デバイス100の記憶部503が記憶していてもよい。
また、テスト画像として使用する画像はSD I/F上のDATAラインが頻繁にHighレベルとLowレベルを切り変わるようなデータ(0x0F0F、0xA5A5等)を用いるようにしてもよい。これにより、解析処理が完了するまでの時間を取得できるとともに、SDI/F上でのクロストークの影響等、通信に用いる電気信号の波形品質も併せてチェックすることが可能となる。
次に、S603で、撮像装置110の制御部304は、解析結果を読み出すために一定時間待機(Wait)する。つまり、一定時間だけ経過するまで待つ。
このときの待ち時間は、予め決めた固定値でもよいが、着脱可能デバイス110から読みだしたクロック数に関する情報に基づいて決定するようにしてもよい。ここで、この待ち時間の初期値(第1の時間)の決定方法について説明する。
撮像装置110の制御部304は、着脱可能デバイス100が動作する際のクロックサイクルを決定するために、デバイス通信部306を介して、着脱可能デバイスと通信を行う。また、例えば、撮像装置110の制御部304は、着脱可能デバイスの記憶部503に記憶された、所定の画像単位に対して解析処理を完了するために要するクロック数の値を示す情報を取得する。クロックサイクルにこのクロック数を乗算することで、所定の画像単位に対して解析処理を完了するために要する時間の初期値を決定することができる。
解析処理に要する時間は撮像装置110と着脱可能デバイス100とのアクセススピード(通信速度)等に依存する。例えば、同じ画像解析であっても撮像装置が対応するSDプロトコルの種別によって変動する可能性がある。
例えば、撮像装置110と着脱可能デバイス110との間のアクセススピードがSDプロトコルのHigh-Speedモードであれば、クロックの周波数は最大50MHzである。しかし、UHS-Iモードであれば、クロックの周波数は最大208MHzとなる。また、同じアクセスモードであっても撮像装置(ホスト機器)は最大周波数を超えない範囲で任意のクロック周波数(クロックサイクルの逆数)を選択可能である。そのため、同じ着脱可能デバイス100でも挿入される撮像装置によって着脱可能デバイス100で解析処理に要する時間は変動してしまう。
よって、最初のテスト画像での解析結果の読み出し待ち時間の初期値は撮像装置110と着脱可能デバイス110との間の通信モード(アクセスモード)で決定されるクロックサイクルと、解析処理におけるクロック数とから計算して決めるようにしてもよい。例えば、アクセスモードがHigh-Speedモード(最大クロック:50MHz)で解析処理に要するクロック数が100000である場合には、クロックサイクル20ns×クロック数100000=2msの待ち時間を初期値として設定することができる。なお、初期値は、このようにして算出される時間よりも所定時間短い時間にしてもよい。そうすることで、少しずつ、後述の待ち時間を長くすることで、より適切な待ち時間を導出することができる。
次のS604で、撮像装置110の制御部304は、デバイス通信部306を介して、解析結果を取得するための取得コマンドを発行して、着脱可能デバイス110から解析結果を示す情報を取得するための取得処理(第1の取得処理)を実行する。なお、この取得コマンドは、例えば、SD規格に定義(準拠)されているリードコマンドである。例えば、READ_SINGLE_BLOCKコマンドやREAD_MULTIPLE_BLOCKコマンドである。
このように、制御部304は取得部としての機能も有している。
そして、S605において、制御部304は、取得した解析結果と、予め保持している期待値(正解)とを比較して、テスト画像に対する解析処理が完了しているか判定する。このように制御部304は判定部としての機能も有している。
ここで、ステップS605の処理について、より詳細に説明する。
まず、解析結果及び期待値について説明する。解析結果及び期待値は、解析処理が人数カウントである場合は、人数を示す情報である。また、人体検出処理、顔検出処理、車両検出処理の場合は、検出対象の有無や、検出された検出対象の画像中の位置を示す情報である。
ここで、画像解析の種別が人数カウントである場合のテスト画像について、図7を用いて説明する。図7(a)は撮像装置100で撮像される画像サイズと同様のサイズの画像である。このテスト画像は、全体で8人の人体が含まれる静止画を示している。
図7(a)に対して人数カウントを行う場合、一般的に、図7(b)に示されるように、解析処理の処理単位として、パッチと呼ばれる所定の画像単位に分割される。ここではP1~P9の9枚に分割されている。
着脱可能デバイス110の解析部501は、分割されたP1からP9の各パッチに対して画像解析を実行する。画像全体としての人数を導出する場合、各パッチでの解析結果を図7(c)のように求め、その解析結果の合計から全体の人数である8人という結果が導出される。テスト画像としては、P1からP9全てのパッチを使用する必要はなく、解析結果を把握している最低1つのパッチを使用するだけでもよい。
例えば、テスト画像としてP6を使用する場合には、期待値である2人という解析結果が、着脱可能デバイス110から取得できた場合に、撮像装置110の制御部304は、解析処理が終了していると判定ができる。なお、解析処理が完了していない場合には、何もデータが返ってこなかったり、前の解析処理の結果を示す情報が着脱可能デバイス110から返ってきたりすることとなる。
よって、「2人」ではない別の解析結果が、着脱可能デバイス110から取得された場合には、制御部304は、解析処理が終了していないと判定することができる。また、画像解析の種別が物体検出である場合には、制御部304は、検知したい対象の物体が含まれる静止画を使用するように、画像解析の種別に応じてテスト画像は変更するようにする。そして、制御部304は、その物体の検出の有無や、その物体の画像中の位置に基づいて、解析処理が完了しているか判定することができる。例えば、S605において、検出された物体の位置が期待値と一致するか、所定の範囲内であれば、解析処理が完了していると判定する。
S605において、制御部304が、テスト画像に対する解析処理が完了したと判定した場合、S607に進む。一方、完了していないと判定された場合は、S606に進む。
S606において、制御部304は、更に、追加で、所定の時間(第2の時間)待機する。この所定の時間は、例えば、初期値の5%に相当する時間である。そして、S604に戻る。そして、再度、前述の取得処理(第2の取得処理)が実行される。
一方、S606では、S605における比較結果に応じて、今後の画像解析における、画像解析の実行を指示してからその結果を読み出すまでの待ち時間を決定する。つまり、制御部304は、今後、撮像装置で撮像された画像に対して、実際に行われる解析処理で使われる待ち時間を決定する。
1回目のS605の判定で、テスト画像に対する解析が完了していると判定された場合、その判定結果に基づき、S607で、制御部304は、待ち時間の初期値を、今後の解析処理における待ち時間として決定することとなる。なお、初期値を所定の時間だけオフセットさせた時間、又は、初期値に所定の係数を乗算した時間を今後の待ち時間として決定してもよい。
一方、S605で「No」となり、ステップS604とS606を何回か実行した場合は次のようにする。つまり、S607で、制御部304は、ステップS604とS606を実行した回数から1を引いた分だけ、S606における待ち時間の追加分を、待ち時間の初期値に加算した時間を、今後の待ち時間として決定する。言い換えると、テスト画像に対する解析処理に要する時間を、所定の時間単位で測定することで、待ち時間を決定している。言い換えると、テスト画像に対する解析処理が完了するまでの要する時間に基づいて、待ち時間を決定している。
S605で、2回「No」となった場合は、ステップS604とS606を合計3回実行することになる。よって、制御部304は、初期値に、S606における待ち時間の追加分を2倍した時間を加算した時間を、今後の待ち時間として決定する。
なお、このようにした算出した時間を所定の時間だけオフセットさせた時間や、所定の係数を乗算した時間を今後の待ち時間として決定してもよい。以上のように制御部304は決定部としても機能する。
以上の説明では、実際に検出したい対象が映っている画像をテスト画像として用いた。しかし、これに限定されるものではなく、画像解析に合った画像サイズ(データ量)を有し、かつ解析結果により解析処理が終了しているか否かを判断できる画像であればテスト画像として使用可能である。
また、S607で決定した待ち時間が一定値以上の場合は次のようにしてもよい。例えば、解析処理を行う際に必要とされるフレームレートで定まるフレーム間隔(フレーム間の時間)を考慮してもよい。決定した待ち時間がフレーム間隔より長い場合は、解析処理をリアルタイムに行えないこととなる。よって、制御部は、ネットワーク通信部307を通じて、解析に要する時間が短い同種の画像解析を使用することをユーザに提案するための情報(メッセージ等)を入出力装置130に出力するようにしてもよい。この情報に基づいて、入出力装置130は、他の解析処理を選択させるためのGUI等を、図示を省略するディスプレイに表示させる。これによりユーザは選択されたアプリケーションのフレームレートに適合した解析処理を使用することができる。このように、制御部304は、決定された待ち時間が、所定の時間よりも長い場合は、他の画像解析を選択させるための情報を出力する出力部としても機能する。
以上のように、本実施形態によれば、テスト画像に対する解析処理の結果に基づいて、待ち時間を決定している。よって、着脱可能デバイスに実行させた画像解析の結果を、撮像装置が、適切なタイミングで取得可能とすることができる。
<第2の実施形態>
図8を参照して、第2実施形態における、解析結果の読み出し待ち時間の決定方法(情報処理方法)について説明する。なお、第1実施形態と同様な部分については、適宜、説明を省略する。第2の実施形態では、テスト画像に対する解析処理を、待ち時間を変えて何回か実行することによって、より適切に、待ち時間を決定する。なお、図8の処理は、制御部304が、撮像装置110に装着された着脱可能デバイスが、画像解析を実行することが可能なデバイスであると判定された場合に実行される。
図8を参照して、第2実施形態における、解析結果の読み出し待ち時間の決定方法(情報処理方法)について説明する。なお、第1実施形態と同様な部分については、適宜、説明を省略する。第2の実施形態では、テスト画像に対する解析処理を、待ち時間を変えて何回か実行することによって、より適切に、待ち時間を決定する。なお、図8の処理は、制御部304が、撮像装置110に装着された着脱可能デバイスが、画像解析を実行することが可能なデバイスであると判定された場合に実行される。
S601~S605は、基本的に、図6における処理と同様である。
S605において、制御部304が、テスト画像に対する解析処理が完了したと判定した場合、S807に進む。一方、完了していないと判定された場合は、S806に進む。
S806において、制御部304は、次のS603における待ち時間を所定の時間だけ長くする。この所定の時間は、例えば、初期値の5%に相当する時間である。そして、S602に戻る。つまり、次のS603における待ち時間は、S806で長くされた待ち時間(第3の時間)となる。この長くされた待ち時間が経過すると前述の取得処理(第3の取得処理)が実行されることとなる。このように、S605において、テスト画像に対する解析処理が完了していると判定されるまで、再度、テスト画像に対する解析処理が繰り返されることとなる。
一方、S605において、制御部304が、テスト画像に対する解析処理が完了したと判定した場合であっても、待ち時間が長すぎる可能性がある。
そこで、次のS807において、前回の解析ではテスト画像に対する解析処理が完了していたか判定する。なお、制御部304は、1回目のS607の判定では「Yes」と判定することとする。
S807において、前回の解析でテスト画像に対する解析処理が完了していたと判定された場合、S808に進む。
そして、S808では、次のS603における待ち時間を所定の時間だけ短くする。この所定の時間は、例えば、初期値の5%に相当する時間である。
S807において、前回の解析でテスト画像に対する解析処理が完了していなかったと判定されて場合、S809に進む。つまり、次のような場合に、S807で「No」となり、S809に進むこととなる。つまり、前回のS605の判定において「No」と判定された後に、S806で待ち時間が長くされ、次のS605において「Yes」と判定された場合である。
そして、S809において、制御部304は、今後、撮像装置で撮像された画像に対して、実際に行われる解析処理で使われる待ち時間を決定する。
具体的には、最後にS603で待機したときの待ち時間を今後の解析処理の待ち時間として決定する。なお、このS604における待ち時間をそのまま採用しなくてもよい。つまり、この待ち時間を所定の時間だけオフセットさせた時間や、所定の係数を乗算した時間を今後の待ち時間として決定してもよい。
以上のように、本実施形態によれば、テスト画像に対する解析処理を待ち時間を変えて何回か実行することによって、より適切に、待ち時間を決定することができる。
よって、着脱可能デバイスに実行させた画像解析の結果を、撮像装置が、適切なタイミングで取得可能とすることができる。
<その他の実施形態>
図9を用いて、各実施形態の撮像装置の各機能を実現するためのハードウェア構成の他の例について説明する。
図9を用いて、各実施形態の撮像装置の各機能を実現するためのハードウェア構成の他の例について説明する。
RAM(Random Access Memory)222は、CPU(Central Processing Unit)221が実行するコンピュータプログラムを一時的に記憶する。また、RAM222は、通信インタフェース224を介して外部から取得したデータ(コマンドや画像データ)などを一時的に記憶する。また、RAM222は、CPU221が各種の処理を実行する際に用いるワークエリアを提供する。また、RAM222は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
CPU221は、RAM222に格納されるコンピュータプログラムを実行する。CPU以外にも、DSP(Digital Signal Processor)等のプロセッサやASIC(Application Specific Integrated Circuit)を用いてもよい。
HDD(Hard Disk Drive)223は、オペレーティングシステムのプログラムや画像データを記憶する。また、HDD223は、コンピュータプログラムを記憶する。
HDD223に保存されているコンピュータプログラムやデータは、CPU221による制御に従って、適宜、RAM222にロードされ、CPU221によって実行される。HDD以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。バス225は、各ハードウェアを接続する。バス225を介して各ハードウェアがデータをやり取りする。以上が各実施形態におけるハードウェア構成である。
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、各実施形態における撮像装置は、図9に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
また、本発明は以上説明した各実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更が可能である。例えば、各実施形態や変形例を組み合わせたものも本明細書の開示内容に含まれる。
110 撮像装置
304 制御部
306 デバイス通信部
100 着脱可能デバイス
501 解析部
502 通信部
304 制御部
306 デバイス通信部
100 着脱可能デバイス
501 解析部
502 通信部
Claims (10)
- 撮像装置に着脱可能な着脱可能デバイスを装着可能な撮像装置であって、
前記着脱可能デバイスが画像解析を実行可能である場合に、前記着脱可能デバイスに所定の画像に対する画像解析を開始させる制御手段と、
前記所定の画像に対する前記画像解析が完了したか判定する判定手段と、
前記判定手段による判定結果に基づいて、前記撮像装置によって撮像された撮像画像に対する画像解析を開始させてから当該画像解析の結果を取得するまでの待ち時間を決定する決定手段と
前記撮像画像に対する前記画像解析の結果を示す情報を前記着脱可能デバイスから取得する取得手段と
を有し、
前記制御手段は、前記決定手段によって前記待ち時間が決定された後に、前記撮像画像に対する前記画像解析を、前記着脱可能デバイスに開始させ、
前記取得手段は、前記制御手段によって前記撮像画像に対する前記画像解析が開始されてから前記決定手段によって決定された前記待ち時間が経過すると、前記撮像画像に対する前記画像解析の結果を示す前記情報を前記着脱可能デバイスから取得する取得処理を実行する
ことを特徴とする撮像装置。 - 前記所定の画像に対する前記画像解析の結果を示す情報を記憶する記憶手段
を更に有し、
前記判定手段は、前記記憶手段に記憶された前記情報と、前記着脱可能デバイスによって実行された前記所定の画像に対する前記画像解析の結果を示す情報とを比較することで、前記画像解析が完了したか判定する
ことを特徴とする請求項1記載の撮像装置。 - 前記取得手段は、前記所定の画像に対する前記画像解析の結果を示す情報を取得するための取得処理を実行し、
前記判定手段は、前記取得処理の結果に基づいて、前記所定の画像に対する前記画像解析が完了したか判定する
ことを特徴とする請求項1又は2に記載の撮像装置。 - 前記取得手段は、前記制御手段によって前記所定の画像に対する前記画像解析が開始されてから、第1の時間が経過すると、前記所定の画像に対する前記解析処理の結果を取得するための第1の取得処理を実行し、
前記第1の取得処理に基づいて前記判定手段によって前記画像解析が完了していないと判定された場合、前記取得手段は、更に第2の時間が経過すると、再度、前記所定の画像に対する前記解析処理のための第2の取得処理を実行し、
前記決定手段は、前記第2の取得処理に基づいて前記判定手段によって前記画像解析が完了したと判定された場合、前記第1及び第2の時間に基づいて、前記待ち時間を決定する
ことを特徴とする請求項3記載の撮像装置。 - 前記取得手段は、前記制御手段によって前記所定の画像に対する前記画像解析が開始されてから、第1の時間が経過すると、前記所定の画像に対する前記解析処理の結果を取得するための前記第1の取得処理を実行し、
前記第1の取得処理に基づいて前記判定手段によって前記画像解析が完了していないと判定された場合、前記制御手段は、前記着脱可能デバイスに、再度、前記所定の画像に対する前記画像解析を開始させ、
前記制御手段によって、再度、前記画像解析が開始されてから、前記第1の時間よりも長い第3の時間が経過すると、前記取得手段は、前記所定の画像に対する前記画像解析の結果を示す情報を取得するための第3の取得処理を実行し、
前記第3の取得処理に基づいて前記判定手段によって前記画像解析が完了したと判定された場合、前記決定手段は、前記第3の時間に基づいて、前記待ち時間を決定する
ことを特徴とする請求項3記載の撮像装置。 - 前記決定手段は、前記撮像装置と前記着脱可能デバイスとの通信で用いられるアクセスモードに基づく時間と、前記判定手段による判定結果とに基づいて、前記待ち時間を決定する
ことを特徴とする請求項1~5のいずれか1項に記載の撮像装置。 - 前記決定手段によって決定された前記待ち時間が、所定の時間よりも長い場合は、他の画像解析を選択させるための情報を出力する出力手段
を有することを特徴とする請求項1~6のいずれか1項に記載の撮像装置。 - 前記決定手段は、前記判定手段によって前記所定の画像に対する前記画像解析が完了したと判定されるまでの時間に基づいて、前記待ち時間を決定する
ことを特徴とする請求項1~7のいずれか1項に記載の撮像装置。 - 撮像装置に着脱可能な着脱可能デバイスを装着可能な撮像装置における情報処理方法であって、
前記着脱可能デバイスが画像解析を実行可能である場合に、前記着脱可能デバイスに所定の画像に対する画像解析を開始させる制御工程と、
前記所定の画像に対する前記画像解析が完了したか判定する判定工程と、
前記判定工程における判定結果に基づいて、前記撮像装置によって撮像された撮像画像に対する画像解析を開始させてから当該画像解析の結果を取得するまでの待ち時間を決定する決定工程と
前記撮像画像に対する前記画像解析の結果を示す情報を前記着脱可能デバイスから取得する取得工程と
を有し、
前記制御工程において、前記決定工程において前記待ち時間が決定された後に、前記撮像画像に対する前記画像解析を、前記着脱可能デバイスに開始させ、
前記取得工程において、前記制御工程において前記撮像画像に対する前記画像解析が開始されてから前記決定工程において決定された前記待ち時間が経過すると、前記撮像画像に対する前記画像解析の結果を示す前記情報を前記着脱可能デバイスから取得する取得処理を実行する
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1~8のいずれか1項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020177464A JP2022068663A (ja) | 2020-10-22 | 2020-10-22 | 撮像装置、情報処理方法、及びプログラム |
EP21203221.3A EP3989533A1 (en) | 2020-10-22 | 2021-10-18 | Imaging apparatus, information processing method, and recording medium |
CN202111215982.2A CN114390165A (zh) | 2020-10-22 | 2021-10-19 | 摄像装置、信息处理方法和存储介质 |
US17/506,555 US11729515B2 (en) | 2020-10-22 | 2021-10-20 | Imaging apparatus, information processing method, and recording medium for determining whether an image analysis of a predetermined image is complete |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020177464A JP2022068663A (ja) | 2020-10-22 | 2020-10-22 | 撮像装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022068663A true JP2022068663A (ja) | 2022-05-10 |
JP2022068663A5 JP2022068663A5 (ja) | 2023-10-30 |
Family
ID=78676264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020177464A Pending JP2022068663A (ja) | 2020-10-22 | 2020-10-22 | 撮像装置、情報処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11729515B2 (ja) |
EP (1) | EP3989533A1 (ja) |
JP (1) | JP2022068663A (ja) |
CN (1) | CN114390165A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3817368A3 (en) * | 2019-10-30 | 2021-09-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method, and program |
JP2022164050A (ja) * | 2021-04-15 | 2022-10-27 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3548191B2 (ja) * | 1993-03-22 | 2004-07-28 | キヤノン株式会社 | カメラ |
US6256063B1 (en) * | 1996-10-02 | 2001-07-03 | Fuji Photo Film Co., Ltd. | Image signal processing unit and electronic still camera |
US20030231343A1 (en) * | 2002-05-08 | 2003-12-18 | Ayako Kobayashi | Image forming apparatus, program adding method, and a recording medium |
JP2006019932A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 処理装置及び撮像装置 |
WO2013011988A1 (ja) | 2011-07-20 | 2013-01-24 | 株式会社ニコン | アクセサリー、カメラ、アクセサリー制御方法、アクセサリー制御プログラム、及びカメラ制御プログラム |
JP6904677B2 (ja) * | 2016-08-30 | 2021-07-21 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2020
- 2020-10-22 JP JP2020177464A patent/JP2022068663A/ja active Pending
-
2021
- 2021-10-18 EP EP21203221.3A patent/EP3989533A1/en active Pending
- 2021-10-19 CN CN202111215982.2A patent/CN114390165A/zh active Pending
- 2021-10-20 US US17/506,555 patent/US11729515B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220132028A1 (en) | 2022-04-28 |
CN114390165A (zh) | 2022-04-22 |
EP3989533A1 (en) | 2022-04-27 |
US11729515B2 (en) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11729515B2 (en) | Imaging apparatus, information processing method, and recording medium for determining whether an image analysis of a predetermined image is complete | |
CN112752018B (zh) | 图像捕获装置、控制方法及计算机可读存储介质 | |
US9424623B2 (en) | Image processor | |
US20230061585A1 (en) | Image capturing apparatus and method for controlling the same, and non-transitory computer-readable storage medium | |
CN113329166A (zh) | 图像捕获装置、设备、控制方法和计算机可读存储介质 | |
WO2012112341A1 (en) | Timing generator and method of generating timing signals | |
CN109121194B (zh) | 用于电子设备的状态转换的方法和装置 | |
EP4027218A1 (en) | Detachable electrical device and control method thereof | |
US20230244551A1 (en) | Image capturing apparatus, device, control method thereof, and non-transitory computer-readable storage medium | |
JP7417455B2 (ja) | 電子機器及びその制御方法、プログラム | |
JP2022167153A (ja) | 情報処理装置およびその制御方法 | |
JP2022039941A (ja) | 情報処理装置、制御方法、及び、プログラム | |
JP2021158576A (ja) | 着脱可能デバイスおよびその制御方法、プログラム | |
US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium | |
JP2022164050A (ja) | 情報処理装置およびその制御方法 | |
JP2022072874A (ja) | 撮像装置、及び、その制御方法、及び、プログラム | |
CN208386763U (zh) | Ai动态图像采集装置和图像采集系统 | |
US20230247283A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer-readable storage medium | |
CN113784036B (zh) | 设备对焦方法、装置、存储介质及电子设备 | |
JP2023011341A (ja) | 情報処理装置およびその制御方法 | |
Sulzbachner et al. | A load balancing approach for silicon retina based asynchronous temporal data processing | |
Bistry et al. | Task oriented control of smart camera systems in the context of mobile service robots | |
CN117156073A (zh) | 视频数据传输装置及系统 | |
JP2021136663A (ja) | デバイス、通信装置、方法、およびプログラム | |
CN117099019A (zh) | 信息处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20201105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231020 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |