JP2023111645A - 撮像装置、デバイス、それらの制御方法及びプログラム - Google Patents
撮像装置、デバイス、それらの制御方法及びプログラム Download PDFInfo
- Publication number
- JP2023111645A JP2023111645A JP2022013587A JP2022013587A JP2023111645A JP 2023111645 A JP2023111645 A JP 2023111645A JP 2022013587 A JP2022013587 A JP 2022013587A JP 2022013587 A JP2022013587 A JP 2022013587A JP 2023111645 A JP2023111645 A JP 2023111645A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- command
- analysis
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims description 52
- 238000012545 processing Methods 0.000 claims abstract description 284
- 238000004458 analytical method Methods 0.000 claims abstract description 187
- 238000004891 communication Methods 0.000 claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
- G06F1/10—Distribution of clock signals, e.g. skew
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Facsimiles In General (AREA)
Abstract
Description
前記デバイスが解析処理を実行するためのクロック供給用の第1のコマンドを生成する生成手段と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記デバイスに対して画像を送信し、前記画像に対する前記解析処理の実行指示を送信し、前記実行指示に従って得られた処理結果を受信する通信手段を備え、
前記通信手段は、前記実行指示を送信した後、少なくとも前記デバイスにおいて前記画像の前記解析処理が終了するまでの間、前記第1のコマンドを送信する。
<システム構成>
図1に、本実施形態の画像処理システムの構成例を示す。画像処理システムは、例えば、複数の撮像装置110から入力されたそれぞれの撮像画像を解析して特定人物を追跡するシステムとして構築することができる。ただし、実施形態はこれに限られず、画像を解析して所定の情報出力を行う任意のシステムとして構築できる。本システムは、撮像装置110a~110dと、ネットワーク120と、入出力装置130とを含んで構成される。撮像装置110a~110dは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有する。各スロットには着脱可能デバイス100a~100dが挿入され、これにより着脱可能デバイス100a~100dと接続される。これ以降、着脱可能デバイス100a~100dを総称して「着脱可能デバイス100」と表記し、撮像装置110a~110dを総称して「撮像装置110」と表記することがある。以下、システムを構成する各装置について説明する。
(撮像装置の構成)
続いて、図2を参照して撮像装置110の構成例について説明する。図2は、撮像装置110のハードウェア構成例を示す図である。撮像装置110は、そのハードウェア構成として、例えば、撮像部201、画像処理部202、演算処理部203、配信部204、SD I/F部205を含む。I/Fは、インタフェースの略語である。
次に図4を参照して、着脱可能デバイス100のハードウェア構成例を説明する。着脱可能デバイス100は、一例として、I/F部401、FPGA402、SDコントローラ403、及び、を含んで構成される。着脱可能デバイス100は、撮像装置110が有するSD I/F部205の着脱ソケットに挿抜できる形状で、すなわちSD規格に則った形状で成形されるものとする。
本実施形態において、着脱可能デバイス100内の演算処理部412は、撮像装置110からのクロック供給により処理を実行可能であり、クロック供給が停止されてしまうと処理が終了しない状態となる。そのため、撮像装置110は着脱可能デバイス100が処理を実行している間、クロックを供給し続ける必要がある。しかしながら、撮像装置110に追加するソフトウェアによる制御のみで着脱可能デバイス100を制御しようとした場合、撮像装置110のI/F401を制御している既存のファームウエアからは着脱可能デバイスが画像処理を行っているかどうかを把握できない。そのため、I/F401での通信がない場合に、撮像装置110によっては省電力モード等に移行し、解析処理用に使用しているクロック供給を止められてしまう可能性がある。
本実施形態におけるダミーコマンドは、SD I/Fを使用する場合、データのリードコマンドでも良いし、データのやりとりを伴わないステータス返答を求めるコマンドでもよい。SD I/Fでは、データの通信を伴う場合、コマンドに関してはコマンドラインで、データに関してはデータラインで、それぞれ通信される。このとき通信されるデータは、ダミーのデータでよい。一方、データ通信はなくステータス返答のみを求める通信の場合、コマンドは同様にコマンドラインで通信されるが、データを伴わないためデータラインは使用されない。リードコマンドを使用する場合には、あらかじめ、リードするデータブロック数をデータ出力するのに要するクロック数と、解析処理に要するクロック数(処理時間)が同等になるようにブロック数を設定するようにしてもよい。例えば、解析処理に10万クロック要する場合について考えると次のようになる。1ブロック当たり512Byteのデータをリードするので、データラインが4Bitの設定でデータをリードすると、1ブロック当たり1024クロックが供給される。そのため、100ブロック程度のブロック数を設定すれば、10万クロック要する解析処理が終了することになる。ただし、実際にはブロック毎にコマンド通信が行われるため、このクロック数も加味するのが好ましい。
上述の実施形態では、解析処理を開始した後に一律にダミーコマンドを送信して、クロック供給を継続する場合を説明したが、本実施形態では、クロック供給が行われているかどうかを判定し、クロック供給が行われていないと判定された場合にダミーコマンドを送信する場合について説明する。本実施形態において、クロック供給有無は、クロックカウンタを用いて判定する場合と、解析結果に基づいて判定する場合とがある。以下、それぞれの場合について具体的に説明する。
図7を参照して撮像装置110から着脱可能デバイス100にクロック供給が停止されているか否かを判定する処理の流れを説明する。該フローチャートに対応する処理は、例えば、撮像装置110側においては、制御部304として機能する1以上のプロセッサ(CPUやMPU等)が対応するプログラム(記憶部303として機能するメモリ等に格納)を実行することにより実現できる。また、図7においては記載していないものの、着脱可能デバイス100側の処理は、対応する設定データを記憶部404から読み出し論理回路を生成して起動することによりFPGA402により実現できる。
次に、図8を参照して解析結果を用いて撮像装置110から着脱可能デバイスへのクロック供給の有無を判定する処理の流れを説明する。前述の図7ではクロックカウンタを用いてクロック供給の有無を判定していたが図8では撮像画像に対する実際の解析結果によりクロック供給の有無を判定する。該フローチャートに対応する処理は、例えば、撮像装置110側においては、制御部304として機能する1以上のプロセッサ(CPUやMPU等)が対応するプログラム(記憶部303として機能するメモリ等に格納)を実行することにより実現できる。また、図8においては記載していないものの、着脱可能デバイス100側の処理は、対応する設定データを記憶部404から読み出し論理回路を生成して起動することによりFPGA402により実現できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (21)
- デバイスを着脱可能な装着機構を有する撮像装置であって、
前記デバイスが解析処理を実行するためのクロック供給用の第1のコマンドを生成する生成手段と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、前記デバイスに対して画像を送信し、前記画像に対する前記解析処理の実行指示を送信し、前記実行指示に従って得られた処理結果を受信する通信手段を備え、
前記通信手段は、前記実行指示を送信した後、少なくとも前記デバイスにおいて前記画像の前記解析処理が終了するまでの間、前記第1のコマンドを送信する、撮像装置。 - 前記生成手段は、前記解析処理を終了するために必要なクロック数が前記撮像装置から前記デバイスに対して提供されるように前記第1のコマンドを生成する、請求項1に記載の撮像装置。
- 前記第1のコマンドは、前記デバイスからデータをリードするためのコマンド、又は、前記デバイスにステータスの返答を要求するコマンドである、請求項1又は2に記載の撮像装置。
- 前記デバイスから、前記第1のコマンドに対する返答において、前記デバイスにおける前記解析処理の終了を示す情報を受信した場合に、前記通信手段は前記第1のコマンドの発行を停止し、前記解析処理の処理結果の要求を前記デバイスに送信する、請求項1から3のいずれか1項に記載の撮像装置。
- 前記通信手段は、所定の時間間隔をおいて、前記デバイスが前記撮像装置から受信したクロック数をカウントしたカウント値を前記デバイスから受信し、
前記通信手段による前記第1のコマンドの送信は、受信した前記カウント値に所定の変化がない場合に行う、請求項1から4のいずれか1項に記載の撮像装置。 - 前記受信した前記カウント値に所定の変化がある場合、前記通信手段は前記実行指示を送信した後、前記第1のコマンドの送信を行わず、前記処理結果の送信を要求する、請求項5に記載の撮像装置。
- 前記通信手段は、前記デバイスが前記解析処理を実行していない期間において前記カウント値を前記所定の時間間隔をおいて前記デバイスから受信する、請求項5又は6に記載の撮像装置。
- 前記所定の変化がある場合は、前記受信したカウント値の間で、前記カウント値を取得するためのコマンド通信に対応するクロック数よりも大きいクロック数の変化が発生している場合を含む、請求項5から7のいずれか1項に記載の撮像装置。
- 前記デバイスから取得した前記処理結果を処理する制御手段を更に備え、
前記制御手段は、前記デバイスにおける画像の処理結果に基づき、前記第1のコマンドを送信するか否かを決定する、請求項1から4のいずれか1項に記載の撮像装置。 - 前記制御手段は、前記実行指示を送信した後、所定時間の後の前記処理結果について、所定の処理結果が得られていない場合に、前記第1のコマンドを送信すると決定する、請求項9に記載の撮像装置。
- 前記所定の処理結果は、前記解析処理が完了したことを示す処理結果、又は、前記解析処理が継続中であることを示す処理結果である、請求項10に記載の撮像装置。
- 前記制御手段は、前記実行指示を送信した後、所定時間の後の前記処理結果が所定の値を含む場合に、前記第1のコマンドを送信すると決定する、請求項9に記載の撮像装置。
- 前記処理結果が、前記解析処理の結果が予め判明している第1の画像の処理結果である場合に、
前記制御手段は、前記処理結果が前記予め判明している前記解析処理の結果と一致しない場合に、前記第1のコマンドを送信すると決定する、請求項9に記載の撮像装置。 - 前記装着機構はSDカードスロットを含み、
前記デバイスはSDカードの態様のデバイスである、請求項1から13のいずれか1項に記載の撮像装置。 - 請求項1から13のいずれか1項に記載の撮像装置に着脱可能に構成されたデバイスであって、
前記撮像装置の装着機構に装着されている場合に、
前記撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から受信した画像を解析処理する処理手段と
を備え、
前記通信手段は、前記解析処理を実行している間に当該解析処理を実行するためのクロック供給用の第1のコマンドを受信している場合、前記解析処理の終了に応じて、前記第1のコマンドに対する返答において前記解析処理の終了を示す情報を送信する、デバイス。 - 前記撮像装置から受信したクロック数をカウントするカウント手段を更に備え、
前記通信手段は、前記撮像装置からの要求に応じて、前記カウント手段がカウントしたクロック数のカウント値を前記撮像装置に送信する、請求項15に記載のデバイス。 - 前記デバイスは、SDカードの態様のデバイスである、請求項15又は16に記載のデバイス。
- デバイスを着脱可能な装着機構を有する撮像装置の制御方法であって、
生成手段が、前記デバイスが解析処理を実行するためのクロック供給用の第1のコマンドを生成する生成工程と、
前記装着機構に、前記解析処理を実行する機能を有するデバイスが装着されている場合に、通信手段が、
前記デバイスに対して画像を送信する工程と、
前記画像に対する前記解析処理の実行指示を送信する工程と、
前記実行指示を送信した後、少なくとも前記デバイスにおいて前記画像の前記解析処理が終了するまでの間、前記第1のコマンドを送信する工程と、
前記実行指示に従って得られた処理結果を受信する工程と
を含む、撮像装置の制御方法。 - 請求項1から13のいずれか1項に記載の撮像装置に着脱可能に構成されたデバイスの制御方法であって、
前記撮像装置の装着機構に装着されている場合に、
通信手段が、前記撮像装置と通信する工程と、
処理手段が、前記通信する工程において前記撮像装置から受信した画像を解析処理する工程と
を含み、
前記通信手段が、
前記解析処理の実行している間に当該解析処理を実行するためのクロック供給用の第1のコマンドを受信する工程と、
前記解析処理の終了に応じて、前記第1のコマンドに対する返答において前記解析処理の終了を示す情報を送信する工程と
を更に含む、デバイスの制御方法。 - コンピュータを請求項1から14のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
- コンピュータを請求項15から17のいずれか1項に記載のデバイスの各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022013587A JP7475380B2 (ja) | 2022-01-31 | 2022-01-31 | 撮像装置、デバイス、それらの制御方法及びプログラム |
US18/160,589 US20230244551A1 (en) | 2022-01-31 | 2023-01-27 | Image capturing apparatus, device, control method thereof, and non-transitory computer-readable storage medium |
EP23153651.7A EP4221245A1 (en) | 2022-01-31 | 2023-01-27 | Image capturing apparatus, attachable device, control method thereof, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022013587A JP7475380B2 (ja) | 2022-01-31 | 2022-01-31 | 撮像装置、デバイス、それらの制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023111645A true JP2023111645A (ja) | 2023-08-10 |
JP7475380B2 JP7475380B2 (ja) | 2024-04-26 |
Family
ID=85132860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022013587A Active JP7475380B2 (ja) | 2022-01-31 | 2022-01-31 | 撮像装置、デバイス、それらの制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230244551A1 (ja) |
EP (1) | EP4221245A1 (ja) |
JP (1) | JP7475380B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000253108A (ja) | 1999-03-01 | 2000-09-14 | Toshiba Corp | 携帯電話装置 |
JP4541214B2 (ja) | 2005-04-01 | 2010-09-08 | ルネサスエレクトロニクス株式会社 | 検出回路及び半導体装置 |
JP2008287578A (ja) | 2007-05-18 | 2008-11-27 | Seiko Epson Corp | メモリコントローラ、情報処理装置及び電子機器 |
JP6558480B1 (ja) * | 2018-07-20 | 2019-08-14 | 株式会社ニコン | カメラボディ |
JP7482649B2 (ja) * | 2020-02-28 | 2024-05-14 | キヤノン株式会社 | 撮像装置、デバイス、制御方法、及びプログラム |
-
2022
- 2022-01-31 JP JP2022013587A patent/JP7475380B2/ja active Active
-
2023
- 2023-01-27 US US18/160,589 patent/US20230244551A1/en active Pending
- 2023-01-27 EP EP23153651.7A patent/EP4221245A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230244551A1 (en) | 2023-08-03 |
JP7475380B2 (ja) | 2024-04-26 |
EP4221245A1 (en) | 2023-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11974039B2 (en) | Image capturing apparatus, control method, and computer-readable storage medium | |
US20230061585A1 (en) | Image capturing apparatus and method for controlling the same, and non-transitory computer-readable storage medium | |
US11729515B2 (en) | Imaging apparatus, information processing method, and recording medium for determining whether an image analysis of a predetermined image is complete | |
US11570350B2 (en) | Device, control method, and storage medium | |
US20210274079A1 (en) | Image capturing apparatus, device, control method, and computer-readable storage medium | |
JP7441016B2 (ja) | 撮像装置、情報処理装置、制御方法及びプログラム | |
JP2023111645A (ja) | 撮像装置、デバイス、それらの制御方法及びプログラム | |
EP4027218B1 (en) | Detachable electrical device and control method thereof | |
JP7475379B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
US20220279118A1 (en) | Image capturing apparatus, method for controlling image capturing apparatus, information processing apparatus | |
WO2023184586A1 (zh) | 打印控制方法、打印控制装置、计算机设备、存储介质 | |
JP7441017B2 (ja) | デバイス、撮像装置、制御方法及びプログラム | |
JP2023077926A (ja) | 情報処理装置、処理システム、制御方法、及びプログラム | |
JP7417455B2 (ja) | 電子機器及びその制御方法、プログラム | |
JP2022167153A (ja) | 情報処理装置およびその制御方法 | |
JP2022164050A (ja) | 情報処理装置およびその制御方法 | |
US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium | |
US20210306509A1 (en) | Detachable device, control method thereof, and storage medium | |
JP7325281B2 (ja) | 撮像装置、制御方法及びプログラム | |
JP2023028994A (ja) | 演算装置、撮像装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |