JP2023164903A - Interval imaging apparatus - Google Patents

Interval imaging apparatus Download PDF

Info

Publication number
JP2023164903A
JP2023164903A JP2023140669A JP2023140669A JP2023164903A JP 2023164903 A JP2023164903 A JP 2023164903A JP 2023140669 A JP2023140669 A JP 2023140669A JP 2023140669 A JP2023140669 A JP 2023140669A JP 2023164903 A JP2023164903 A JP 2023164903A
Authority
JP
Japan
Prior art keywords
photographing
motion
interval
movement
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023140669A
Other languages
Japanese (ja)
Inventor
宣隆 奥山
Noritaka Okuyama
万寿男 奥
Masuo Oku
和彦 吉澤
Kazuhiko Yoshizawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2023140669A priority Critical patent/JP2023164903A/en
Publication of JP2023164903A publication Critical patent/JP2023164903A/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

To provide an interval imaging apparatus that performs photographing in a suitable photographing condition according to a state of a user's motion.SOLUTION: An interval imaging apparatus 2 comprises: imaging units 11, 12 that can perform photographing in a plurality of photographing modes; motion sensors 13, 14 that detect a motion of the interval imaging apparatus; and a program constituting a motion determination unit 24a determining the presence or absence of a motion from detection results of the motion sensors, a timing generation unit 24b generating a trigger signal for the imaging unit to perform photographing at a predetermined interval, and a photographing control unit 24c controlling the imaging unit and the timing generation unit according to a determination result of the motion determination unit. The imaging unit includes a standard mode for performing photographing at a standard angle of view, and a wide-angle mode for performing photographing at a wide angle. The photographing control unit controls the imaging unit to perform photographing in the standard mode when a motion is present (motion state), and perform photographing in the wide-angle mode when a motion is absent (stationary state).SELECTED DRAWING: Figure 2

Description

本発明は、ライフログカメラなどとして用いられるインターバル撮像装置に関する。 The present invention relates to an interval imaging device used as a life log camera or the like.

ユーザ等の移動体に装着して、カメラ撮影を間欠的に自動的に行い、移動体の行動履歴を得るインターバル撮像装置(ライフログカメラ)が知られている。この場合、撮影は自動的に行われるので、撮影に適さない状態であっても撮影が実行されるという問題がある。これに関し特許文献1では、撮影処理が可能な状態か不可能な状態かを判定し、撮影処理が不可能な状態と判定したときは、撮影を実行しないよう制御する自動撮像装置が開示されている。 2. Description of the Related Art An interval imaging device (lifelog camera) is known that is attached to a moving object such as a user and automatically performs camera photography intermittently to obtain the action history of the moving object. In this case, since photographing is performed automatically, there is a problem in that photographing is performed even if the state is not suitable for photographing. Regarding this, Patent Document 1 discloses an automatic imaging device that determines whether a state in which photographing processing is possible or not, and controls the device so that photographing is not performed when it is determined that the photographing process is not possible. There is.

特開2009-147647公報Japanese Patent Application Publication No. 2009-147647

特許文献1によれば、例えば、撮像装置が十分な光量を満たさないような暗所に存在する場合や、撮像レンズが上着等で覆われた状態にある場合に、自動撮影が行われないようにし、利用者にとって有意な画像のみを撮影することが可能になると述べられている。 According to Patent Document 1, automatic photography is not performed, for example, when the imaging device is in a dark place where there is not enough light, or when the imaging lens is covered with a jacket, etc. It is stated that this makes it possible to capture only images that are meaningful to the user.

特許文献1を始め従来のインターバル撮像装置では、ユーザの動きの状態に関わらず撮影条件は一律に定められていた。しかしながら、ユーザの行動履歴を把握するという観点では、ユーザの動きの状態(静止状態であるか、運動状態であるか)に応じて、行動履歴に対する着目点が異なってくる。例えば、静止時にはユーザを取り巻く広い範囲の風景を収めた画像を取得するのが好ましく、運動時には目の前の狭い範囲の風景の変化の画像を取得するのが好ましい。また、限られた記憶部に撮影データを効率よく保存するために、静止時と運動時とで、行動履歴として撮影する画像の時間間隔(インターバル)の設定も重要になる。 In conventional interval imaging devices such as Patent Document 1, imaging conditions are uniformly determined regardless of the user's movement state. However, from the perspective of understanding the user's action history, the focus on the action history differs depending on the state of the user's movement (static state or movement state). For example, when the user is at rest, it is preferable to acquire an image that includes a wide range of scenery surrounding the user, and when the user is exercising, it is preferable to obtain an image that shows changes in the scenery in a narrow range in front of the user. In addition, in order to efficiently store photographed data in a limited storage unit, it is also important to set the time interval (interval) between images taken as action history when the user is at rest and when exercising.

特許文献1を始め従来の技術では、ユーザにとって無意味な画像を撮影しないことは考慮されているが、上記したユーザの動きの状態と撮影条件との関係については、特に考慮されなかった。 In conventional techniques such as Patent Document 1, consideration has been given to not photographing images that are meaningless to the user, but no particular consideration has been given to the relationship between the above-mentioned state of the user's movement and photographing conditions.

本発明は上記の点を鑑みてなされたものであり、その目的は、ユーザの動きの状態に応じて好適な撮影条件でインターバル撮影を行うインターバル撮像装置を提供することにある。 The present invention has been made in view of the above points, and an object thereof is to provide an interval imaging device that performs interval imaging under suitable imaging conditions depending on the user's movement state.

上記課題を解決するために、本発明のインターバル撮像装置は、複数の撮影モードで撮影可能な撮像部と、インターバル撮像装置の動きを検出する動きセンサと、動きセンサの検出結果から動きの有無を判定する動き判定部と、撮像部が撮影するためのトリガー信号を所定の間隔で発生するタイミング生成部と、動き判定部の判定結果に応じて撮像部とタイミング生成部を制御する撮影制御部と、を備え、撮影制御部は撮像部に対し、動き有り(運動状態)のときの撮影モードと動き無し(静止状態)のときの撮影モードを切り替えるよう制御する。 In order to solve the above problems, the interval imaging device of the present invention includes an imaging section that can take images in a plurality of shooting modes, a motion sensor that detects movement of the interval imaging device, and detects the presence or absence of movement from the detection result of the motion sensor. A motion determining section that makes a determination, a timing generating section that generates a trigger signal for the imaging section to take an image at a predetermined interval, and a photographing control section that controls the imaging section and the timing generating section according to the determination result of the motion determining section. The imaging control unit controls the imaging unit to switch between an imaging mode when there is movement (motion state) and an imaging mode when there is no movement (stationary state).

好ましくは、撮像部は、標準画角で撮影する標準モードと、広角で撮影する広角モードとを備え、撮影制御部は撮像部に対し、運動状態では標準モードで撮影し、静止状態では広角モードで撮影するよう制御する。 Preferably, the imaging unit has a standard mode for imaging at a standard angle of view and a wide-angle mode for imaging at a wide angle, and the imaging control unit controls the imaging unit to perform imaging in the standard mode in a moving state and in the wide-angle mode in a stationary state. control to shoot.

あるいは、撮像部は、複数形式の撮影画像を取得することが可能であり、撮影制御部は撮像部に対し、運動状態では複数形式の撮影画像のうちの1つを取得し、静止状態では複数形式の撮影画像を全て取得するよう制御する。 Alternatively, the imaging unit is capable of acquiring captured images in multiple formats, and the imaging control unit instructs the imaging unit to acquire one of the multiple formats of captured images in a state of motion, and to acquire multiple formats of captured images in a stationary state. Controls to acquire all captured images of the format.

本発明によれば、ユーザの動きの状態に応じて履歴画像として有効な画像を効率良く取得するインターバル撮像装置を提供できる。 According to the present invention, it is possible to provide an interval imaging device that efficiently acquires images that are effective as history images depending on the state of a user's movement.

実施例1に係るインターバル撮像装置2の装着状態図。FIG. 2 is a diagram showing how the interval imaging device 2 according to the first embodiment is installed. インターバル撮像装置2のブロック図。FIG. 2 is a block diagram of an interval imaging device 2. FIG. 標準画角画像と広角画像の例を示す図。The figure which shows the example of a standard angle of view image and a wide-angle image. インターバル撮影の例を示すタイムチャート。A time chart showing an example of interval shooting. インターバル撮影の例を示すタイムチャート。A time chart showing an example of interval shooting. インターバル撮影動作を示すフローチャート。Flowchart showing interval shooting operation. 実施例2に係るインターバル撮像装置(全方位カメラ3)の装着状態図。FIG. 4 is a diagram showing how the interval imaging device (omnidirectional camera 3) according to the second embodiment is installed. 全方位カメラ3のブロック図。A block diagram of the omnidirectional camera 3. 実施例3に係るインターバル撮像装置(HMD4)の外観図。FIG. 4 is an external view of an interval imaging device (HMD4) according to a third embodiment. HMD4のブロック図。Block diagram of HMD4. 実施例4に係るインターバル撮像装置6の装着状態図。FIG. 6 is a diagram showing how the interval imaging device 6 is installed according to the fourth embodiment. インターバル撮像装置6のブロック図。FIG. 6 is a block diagram of the interval imaging device 6. FIG. インターバル撮影の例を示すタイムチャート。A time chart showing an example of interval shooting. インターバル撮影動作を示すフローチャート。Flowchart showing interval shooting operation.

以下、図面を参照しながら、本発明の実施形態について説明する。本発明のインターバル撮像装置は、ユーザに装着され外部の撮影を間欠的に行うものであって、複数の撮影モードで撮影可能な撮像部(カメラ)を備えている。以下の実施例では、撮像部の構成を場合分けして具体的に説明する。 Embodiments of the present invention will be described below with reference to the drawings. The interval imaging device of the present invention is worn by a user to intermittently take pictures of the outside, and includes an imaging unit (camera) that can take pictures in a plurality of shooting modes. In the following embodiments, the configuration of the imaging section will be explained in detail depending on the case.

図1は、実施例1に係るインターバル撮像装置2をユーザが装着した状態を示す図である。ユーザ1の頭部には、インターバル撮像装置2が装着ベルト7にて装着されている。インターバル撮像装置2には、外部の撮影を行う撮像部として、ユーザ1の前方を撮影する標準カメラ11と広角カメラ12とが備えられている。 FIG. 1 is a diagram showing a state in which a user is wearing an interval imaging device 2 according to a first embodiment. The interval imaging device 2 is attached to the head of the user 1 with a mounting belt 7. The interval imaging device 2 is equipped with a standard camera 11 and a wide-angle camera 12 that take pictures of the front of the user 1 as imaging units that take pictures of the outside.

図2は、インターバル撮像装置2のブロック図である。前記した標準カメラ11と広角カメラ12の他、センサ類として、加速度センサ13、ジャイロセンサ14、地磁気センサ15、位置センサ16、照度センサ17、を有する。また、ユーザ設定部18、通信部19、CPU(もしくはマイクロコンピュータ)20、RAM21、フラッシュROM22を備え、各部は内部バス26で接続されている。 FIG. 2 is a block diagram of the interval imaging device 2. As shown in FIG. In addition to the standard camera 11 and wide-angle camera 12 described above, the sensor includes an acceleration sensor 13, a gyro sensor 14, a geomagnetic sensor 15, a position sensor 16, and an illuminance sensor 17. It also includes a user setting section 18, a communication section 19, a CPU (or microcomputer) 20, a RAM 21, and a flash ROM 22, and each section is connected by an internal bus 26.

標準カメラ11と広角カメラ12は、それぞれと標準画角画像と広角画像を撮影するカメラであり、後述するようにユーザ1の動きの状態に応じて切り替えて使用する。なお撮影する画像はユーザの行動履歴を得るためのものであり、静止画であっても、また短い動画であってもよい。撮影された画像データは、撮影データ保持部25に、あるいは通信部19を介して外部のストレージに保存される。 The standard camera 11 and the wide-angle camera 12 are cameras that take a standard view-angle image and a wide-angle image, respectively, and are used by switching according to the state of movement of the user 1, as described later. Note that the image to be photographed is for obtaining the user's action history, and may be a still image or a short video. The photographed image data is stored in the photographed data holding section 25 or in an external storage via the communication section 19.

加速度センサ13とジャイロセンサ14では、インターバル撮像装置2(すなわちこれを装着したユーザ1)の動きや揺れ等を検出する。加速度センサ13は、一軸、二軸あるいは三軸方向の加速度を検出し、ジャイロセンサ14は、一軸、二軸あるいは三軸方向の角速度を検出する。 The acceleration sensor 13 and the gyro sensor 14 detect movements, shaking, etc. of the interval imaging device 2 (that is, the user 1 wearing the same). The acceleration sensor 13 detects acceleration in one, two, or three axes, and the gyro sensor 14 detects angular velocity in one, two, or three axes.

地磁気センサ15ではインターバル撮像装置2の方位情報を、位置センサ(例えばGPS受信部)16では位置情報を取得し、これらの情報を撮影画像のメタデータとして、画像データに添付して取り扱う。照度センサ17は周囲の明るさを検知して、カメラの撮影条件を調整するために用いられる。 The geomagnetic sensor 15 acquires azimuth information of the interval imaging device 2, and the position sensor (for example, a GPS receiver) 16 acquires position information, and these pieces of information are attached to the image data as metadata of the photographed image and handled. The illuminance sensor 17 is used to detect the surrounding brightness and adjust the photographing conditions of the camera.

ユーザ設定部18は、インターバル撮影の時間間隔(撮影間隔)等をユーザが所望値に設定するための操作入力部である。 The user setting section 18 is an operation input section through which the user sets the time interval (shooting interval) of interval shooting, etc. to a desired value.

通信部19は、4Gなどのモバイル通信、ワイアレスLAN通信、Bluetooth(登録商標)通信などの全て、もしくは一部の通信機能を含む。通信部19は、標準カメラ11や広角カメラ12で撮影した画像データを、ネットワークを介して外部のストレージに送信することも可能である。 The communication unit 19 includes all or some communication functions such as mobile communication such as 4G, wireless LAN communication, and Bluetooth (registered trademark) communication. The communication unit 19 can also transmit image data taken with the standard camera 11 or the wide-angle camera 12 to external storage via the network.

CPU20は、フラッシュROM22に記憶格納されているプログラム23をRAM21に展開し、これを実行することによって、インターバル撮像装置2の各構成部の制御を行い、各種の機能を実現する。 The CPU 20 loads the program 23 stored in the flash ROM 22 into the RAM 21 and executes it, thereby controlling each component of the interval imaging device 2 and realizing various functions.

フラッシュROM22は、プログラム23と撮影データ保持部25を含み、さらにプログラム23は、インターバル撮影アプリ24を構成する動き判定処理24a、タイミング生成処理24b、撮影制御処理24cを含む。インターバル撮影アプリ24が実行されることで、それぞれ対応する機能ブロック(動き判定部24a、タイミング生成部24b、撮影制御部24c)が構成される。 The flash ROM 22 includes a program 23 and a shooting data holding section 25, and the program 23 further includes a motion determination process 24a, a timing generation process 24b, and a shooting control process 24c, which constitute the interval shooting application 24. By executing the interval photography application 24, corresponding functional blocks (motion determination unit 24a, timing generation unit 24b, and photography control unit 24c) are configured.

動き判定部24aは、加速度センサ13とジャイロセンサ14の検出値を、別途設定している閾値と比較して、インターバル撮像装置2(すなわちこれを装着しているユーザ1)の動きの有無を判定する。なお、インターバル撮像装置2(ユーザ1)が一定速度で移動している場合は、動き有(運動状態)と判定する。なお、現在の速度は、加速度を時間積分することで算出することができる。 The motion determination unit 24a compares the detected values of the acceleration sensor 13 and the gyro sensor 14 with a separately set threshold value to determine whether or not the interval imaging device 2 (that is, the user 1 wearing the same) is moving. do. Note that if the interval imaging device 2 (user 1) is moving at a constant speed, it is determined that there is movement (movement state). Note that the current speed can be calculated by integrating the acceleration over time.

タイミング生成部24bは、設定された撮影間隔で撮影のタイミングを示すトリガー信号を生成する。撮影制御部24cは、動き判定部24aの判定結果に基づき、撮影モードの切替、すなわち標準カメラ11と広角カメラ12との切替を行うとともに、タイミング生成部24bに対しトリガー信号の生成について制御する。
なお、CPU20、RAM21、フラッシュROM22は、1つの集積回路に実装されてもよい。
The timing generation unit 24b generates a trigger signal indicating the timing of imaging at the set imaging interval. The photography control unit 24c switches the photography mode, that is, switches between the standard camera 11 and the wide-angle camera 12, based on the determination result of the motion determination unit 24a, and controls the timing generation unit 24b to generate a trigger signal.
Note that the CPU 20, RAM 21, and flash ROM 22 may be implemented in one integrated circuit.

図3は、標準画角画像と広角画像の例を示す図である。本実施例では、撮影モードとして標準モードと広角モードを備え、これを適宜切り替える。標準モードでは、標準カメラ11で標準画角画像81を撮影し、広角モードでは、広角カメラ12で広角画像82を撮影する。標準画角画像81は、例えば前方の人物83の周囲を含む画像となるが、広角画像82は、広い範囲の背景が撮影可能であり、背景の状況をより詳細に把握するために有効となる。 FIG. 3 is a diagram showing an example of a standard view angle image and a wide angle image. In this embodiment, a standard mode and a wide-angle mode are provided as photographing modes, and these are switched as appropriate. In the standard mode, the standard camera 11 photographs a standard angle of view image 81, and in the wide-angle mode, the wide-angle camera 12 photographs a wide-angle image 82. The standard angle of view image 81 is, for example, an image that includes the surroundings of the person 83 in front, but the wide-angle image 82 can capture a wide range of background, and is effective for grasping the background situation in more detail. .

図4Aと図4Bは、インターバル撮影の例を示すタイムチャートである。図面の上から、動き判定結果、撮影タイミング、撮影モードについて、それぞれの時間推移を示している。 FIGS. 4A and 4B are time charts showing examples of interval photography. Starting from the top of the drawing, the time trends of the motion determination results, photographing timing, and photographing mode are shown.

動き判定結果は、動き判定部24aによりインターバル撮像装置2の動きの状態を判定したものである。以下では、動き有の状態とその期間を「運動状態」「運動期間」、動き無の状態とその期間を「静止状態」「静止期間」と呼ぶことにする。この図では、「運動状態」を「運動」、「静止状態」を「静止」と記述している。 The motion determination result is the motion state of the interval imaging device 2 determined by the motion determination section 24a. In the following, the state of motion and its period will be referred to as a "motion state" and "motion period", and the state of no motion and its period will be referred to as a "stationary state" and "stationary period". In this figure, the "motion state" is described as "motion" and the "rest state" is described as "rest."

撮影タイミング信号T1~T11は、タイミング生成部24bにより生成され、これに基づきカメラへのトリガー信号を発生する。撮影モードは、標準モードと広角モードがあり、撮影制御部24cにより切り替えられる。 The photographing timing signals T1 to T11 are generated by the timing generating section 24b, and based on these, a trigger signal to the camera is generated. The photographing mode includes a standard mode and a wide-angle mode, which can be switched by the photographing control section 24c.

図4Aから説明する。撮影タイミングの間隔ΔTは、区間[T2,T3]、[T8,T9]を除いて一定であり、ユーザ設定部18を介して、秒、分あるいは時間単位で、ユーザの行動履歴を得るのに適した値に設定される。例えば、撮影間隔ΔTを数分程度に設定する。 This will be explained starting from FIG. 4A. The shooting timing interval ΔT is constant except for the intervals [T2, T3] and [T8, T9], and it is necessary to obtain the user's action history in units of seconds, minutes, or hours via the user setting section 18. Set to a suitable value. For example, the imaging interval ΔT is set to about several minutes.

動きの状態が運動状態から静止状態に遷移するT3とT9においては、それまでの撮影タイミングの間隔がリセットされ、新たな撮影タイミングが設定される。すなわち、T3とT9が新たな撮影タイミングとなり、以降、これを基準に間隔ΔTで設定される。 At T3 and T9, when the motion state transitions from the motion state to the stationary state, the interval between the previous photographing timings is reset, and a new photographing timing is set. That is, T3 and T9 become new photographing timings, and thereafter, the intervals ΔT are set based on these timings.

これにより、ユーザが静止状態へ遷移後直ぐに撮影が行なわれるので、たとえ静止状態の期間が撮影タイミングの間隔ΔTより短い場合でも、カメラ撮影を逃すことがない。なお、T3とT9の静止状態への遷移直後では、ユーザの身体が不安定な状態の場合がある。よって、加速度センサ13、ジャイロセンサ14の詳細な値を解析し、安定した静止状態であることを確認した後に撮影を実施することにより、一層安定した撮影画像を得ることができる。 As a result, photography is performed immediately after the user transitions to the resting state, so even if the period of the resting state is shorter than the interval ΔT between the photographing timings, the user will not miss the camera photographing. Note that the user's body may be in an unstable state immediately after the transition to the resting state at T3 and T9. Therefore, by analyzing the detailed values of the acceleration sensor 13 and the gyro sensor 14 and performing photographing after confirming that the object is in a stable stationary state, a more stable photographed image can be obtained.

次に、動き判定結果に応じて撮影モードを切り替える。動きの状態が運動状態であるタイミング(T1、T2、T5など)では、標準カメラ11のみを用いた標準モードで撮影する。標準カメラ11は、広角カメラ12に比較して画素数等を少なくしてもよい。 Next, the shooting mode is switched depending on the motion determination result. At timings (T1, T2, T5, etc.) when the state of motion is the exercise state, images are taken in the standard mode using only the standard camera 11. The standard camera 11 may have a smaller number of pixels than the wide-angle camera 12.

一方、動きの状態が静止状態であるタイミング(T3、T4、T9)では、広角カメラ12を使用する広角モードで撮影する。なお、広角モードでは、同時に標準カメラ11を用いた撮影を行ってもよい。 On the other hand, at timings (T3, T4, T9) when the state of motion is in a stationary state, images are taken in a wide-angle mode using the wide-angle camera 12. Note that in the wide-angle mode, photography may be performed using the standard camera 11 at the same time.

図4Bは、図4Aに対して、静止期間での撮影タイミングを増加させたものである。静止状態の[T3,T4]の期間では、T3a、T3bの撮影タイミングを追加し、[T9,T10]の期間では、T9a,T9bの撮影タイミングを追加し、広角モードで撮影を行っている。例えば、静止期間での撮影間隔ΔT’を数10秒程度に設定する。これにより、周囲に動く物体や変化する物体がある場合に、周囲の状況をより詳細に観察することができる。 In FIG. 4B, compared to FIG. 4A, the imaging timing during the stationary period is increased. In the period [T3, T4] of the stationary state, the imaging timings of T3a and T3b are added, and in the period of [T9, T10], the imaging timings of T9a and T9b are added, and imaging is performed in wide-angle mode. For example, the photographing interval ΔT' during the stationary period is set to about several tens of seconds. This makes it possible to observe the surrounding situation in more detail when there are moving or changing objects nearby.

図5は、インターバル撮影動作を示すフローチャートである。撮影動作は、インターバル撮影アプリ24(動き判定部24a、タイミング生成部24b、撮影制御部24c)によって進行する。パラメータとして、タイマー値t、動きフラグF、運動期間の撮影間隔ΔT(第1撮影間隔)、静止期間の撮影間隔ΔT’(第2撮影間隔)を用いる。動きフラグFは、運動状態ではF=1、静止状態ではF=0とする。 FIG. 5 is a flowchart showing the interval photographing operation. The photographing operation is performed by the interval photographing application 24 (motion determining section 24a, timing generating section 24b, photographing control section 24c). As parameters, a timer value t, a movement flag F, a photographing interval ΔT (first photographing interval) during the exercise period, and a photographing interval ΔT' (second photographing interval) during the rest period are used. The motion flag F is set to F=1 in a moving state and F=0 in a stationary state.

S101:撮影を開始するとタイマー値tをリセットする(t=0)。
S102:動きフラグFの初期値をF=1(運動状態)に設定する。
S103:加速度センサ13、ジャイロセンサ14の出力を取得する。
S104:動き判定部24aにより、動きの状態を判定する。
S101: When shooting starts, the timer value t is reset (t=0).
S102: Set the initial value of the motion flag F to F=1 (motion state).
S103: Obtain the outputs of the acceleration sensor 13 and gyro sensor 14.
S104: The motion determination unit 24a determines the state of motion.

S105:運動状態の場合はS106へ、静止状態の場合はS109へ進む。
S106:現在の動きフラグFが1以外(F=0)の場合はF=1に設定する。
S107:タイマー値tと第1撮影間隔ΔTを比較する。t≧ΔTならS108へ、そうでなければS115へ進む。
S108:標準モードで、すなわち標準カメラ11で撮影する。これにより運動状態においては、第1撮影間隔ΔTで標準モードの撮影がなされる。
S105: If it is in a moving state, proceed to S106; if it is in a stationary state, proceed to S109.
S106: If the current motion flag F is other than 1 (F=0), set F=1.
S107: Compare the timer value t and the first photographing interval ΔT. If t≧ΔT, the process advances to S108; otherwise, the process advances to S115.
S108: Photograph is taken in the standard mode, that is, with the standard camera 11. As a result, in the exercise state, standard mode photography is performed at the first photography interval ΔT.

S109:S105で静止状態の場合は、現在の動きフラグFが1かどうかで分岐する。F=1であればS110へ、それ以外(F=0)の場合はS112へ進む。
S110:動きフラグFを1から0に書き換える。
S111:広角モードで、すなわち広角カメラ12で撮影する。これにより運動状態から静止状態に遷移したタイミングで、広角モードの撮影がなされる(図4BのタイミングT3,T9)。
S112:静止状態(F=0)が継続しているので、タイマー値tと第2撮影間隔ΔT’を比較する。t≧ΔT’ならS111へ進み、静止状態において、第2撮影間隔ΔT’で広角モードの撮影がなされる。t≧ΔT’でなければS115へ進む。
S109: If the stationary state is determined in S105, the process branches depending on whether the current motion flag F is 1 or not. If F=1, the process advances to S110; otherwise (F=0), the process advances to S112.
S110: Rewrite the motion flag F from 1 to 0.
S111: Shoot in wide-angle mode, that is, with the wide-angle camera 12. As a result, wide-angle mode photography is performed at the timing of transition from the moving state to the stationary state (timings T3 and T9 in FIG. 4B).
S112: Since the stationary state (F=0) continues, the timer value t and the second photographing interval ΔT' are compared. If t≧ΔT', the process advances to S111, and in the stationary state, wide-angle mode photography is performed at the second photography interval ΔT'. If t≧ΔT' is not satisfied, the process advances to S115.

S113:撮影した画像を、撮影データ保持部25に保存する、もしくは通信部19から外部ストレージに送信して保存する。
S114:タイマー値tをリセットする(t=0)。
S115:タイマー値tをカウントアップする。
S116:撮影を継続するかどうかを判定する。継続する場合はS103へ戻り、上記の処理を繰り返す。
S113: The photographed image is stored in the photographed data holding section 25, or transmitted from the communication section 19 to an external storage and stored.
S114: Reset the timer value t (t=0).
S115: Count up the timer value t.
S116: Determine whether to continue shooting. If the process is to be continued, the process returns to S103 and the above process is repeated.

以上説明した実施例1の構成によれば、静止時には広角カメラ12により背景の観察に有効な画像を取得できるとともに、撮影間隔を狭くすることで画像情報をより豊富に取得することができる。また、運動状態から静止状態へ遷移後直ちに撮影を行なうので、静止期間が短くても静止状態での撮影を撮り逃すことがない。一方、運動時には標準カメラ11のみを用いて撮影するので、撮影データ保持部25の容量と装置の消費電力を節約し、効率の良いインターバル撮像装置を実現できる。 According to the configuration of the first embodiment described above, when the object is stationary, the wide-angle camera 12 can acquire an image effective for observing the background, and by narrowing the shooting interval, it is possible to acquire a richer amount of image information. Further, since the photographing is performed immediately after the transition from the moving state to the resting state, no photographing in the resting state is missed even if the resting period is short. On the other hand, since only the standard camera 11 is used to take pictures during exercise, the capacity of the photographed data storage section 25 and the power consumption of the device can be saved, and an efficient interval imaging device can be realized.

なお、上記の説明では、撮影モードの切替とは、動きの状態に応じて標準カメラ11で撮影するか、あるいは広角カメラ12で撮影するかを切り替えるものとしたが、一旦両方のカメラ11,12で撮影した後で、動きの状態に対応する撮影画像のみを選択して撮影データ保持部25に保存するようにしても良い。このことは、以下の実施例においても同様である。 In the above explanation, switching the shooting mode means switching between shooting with the standard camera 11 or wide-angle camera 12 depending on the state of movement, but once both cameras 11 and 12 After photographing, only the photographed images corresponding to the state of movement may be selected and stored in the photographed data holding section 25. This also applies to the following examples.

実施例2では、インターバル撮影のための撮像部として、全方位カメラを用いる場合について説明する。 In a second embodiment, a case will be described in which an omnidirectional camera is used as an imaging unit for interval photography.

図6は、実施例2に係るインターバル撮像装置(全方位カメラ3)をユーザが装着した状態を示す図である。ユーザ1は、ヘルメットなどの装着治具8を用いて、全方位カメラ3を頭部に装着する。全方位カメラ3は、ユーザ1の前方を撮影する前半天球光学系31と、ユーザ1の後方を撮影する後半天球光学系32を有する。 FIG. 6 is a diagram showing a state in which the interval imaging device (omnidirectional camera 3) according to the second embodiment is worn by a user. The user 1 wears the omnidirectional camera 3 on his head using a mounting jig 8 such as a helmet. The omnidirectional camera 3 has a front half celestial sphere optical system 31 that photographs the front of the user 1, and a rear celestial sphere optical system 32 that photographs the rear of the user 1.

図7は、全方位カメラ3のブロック図を示す。実施例1(図2)のインターバル撮像装置2と同じ構成要素については、同一の符号を付しており、重複する説明を省略する。 FIG. 7 shows a block diagram of the omnidirectional camera 3. Components that are the same as those of the interval imaging device 2 of Example 1 (FIG. 2) are denoted by the same reference numerals, and redundant explanation will be omitted.

全方位カメラ3において、前半天球光学系31は魚眼レンズ等で構成され、ユーザ1の前半天球を捉え、同様に後半天球光学系32も魚眼レンズ等で構成され、ユーザ1の後半天球を捉える。捉えられた前半天球と後半天球の画像は、撮像センサ(撮像素子)33上に投影され、画像データとして取り出される。その際、撮像素子の検出領域を選択することで、前半天球の撮影画像と後半天球の撮影画像に分けて取得することができる。 In the omnidirectional camera 3, the front half celestial sphere optical system 31 is composed of a fisheye lens, etc., and captures the front half celestial sphere of the user 1, and similarly, the rear half celestial sphere optical system 32 is also composed of a fisheye lens, etc., and captures the rear half celestial sphere of the user 1. The captured images of the front half celestial sphere and the rear half celestial sphere are projected onto an image sensor (imaging device) 33 and taken out as image data. At this time, by selecting the detection area of the image sensor, it is possible to separately obtain images taken of the front half of the celestial sphere and images of the rear celestial sphere.

全方位カメラ3を用いたインターバル撮影は、実施例1の図4A,4Bに示した撮影タイミングと撮影モードと同様に行う。また、撮影動作のフローチャートは図5と同様に行う。ただし、撮影モードに関しては、標準モードでは前半天球光学系31を用いた前半天球画像を取得する。また広角モードでは、前半天球光学系31と後半天球光学系32の両方を用いた全天球画像を取得する。 Interval photography using the omnidirectional camera 3 is performed in the same manner as the photography timing and photography mode shown in FIGS. 4A and 4B of the first embodiment. Further, the flowchart of the photographing operation is performed in the same manner as in FIG. However, regarding the photographing mode, in the standard mode, a first half celestial sphere image is acquired using the first half celestial sphere optical system 31. In the wide-angle mode, a full celestial sphere image is obtained using both the front half celestial sphere optical system 31 and the rear half celestial sphere optical system 32.

以上の構成により、実施例2によれば、静止時には全天球画像による背景観察に有効な画像を取得できるとともに、運動時にも所定の撮影間隔で履歴画像を得ることができる。 With the above configuration, according to the second embodiment, it is possible to obtain an image effective for background observation using a celestial sphere image when stationary, and also to obtain historical images at predetermined shooting intervals during movement.

実施例3は、インターバル撮影のための撮像部として、ヘッドマウントディスプレイ(HMD)を用いる場合について説明する。 In the third embodiment, a case will be described in which a head mounted display (HMD) is used as an imaging unit for interval photography.

図8は、実施例3に係るインターバル撮像装置(ヘッドマウントディスプレイ(HMD)4)の外観図である。その構成は、左目視線カメラ41、右目視線カメラ42、左右の投影光学系44a,44b、レンズやスクリーン等の表示光学系45、スピーカ46、マイク47、フレーム筐体48a~48c、ノーズパッド49、コントローラ50などを有する。コントローラ50、左目視線カメラ41、右目視線カメラ42、スピーカ46、マイク47は、フレーム筐体48a~48cに配置される。なお、配置場所は図8の通りでなくてもよい。さらに、加速度センサ、ジャイロセンサ、位置センサ等のセンサ群を内蔵する。 FIG. 8 is an external view of an interval imaging device (head mounted display (HMD) 4) according to the third embodiment. Its configuration includes a left-eye line-of-sight camera 41, a right-eye line-of-sight camera 42, left and right projection optical systems 44a and 44b, a display optical system 45 such as a lens or screen, a speaker 46, a microphone 47, frame housings 48a to 48c, a nose pad 49, It has a controller 50 and the like. The controller 50, the left eye camera 41, the right eye camera 42, the speaker 46, and the microphone 47 are arranged in the frame casings 48a to 48c. Note that the arrangement location does not have to be as shown in FIG. Furthermore, it has a built-in sensor group such as an acceleration sensor, a gyro sensor, and a position sensor.

ユーザ1は、フレーム筐体48a,48bとノーズパッド49で、HMD4を自身の頭部に装着する。左目視線カメラ41と右目視線カメラ42は、ユーザの視線前方を撮影するとともに、左目と右目の視差を利用して、撮影画像が捉える現実空間の物体までの距離の測定が可能な三次元カメラを構成している。測定された距離は撮影画像の奥行き情報として利用することで、撮影画像の理解に役立つ。 The user 1 wears the HMD 4 on his or her head using the frame housings 48a and 48b and the nose pad 49. The left-eye line-of-sight camera 41 and the right-eye line-of-sight camera 42 are three-dimensional cameras that can photograph the front of the user's line of sight and measure the distance to an object in the real space captured by the photographed image using the parallax between the left and right eyes. It consists of The measured distance is used as depth information of the captured image, which helps in understanding the captured image.

コントローラ50は、左目視線カメラ41、右目視線カメラ42で撮影した現実空間の画像、さらに現実空間の物体までの距離データ等を、内部のメモリやCPUに取り込む。さらにコントローラ50は、投影光学系44a,44bで投影する映像をコンピュータグラフィックス等で作成し、またスピーカ46から出力する音声を作成する。 The controller 50 imports images of the real space captured by the left eye line-of-sight camera 41 and the right-eye line-of-sight camera 42, distance data to objects in the real space, etc. into an internal memory or CPU. Furthermore, the controller 50 creates images to be projected by the projection optical systems 44a and 44b using computer graphics or the like, and also creates audio to be output from the speaker 46.

投影光学系44a,44bと表示光学系45は、HMD4の表示部となる。投影光学系44a,44bは、コントローラ50が作成した仮想物体の映像を、左目用映像と右目用映像に分けて、表示光学系45に投影して表示する。ユーザ1は、透過型の表示光学系45を介して前方の風景や現実物体を見るとともに、投影光学系44a,44bから投影された仮想物体の映像を、表示光学系45上で重ねて視認することができる。 The projection optical systems 44a and 44b and the display optical system 45 serve as a display section of the HMD 4. The projection optical systems 44a and 44b divide the image of the virtual object created by the controller 50 into a left-eye image and a right-eye image, and project the images onto the display optical system 45 for display. The user 1 views the scenery and real objects in front of him through the transmissive display optical system 45, and also views the images of the virtual objects projected from the projection optical systems 44a and 44b superimposed on the display optical system 45. be able to.

図9は、ヘッドマウントディスプレイ(HMD)4のブロック図を示す。図8と同一の構成要素には同一の符号を付しており、それ以外の要素として、センサ群43、距離算出部51、通信部52、CPU53、RAM54、画像RAM55、フラッシュROM56を有し、各部は内部バス60で接続されている。 FIG. 9 shows a block diagram of the head mounted display (HMD) 4. The same components as in FIG. 8 are given the same reference numerals, and other elements include a sensor group 43, a distance calculation section 51, a communication section 52, a CPU 53, a RAM 54, an image RAM 55, and a flash ROM 56. Each part is connected by an internal bus 60.

投影光学系44は、図8の投影光学系44a,44bに対応し、左目用映像と右目用映像を独立に表示光学系45に投影させる。他に、1つのプロジェクタでインタリーブした左目用映像と右目用映像を投影し、シャッタ光学系で、左目用映像と右目用映像をそれぞれの目に投影させる方式でもよい。さらには、ホログラフィックレンズを用いた光学系でもよい。 The projection optical system 44 corresponds to the projection optical systems 44a and 44b in FIG. 8, and projects the left-eye image and the right-eye image onto the display optical system 45 independently. Alternatively, a method may be used in which a single projector projects an interleaved left-eye image and a right-eye image, and a shutter optical system projects the left-eye image and right-eye image to each eye. Furthermore, an optical system using a holographic lens may be used.

通信部52は、モバイル通信、ワイアレスLANやBluetooth(登録商標)等の複数の通信機能を有し、HMD4を、ネットワークを介して外部ストレージ等に接続させる。 The communication unit 52 has multiple communication functions such as mobile communication, wireless LAN, and Bluetooth (registered trademark), and connects the HMD 4 to an external storage or the like via a network.

CPU53は、フラッシュROM56に格納されているプログラムをRAM54に展開し、これを実行することによって、HMD4の各構成部の動作制御を行う。画像RAM55は、投影光学系44に送出する映像データを格納している。 The CPU 53 expands the program stored in the flash ROM 56 into the RAM 54, and executes the program to control the operation of each component of the HMD 4. The image RAM 55 stores video data to be sent to the projection optical system 44.

フラッシュROM56には、基本動作プログラム57、インターバル撮影アプリ58の処理プログラム、及び撮影データ保持部59が含まれる。基本動作プログラム57はHMD4としての投影動作処理を行い、インターバル撮影アプリ58は、実施例1(図2)で述べた動き判定処理24a、タイミング生成処理24b、撮影制御処理24cを行うものである。また撮影データ保持部59は、カメラで撮影された画像データを保存する。 The flash ROM 56 includes a basic operation program 57, a processing program for an interval photography application 58, and a photography data holding section 59. The basic operation program 57 performs projection operation processing as the HMD 4, and the interval photographing application 58 performs the motion determination processing 24a, timing generation processing 24b, and photographing control processing 24c described in the first embodiment (FIG. 2). Further, the photographed data holding unit 59 stores image data photographed by the camera.

本実施例におけるHMD4を用いたインターバル撮影は、実施例1の図4A,4Bに示した撮影タイミングと撮影モードと同様に行う。また、撮影動作のフローチャートは図5と同様に行う。ただし、撮影モードに関しては、標準モードでは左目視線カメラ41または右目視線カメラ42を使用して撮影する。また、広角モードでは、左目視線カメラ41と右目視線カメラ42の両方を用いて三次元撮影を行う。 Interval photography using the HMD 4 in this embodiment is performed in the same manner as the photography timing and photography mode shown in FIGS. 4A and 4B of the first embodiment. Further, the flowchart of the photographing operation is performed in the same manner as in FIG. However, regarding the photographing mode, in the standard mode, the left eye camera 41 or the right eye camera 42 is used for photographing. Furthermore, in the wide-angle mode, three-dimensional photography is performed using both the left-eye line-of-sight camera 41 and the right-eye line-of-sight camera 42.

以上の構成により、実施例3によれば、静止時には三次元画像による背景観察に有効な画像を取得できるとともに、運動時にも所定の撮影間隔で履歴画像を得ることができる。また、運動時の履歴画像の撮影データ量や消費電力を削減することができる。 With the above configuration, according to the third embodiment, it is possible to obtain a three-dimensional image that is effective for background observation when the device is stationary, and it is also possible to obtain historical images at predetermined shooting intervals even when the device is in motion. Furthermore, the amount of data captured for historical images during exercise and the power consumption can be reduced.

さらに本実施例のようにHMD4を用いる場合には、左目視線カメラ41と右目視線カメラ42のレンズの光軸をユーザの視線とほぼ一致させることができるので、実際にユーザが見る風景を立体写真として保存することができる。また、投影光学系44と表示光学系45を動作させることで、インターバル撮影を中断することなく、撮影済みの画像を時間的に遡って見ることができるという利点がある。 Furthermore, when the HMD 4 is used as in this embodiment, the optical axes of the lenses of the left-eye line-of-sight camera 41 and the right-eye line-of-sight camera 42 can be made to almost coincide with the user's line of sight, so the scenery actually seen by the user can be captured in a three-dimensional photograph. It can be saved as . Furthermore, by operating the projection optical system 44 and the display optical system 45, there is an advantage that images that have already been taken can be viewed chronologically without interrupting interval photography.

実施例4は、実施例1における動き判定処理を複数レベルで判定する構成とした。具体的には、ユーザの頭部の動きと胴体の動きをそれぞれ検出し、それらの動きを比較して撮影制御を行う。 In the fourth embodiment, the motion determination processing in the first embodiment is configured to perform determination at multiple levels. Specifically, the motion of the user's head and the motion of the torso are detected, and these motions are compared to perform photographing control.

図10は、実施例4に係るインターバル撮像装置6をユーザが装着した状態を示す図である。実施例1(図1)と同様に、ユーザ1の頭部には、インターバル撮像装置6の本体部6a(以下、装置本体部)が装着ベルト7にて装着されている。装置本体部6aには、標準カメラ11と広角カメラ12とが備えられている。さらに本実施例では、ユーザ1の胴体(例えば胸部)にセンサ端末6bが装着されている。センサ端末6bはユーザ1の胴体の動きを検出するものである。 FIG. 10 is a diagram showing a state in which the interval imaging device 6 according to the fourth embodiment is worn by a user. As in the first embodiment (FIG. 1), a main body 6a (hereinafter referred to as the main body) of the interval imaging device 6 is attached to the head of the user 1 with a mounting belt 7. The device main body 6a is equipped with a standard camera 11 and a wide-angle camera 12. Furthermore, in this embodiment, the sensor terminal 6b is attached to the torso (eg, chest) of the user 1. The sensor terminal 6b detects the movement of the user's 1 torso.

本実施例のインターバル撮像装置6では、ユーザの頭部の動きデータとユーザの胴体の動きデータとを用いて、動き判定を行なう。以下では、2つの動きデータを区別するために、ユーザの頭部の動きについては「第1の動きデータ」と呼び、ユーザの胴体の動きについては「第2の動きデータ」と呼ぶことにする。 The interval imaging device 6 of this embodiment performs motion determination using the motion data of the user's head and the motion data of the user's torso. Below, in order to distinguish between the two types of movement data, the movement of the user's head will be referred to as "first movement data," and the movement of the user's torso will be referred to as "second movement data." .

図11は、インターバル撮像装置6のブロック図を示す。装置本体部6aの構成は実施例1(図2)と同様であり、加速度センサ13とジャイロセンサ14は、ユーザの頭部の動きを検出する「第1の動きセンサ」となる。インターバル撮影アプリ24には、図2で述べたように、動き判定処理24a、タイミング生成処理24b、撮影制御処理24cが含まれている。なお、この図では装置本体部6aの一部の構成要素を省略している。 FIG. 11 shows a block diagram of the interval imaging device 6. As shown in FIG. The configuration of the device main body 6a is similar to that of the first embodiment (FIG. 2), and the acceleration sensor 13 and the gyro sensor 14 serve as a "first motion sensor" that detects the movement of the user's head. As described in FIG. 2, the interval photography application 24 includes a motion determination process 24a, a timing generation process 24b, and a photography control process 24c. Note that some components of the device main body 6a are omitted in this figure.

センサ端末6bの構成は、加速度センサ61、ジャイロセンサ62、通信部63、CPU(もしくはマイクロコンピュータ)64、RAM65、フラッシュROM66を有する。このうち加速度センサ61とジャイロセンサ62は、ユーザの胴体の動きを検出する「第2の動きセンサ」となる。 The configuration of the sensor terminal 6b includes an acceleration sensor 61, a gyro sensor 62, a communication section 63, a CPU (or microcomputer) 64, a RAM 65, and a flash ROM 66. Of these, the acceleration sensor 61 and the gyro sensor 62 serve as a "second motion sensor" that detects the movement of the user's torso.

通信部63は、例えばBluetooth(登録商標)などの低電力通信プロトコルに対応しており、装置本体部6aの通信部19との間で、一対一の通信を行う。フラッシュROM66に格納する動作プログラム67は、第2の動きセンサ61,62にてユーザの胴体の動きデータを取得し、装置本体部6aへ送信する処理を行うためのものである。 The communication unit 63 is compatible with a low power communication protocol such as Bluetooth (registered trademark), and performs one-on-one communication with the communication unit 19 of the device main body 6a. The operation program 67 stored in the flash ROM 66 is for performing a process of acquiring movement data of the user's torso using the second movement sensors 61 and 62 and transmitting the data to the device main body 6a.

センサ端末6bは、装置本体部6aの撮影動作に連動してユーザの胴体の動きデータを取得する。具体的には、装置本体部6aから動きデータ要求を受信すると、加速度センサ61、ジャイロセンサ62の検出値を第2の動きデータとして装置本体部6aに送信する。 The sensor terminal 6b acquires movement data of the user's torso in conjunction with the photographing operation of the device main body 6a. Specifically, upon receiving a motion data request from the device main body 6a, the detected values of the acceleration sensor 61 and the gyro sensor 62 are transmitted to the device main body 6a as second motion data.

本実施例のインターバル撮像装置6は、ユーザの頭部(第1の動きセンサ13,14)の第1の動きデータと、ユーザの胴体(第2の動きセンサ61,62)の第2の動きデータとを用いて、動き判定部24aにより動きの状態を複数レベルで判定する。判定では、それぞれの動きの状態とともに両者の動きデータの相関を調べる。 The interval imaging device 6 of this embodiment collects first movement data of the user's head (first movement sensors 13, 14) and second movement data of the user's torso (second movement sensors 61, 62). The motion determination unit 24a determines the state of motion at multiple levels using the data. In the determination, the state of each motion and the correlation between the motion data of both are examined.

具体的には、第1の動きデータと第2の動きデータが共に「動き有」で同方向、同程度の大きさである場合(相関有)、すなわち頭部と胴体が同期して動いている場合は「運動状態1」と判定し、標準モード(標準カメラ11のみ)による撮影を行う。第1の動きデータと第2の動きデータが異なる方向、異なる大きさである場合(相関無)、すなわち頭部と胴体が同期せずにランダムに動いている場合は「運動状態2」と判定し、カメラ撮影を制限(中止)する。第1の動きデータと第2の動きデータがいずれも「動き無」の場合は「静止状態」と判定し、広角モード(広角カメラ12)による撮影を行う。 Specifically, if the first movement data and the second movement data are both "movement", in the same direction, and of the same magnitude (correlation), that is, the head and torso are moving synchronously. If there is, it is determined that the state is "motion state 1", and photography is performed in standard mode (only with standard camera 11). If the first movement data and the second movement data are in different directions and in different sizes (no correlation), that is, if the head and torso are moving randomly without synchronization, it is determined as "motion state 2". and restrict (stop) camera shooting. If both the first motion data and the second motion data are "no motion", it is determined that the camera is in a "stationary state", and photographing is performed in wide-angle mode (wide-angle camera 12).

図12は、インターバル撮影の例を示すタイムチャートである。図の表記は実施例1(図4A)と同様である。動き判定結果は、動きの状態を「運動1」「運動2」「静止」の3段階で判定している。撮影モードは、標準モードと広角モードの他に、撮影を制限するモードを追加している。撮影タイミングの間隔ΔTは図4Aと同様に設定しており、動き判定が運動状態から静止状態に遷移するT23とT30においては、それまでの撮影タイミングの間隔がリセットされ、新たな撮影タイミングが設定される。 FIG. 12 is a time chart showing an example of interval photography. The notation in the figure is the same as in Example 1 (FIG. 4A). As for the motion determination result, the state of motion is determined in three stages: "Motion 1", "Motion 2", and "Stationary". In addition to the standard mode and wide-angle mode, there are additional shooting modes that limit shooting. The shooting timing interval ΔT is set in the same manner as in FIG. 4A, and at T23 and T30 when the motion determination transitions from the motion state to the stationary state, the previous shooting timing interval is reset and a new shooting timing is set. be done.

動き判定結果が「運動1」のときは、例えばT21、T22のように、標準モードで撮影する。動き判定結果が「運動2」のときは、例えばT27、T28のように、カメラ撮影を制限する。動き判定結果が「静止」のときは、例えばT23、T24のように、広角モードで撮影する。 When the motion determination result is "Movement 1", photography is performed in the standard mode, such as T21 and T22, for example. When the motion determination result is "Movement 2", camera photography is restricted, for example, as at T27 and T28. When the motion determination result is "still", photographing is performed in wide-angle mode, for example at T23 and T24.

これにより、ユーザが例えば激しい動きをしている時や、急に顔を振り横に向けた場合には「運動2」と判定され、カメラ撮影を制限(中止)するので、無駄な撮影を回避することができる。そしてユーザの頭部と胴体が同期した動きになると、「運動1」と判定されて標準モードでの撮影に戻る。 As a result, if the user makes vigorous movements, or suddenly turns his or her head to the side, it will be determined as "exercise 2" and camera photography will be restricted (cancelled), thereby avoiding unnecessary photography. can do. When the user's head and torso move in synchronization, it is determined that it is "movement 1" and the camera returns to the standard mode.

なお、図12では、撮影タイミングの間隔ΔTは標準モードと広角モードとで等しく設定したが、図4Bのように、広角モードでは異なる間隔ΔT’に設定してもよい。 Note that in FIG. 12, the interval ΔT between the photographing timings is set to be the same in the standard mode and the wide-angle mode, but as shown in FIG. 4B, it may be set to a different interval ΔT' in the wide-angle mode.

図13は、インターバル撮影動作を示すフローチャートである。実施例1(図5)で示したフローチャートと同一の内容のステップには、同一の番号を付している。本実施例では、動きの状態を3段階に分け、「運動状態2」と動きフラグF=2を追加している。撮影タイミングの間隔は、標準モードではΔT、広角モードではΔT’とする。図5のフローチャートと異なるステップは以下の通りである。 FIG. 13 is a flowchart showing the interval photographing operation. Steps having the same contents as those in the flowchart shown in Example 1 (FIG. 5) are given the same numbers. In this embodiment, the motion state is divided into three stages, and a "motion state 2" and a motion flag F=2 are added. The interval between photographing timings is ΔT in the standard mode and ΔT' in the wide-angle mode. The steps different from the flowchart of FIG. 5 are as follows.

S103a:装置本体部6aの第1の動きセンサ(加速度センサ13、ジャイロセンサ14)の出力を取得する。
S103b:センサ端末6bの第2の動きセンサ(加速度センサ61、ジャイロセンサ62)の出力を取得する。
S103a: Obtain the output of the first motion sensor (acceleration sensor 13, gyro sensor 14) of the device main body 6a.
S103b: Obtain the output of the second motion sensor (acceleration sensor 61, gyro sensor 62) of the sensor terminal 6b.

S104a:動き判定部24aにより、第1の動きデータと第2の動きデータを比較し、3段階の動き判定を行う。第1、第2の動きデータが「動き有」で相関があれば、「運動状態1」とする。第1、第2の動きデータが「動き有」で相関がなければ、「運動状態2」とする。第1、第2の動きデータがいずれも「動き無」の場合は「静止状態」とする。 S104a: The motion determination unit 24a compares the first motion data and the second motion data, and performs three-stage motion determination. If the first and second motion data indicate "movement" and are correlated, it is determined as "movement state 1". If the first and second motion data indicate "movement" and there is no correlation, it is determined as "movement state 2". When both the first and second motion data are "no motion", the state is determined to be a "stationary state".

S106~S108:判定の結果、運動状態1の場合は動きフラグF=1とし、第1撮影間隔ΔTで標準モードの撮影を行う。
S109~S112:判定の結果、静止状態の場合は動きフラグF=0とし、第2撮影間隔ΔT’で広角モードの撮影を行う。
S121~S122:判定の結果、運動状態2の場合は動きフラグF=2とし、撮影を行わずに次の撮影タイミングまで待機する。
S106 to S108: If the result of the determination is motion state 1, the motion flag F=1 is set, and standard mode photography is performed at the first photography interval ΔT.
S109 to S112: If the result of the determination is that the camera is in a stationary state, the motion flag F=0 is set, and wide-angle mode photography is performed at the second photography interval ΔT'.
S121 to S122: If the result of the determination is exercise state 2, the motion flag F=2 is set, and the process waits until the next photographing timing without photographing.

以上説明したように、実施例4によれば、ユーザの頭部と胴体に装着した動きセンサを用いて動き判定を行い、両者が運動状態であっても動きデータに相関がない場合は、カメラ撮影を制限するようにした。これにより無駄な撮影を削減し、撮影データ保持部の容量や装置の消費電力を節約する、効率の良いインターバル撮像装置を実現できる。 As explained above, according to the fourth embodiment, motion is determined using motion sensors attached to the user's head and torso, and if there is no correlation between motion data even if both are in a state of exercise, the camera Photography has been restricted. This makes it possible to realize an efficient interval imaging device that reduces unnecessary imaging and saves the capacity of the imaging data storage unit and the power consumption of the device.

なお、実施例4の変形として、装置本体部6aの第1の動きセンサ13,14のみを用いて、運動状態をその動きデータの大きさに応じて複数レベルで判定してもよい。すなわち、小さな動き、大きな動きといった判定を行い、所定値を超える大きな動きの場合はカメラ撮影を制限することで無駄な撮影を削減し、同様の効果が得られる。 As a modification of the fourth embodiment, only the first motion sensors 13 and 14 of the device main body 6a may be used to determine the motion state at multiple levels depending on the magnitude of the motion data. That is, by determining whether a small movement is a large movement or not, and by restricting camera photography in the case of a large movement exceeding a predetermined value, unnecessary photography can be reduced, and the same effect can be obtained.

以上、本発明に係るいくつかの実施例を説明したが、本発明はこれらに限られるものではなく、ある実施例の構成の一部を他の実施例に置き換えることが可能である。また、ある実施例の構成に、他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値はあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。 Although several embodiments according to the present invention have been described above, the present invention is not limited to these, and a part of the configuration of one embodiment can be replaced with another embodiment. Further, it is also possible to add the configuration of another embodiment to the configuration of one embodiment. These all belong to the scope of the present invention, and the numerical values appearing in the text and figures are merely examples, and the effects of the present invention will not be impaired even if different values are used.

例えば、上記実施例では、本発明のインターバル撮像装置をユーザに装着して、ユーザの履歴画像(ライフログ)を取得する場合について説明したが、これに限らず、インターバル撮像装置を動物や車両などの移動体に装着して、その行動履歴の画像を取得する場合にも適用できる。 For example, in the above embodiment, a case has been described in which the interval imaging device of the present invention is attached to a user to acquire the user's history images (life log), but the invention is not limited to this. It can also be applied when attached to a moving object to obtain images of its action history.

また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、CPU等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。 Furthermore, some or all of the functions of the invention may be implemented in hardware, for example, by designing an integrated circuit. Alternatively, it may be implemented in software by having a microprocessor unit, CPU, etc. interpret and execute the operating program. Furthermore, the scope of software implementation is not limited, and hardware and software may be used together.

1:ユーザ、2,6:インターバル撮像装置、3:全方位カメラ、4:ヘッドマウントディスプレイ(HMD)、6a:装置本体部、6b:センサ端末、11:標準カメラ、12:広角カメラ、13,61:加速度センサ、14,62:ジャイロセンサ、19,63:通信部、24,58:インターバル撮影アプリ、24a:動き判定処理、24b:タイミング生成処理、24c:撮影制御処理、25,59:撮影データ保持部、31:前半天球光学系、32:後半天球光学系、33:撮像センサ、41:左目視線カメラ、42:右目視線カメラ。 1: User, 2, 6: Interval imaging device, 3: Omnidirectional camera, 4: Head mounted display (HMD), 6a: Device main body, 6b: Sensor terminal, 11: Standard camera, 12: Wide-angle camera, 13, 61: Acceleration sensor, 14, 62: Gyro sensor, 19, 63: Communication unit, 24, 58: Interval shooting application, 24a: Movement determination processing, 24b: Timing generation processing, 24c: Shooting control processing, 25, 59: Shooting Data holding unit, 31: front half celestial sphere optical system, 32: rear celestial sphere optical system, 33: image sensor, 41: left eye line of sight camera, 42: right eye line of sight camera.

Claims (3)

カメラ装置の撮影方法であって、
センサを用いて前記カメラ装置の動きの有無を判定する動き判定ステップと、
前記カメラ装置の被写体の撮影処理を行うためのトリガ信号を所定間隔で生成するトリガ生成ステップと、
前記トリガ生成ステップで生成した前記トリガ信号に基づいて撮影処理を実行する撮影ステップと、
を備え、
前記動き判定ステップにおいて前記カメラ装置に動きがあると判定された場合には、前記トリガ生成ステップにおいて第1間隔で前記トリガ信号を生成し、
前記動き判定ステップにおいて前記カメラ装置に動きがないと判定された場合には、前記トリガ生成ステップにおいて前記第1間隔より短い第2間隔で前記トリガ信号を生成する
ことを特徴とする撮影方法。
A method for photographing with a camera device, the method comprising:
a motion determination step of determining whether or not there is movement of the camera device using a sensor;
a trigger generation step of generating a trigger signal at predetermined intervals for performing photographing processing of a subject by the camera device;
a photographing step of performing photographing processing based on the trigger signal generated in the trigger generation step;
Equipped with
If it is determined in the motion determining step that there is movement in the camera device, generating the trigger signal at a first interval in the trigger generating step;
If it is determined in the motion determining step that there is no movement in the camera device, the trigger signal is generated at a second interval shorter than the first interval in the trigger generating step.
カメラ装置の撮影方法であって、
センサを用いて前記カメラ装置の動きの有無を判定する動き判定ステップと、
前記カメラ装置の撮像部が周囲の被写体の撮影処理を行うためのトリガ信号を所定間隔で生成するトリガ生成ステップと、
前記トリガ生成ステップで生成した前記トリガ信号に基づいて前記撮像部が撮影処理を実行する撮影ステップと、
を備え、
前記撮像部は、所定画角での撮影が可能な第1撮像部と前記第1撮像部と異なる画角での撮影が可能な第2撮像部とで構成され、
前記動き判定ステップにおいて前記カメラ装置に動きがあると判定された場合には、前記撮影ステップにおいて前記第1撮像部を用いて撮影処理を実行し、
前記動き判定ステップにおいて前記カメラ装置に動きがないと判定された場合には、前記撮影ステップにおいて前記第2撮像部を用いて撮影処理を実行する
ことを特徴とする撮影方法。
A method for photographing with a camera device, the method comprising:
a motion determination step of determining whether or not there is movement of the camera device using a sensor;
a trigger generation step of generating a trigger signal at predetermined intervals for the imaging unit of the camera device to perform photographing processing of a surrounding subject;
a photographing step in which the imaging unit executes photographing processing based on the trigger signal generated in the trigger generation step;
Equipped with
The imaging unit includes a first imaging unit that can take pictures at a predetermined angle of view and a second imaging unit that can take pictures at a different angle of view from the first imaging unit,
If it is determined that there is movement in the camera device in the motion determining step, performing a photographing process using the first imaging unit in the photographing step;
A photographing method characterized in that, if it is determined in the movement determining step that there is no movement in the camera device, a photographing process is executed using the second imaging unit in the photographing step.
カメラ装置の撮影方法であって、
センサを用いて前記カメラ装置の動きの有無を判定する動き判定ステップと、
前記カメラ装置の撮像部が周囲の被写体の撮影処理を行うためのトリガ信号を所定間隔で生成するトリガ生成ステップと、
前記トリガ生成ステップで生成した前記トリガ信号に基づいて前記撮像部が撮影処理を実行する撮影ステップと、
を備え、
前記撮像部は、第1撮像部と前記第1撮像部と異なる位置に据え付けられた第2撮像部とで構成され、
前記動き判定ステップにおいて前記カメラ装置に動きがあると判定された場合には、前記撮影ステップにおいて前記第1撮像部と前記第2撮像部の何れか一方を用いて撮影処理を実行し、
前記動き判定ステップにおいて前記カメラ装置に動きがないと判定された場合には、前記撮影ステップにおいて前記第1撮像部と前記第2撮像部の両方を用いて撮影処理を実行する
ことを特徴とする撮影方法。
A method for photographing with a camera device, the method comprising:
a motion determination step of determining whether or not there is movement of the camera device using a sensor;
a trigger generation step of generating a trigger signal at predetermined intervals for the imaging unit of the camera device to perform photographing processing of a surrounding subject;
a photographing step in which the imaging unit executes photographing processing based on the trigger signal generated in the trigger generation step;
Equipped with
The imaging unit includes a first imaging unit and a second imaging unit installed at a different position from the first imaging unit,
If it is determined that there is movement in the camera device in the motion determining step, performing a photographing process using either the first imaging unit or the second imaging unit in the photographing step;
If it is determined in the motion determination step that there is no movement in the camera device, in the photographing step, a photographing process is executed using both the first imaging section and the second imaging section. How to shoot.
JP2023140669A 2020-01-28 2023-08-31 Interval imaging apparatus Pending JP2023164903A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023140669A JP2023164903A (en) 2020-01-28 2023-08-31 Interval imaging apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021573677A JP7343621B2 (en) 2020-01-28 2020-01-28 interval imaging device
PCT/JP2020/003053 WO2021152711A1 (en) 2020-01-28 2020-01-28 Interval imaging device
JP2023140669A JP2023164903A (en) 2020-01-28 2023-08-31 Interval imaging apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021573677A Division JP7343621B2 (en) 2020-01-28 2020-01-28 interval imaging device

Publications (1)

Publication Number Publication Date
JP2023164903A true JP2023164903A (en) 2023-11-14

Family

ID=77078046

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021573677A Active JP7343621B2 (en) 2020-01-28 2020-01-28 interval imaging device
JP2023140669A Pending JP2023164903A (en) 2020-01-28 2023-08-31 Interval imaging apparatus

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021573677A Active JP7343621B2 (en) 2020-01-28 2020-01-28 interval imaging device

Country Status (2)

Country Link
JP (2) JP7343621B2 (en)
WO (1) WO2021152711A1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118135A (en) * 2007-11-06 2009-05-28 Sony Corp Imaging apparatus and imaging method
JP4725595B2 (en) * 2008-04-24 2011-07-13 ソニー株式会社 Video processing apparatus, video processing method, program, and recording medium
JP2009267792A (en) * 2008-04-25 2009-11-12 Panasonic Corp Imaging apparatus
JP2010011343A (en) * 2008-06-30 2010-01-14 Toyota Motor Corp Image acquisition device, image acquisition method, and moving body
JP2013153329A (en) * 2012-01-25 2013-08-08 Nikon Corp Electronic apparatus
JP2015005809A (en) * 2013-06-19 2015-01-08 ソニー株式会社 Information processing device, information processing method, and program
JP7199808B2 (en) * 2017-12-28 2023-01-06 キヤノン株式会社 Imaging device and its control method

Also Published As

Publication number Publication date
JP7343621B2 (en) 2023-09-12
JPWO2021152711A1 (en) 2021-08-05
WO2021152711A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
CN106575027B (en) Image pickup apparatus and subject tracking method thereof
US10638046B2 (en) Wearable device, control apparatus, photographing control method and automatic imaging apparatus
WO2010071329A2 (en) Apparatus and method for acquiring high quality eye images for iris recognition
US20170085841A1 (en) Image Recording System, User Wearable Device, Imaging Device, Image Processing Device, Image Recording Method And Storage Medium
JP2015186020A (en) Display apparatus, photographing apparatus, and display method
CN106664361B (en) Information processing apparatus, information processing method, and computer-readable storage medium
KR20220128585A (en) Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media storing control programs therefor
KR20200043818A (en) Electronic device and method for obtaining images
JP2018152787A (en) Imaging device, external device, imaging system, imaging method, operation method, and program
JP6533761B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD
KR20190014959A (en) Electronic device for playing movie based on movment information and operating mehtod thereof
JP2004297414A (en) Camera having synchronous photographing function and image recorder
JP7343621B2 (en) interval imaging device
WO2017199859A1 (en) Information processing device, information processing system and information processing method
KR101814714B1 (en) Method and system for remote control of camera in smart phone
KR20230019016A (en) Image pickup apparatus used as action camera
JP2022140420A (en) Imaging apparatus, display unit, video transfer system, control method, and program
JP2023154539A (en) Imaging device, control method for imaging device, display device, and imaging system
US20240121506A1 (en) System consisting of electronic device and notification apparatus, control method thereof, and electronic device and notification apparatus
JP2023055074A (en) Imaging apparatus and method for controlling the same, and program
JPWO2019038885A1 (en) Information processing apparatus and image output method
JP2022140424A (en) Image pickup apparatus, control method therefor, and program
JP2018160809A (en) Image processing apparatus, imaging system, image processing method, and program
JP2022140418A (en) Image pickup apparatus
JP2023143437A (en) Control device, control method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230831