JP2021051521A - Photo album production device and photo album production program - Google Patents
Photo album production device and photo album production program Download PDFInfo
- Publication number
- JP2021051521A JP2021051521A JP2019173629A JP2019173629A JP2021051521A JP 2021051521 A JP2021051521 A JP 2021051521A JP 2019173629 A JP2019173629 A JP 2019173629A JP 2019173629 A JP2019173629 A JP 2019173629A JP 2021051521 A JP2021051521 A JP 2021051521A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- vehicle
- photo album
- control unit
- side control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims description 49
- 230000036772 blood pressure Effects 0.000 claims description 7
- 230000036760 body temperature Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Abstract
Description
この発明は、移動体に設けられているカメラから取得した画像情報をフォトアルバムデータとして保管部に保管するフォトアルバム制作装置及びフォトアルバム制作プログラムに関する。 The present invention relates to a photo album production device and a photo album production program that store image information acquired from a camera provided in a moving body as photo album data in a storage unit.
従来の車両用思い出共有システムでは、音声認識装置によって、ユーザの笑い声及び歓声に基づいて、ユーザの会話の盛り上がりが検出される。ユーザの会話の盛り上がりが検出されると、車内用カメラにより撮影した映像が、車載機側記憶部に保存される（例えば、特許文献１参照）。 In the conventional vehicle memory sharing system, the voice recognition device detects the excitement of the user's conversation based on the user's laughter and cheers. When the excitement of the user's conversation is detected, the image taken by the in-vehicle camera is stored in the in-vehicle device side storage unit (see, for example, Patent Document 1).
特許文献１に開示された装置は、乗員の笑い声又は歓声を音声認識処理により検出するようになっている。しかし、乗員が例えば楽しさを感じているにもかかわらず、笑い声又は歓声を発しなかった場合には、画像情報は取得されない。
The device disclosed in
この発明は、上記のような課題を解決するために為されたものであり、移動体に乗っている利用者の状態をより反映した画像情報を取得することができるフォトアルバム制作装置及びフォトアルバム制作プログラムを提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and is a photo album production device and a photo album capable of acquiring image information that more reflects the state of a user riding on a moving body. The purpose is to provide a production program.
この発明に係るフォトアルバム制作装置は、移動体に乗っている利用者の生体情報を生体情報検出器から取得する生体情報取得部と、生体情報に基づいて決定した取得タイミングにおける画像情報を、移動体に設けられているカメラから取得する画像情報取得部と、画像情報取得部により取得された画像情報をフォトアルバムデータとして保管部に保管する保管制御部とを備えている。 The photo album production apparatus according to the present invention moves a biometric information acquisition unit that acquires biometric information of a user on a moving body from a biometric information detector and image information at an acquisition timing determined based on the biometric information. It includes an image information acquisition unit acquired from a camera provided on the body and a storage control unit that stores the image information acquired by the image information acquisition unit in the storage unit as photo album data.
この発明に係るフォトアルバム制作装置及びフォトアルバム制作プログラムによれば、移動体に乗っている利用者の状態をより反映した画像情報を取得することができる。 According to the photo album production device and the photo album production program according to the present invention, it is possible to acquire image information that more reflects the state of the user riding on the moving body.
以下、この発明を実施するための形態について、図面を参照して説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るフォトアルバム制作装置を示す構成図である。図１に示したように、移動体としての車両２０には、車両側制御部１０１、生体情報検出器４１及びカメラ４２が設けられている。サーバ３０には、サーバ側制御部１０２及び保管部４３が設けられている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram showing a photo album production apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the
実施の形態１のフォトアルバム制作装置１０は、車両側制御部１０１とサーバ側制御部１０２とを有している。車両側制御部１０１は、機能ブロックとして、生体情報取得部１１、画像情報取得部１２及び第１送受信部１３を有している。サーバ側制御部１０２は、機能ブロックとして、保管制御部１４及び第２送受信部１５を有している。
The photo
生体情報取得部１１は、車両２０に乗っている利用者の生体情報を生体情報検出器４１から取得する。生体情報検出器４１は、例えば、利用者の手首に装着されることにより利用者の生体情報として脈拍、体温、血圧及び皮膚電位の何れか１つを検出する。
The biological
カメラ４２は、外向きカメラ４２ａと内向きカメラ４２ｂとを有している。外向きカメラ４２ａは、例えば、車両２０の車室内のバックミラーの上部に車両２０の前方へ向けて設けられており、フロントガラスを通して車両２０の前方を撮影する。内向きカメラ４２ｂは、例えば、バックミラーの上部に外向きカメラ４２ａとは反対向きに設けられており、車室内を撮影する。従って、カメラ４２は車両２０の外部及び内部を同時に又は異なるタイミングで撮影することができる。
The
画像情報取得部１２には、生体情報取得部１１により取得された生体情報が入力される。画像情報取得部１２は、生体情報に基づいて決定した取得タイミングにおける画像情報をカメラ４２から取得する。
The biometric information acquired by the biometric
第１送受信部１３は、画像情報取得部１２により取得された画像情報をサーバ側制御部１０２へ送信する。第２送受信部１５は、第１送受信部１３により送信された画像情報を受信する。
The first transmission /
保管制御部１４は、画像情報取得部１２により取得された画像情報を、保管部４３に送信し、フォトアルバムデータとして保管部４３に保管する。フォトアルバムデータは、例えば、画像情報取得部１２により取得された少なくとも１つの画像のデータを含んでいる。また、フォトアルバムデータは、取得された複数の画が時系列に並んだデータであってもよいし、取得された複数の画像がスライドショーとして編集されたデータであってもよい。
The storage control unit 14 transmits the image information acquired by the image
利用者は、例えば特定のパスワードを使用してサーバ３０にアクセスすることによって、保管されたフォトアルバムデータを閲覧したりコピーしたりすることができる。
The user can view or copy the stored photo album data by accessing the
図２は、図１の車両側制御部１０１が実行する画像情報取得ルーチンを示すフローチャートである。図２のルーチンは、例えば、フォトアルバム制作装置１０が起動されることにより開始され、一定時間が経過する毎に実行されるようになっている。
FIG. 2 is a flowchart showing an image information acquisition routine executed by the vehicle-
車両側制御部１０１は、図２のルーチンを開始すると、まず、ステップＳ１０５において生体情報検出器４１から生体情報を取得することが可能であるか否かを判定する。例えば、生体情報検出器４１が車室内に存在しないか又は生体情報検出器４１の電源がオンされていない場合、車両側制御部１０１は、生体情報を取得することができない。従って、この場合、車両側制御部１０１は、ステップＳ１０５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
When the vehicle-
一方、生体情報が取得可能である場合、車両側制御部１０１は、ステップＳ１０５において「Ｙｅｓ」と判定してステップＳ１１０の処理に進み、生体情報検出器４１から生体情報を取得する。
On the other hand, when the biometric information can be acquired, the vehicle
次いで、車両側制御部１０１は、ステップＳ１１５の処理に進み、画像情報取得条件が成立したか否かを判定する。「画像情報取得条件」とは、車両側制御部１０１が画像情報を取得すべき条件であり、言い換えると、例えば利用者が楽しさを感じていると判断するための条件である。
Next, the vehicle-
ここで、車両側制御部１０１は、前回のルーチンまでに取得され、演算された生体情報の平均値をメモリから読み出す。そして、車両側制御部１０１は、今回取得された生体情報の値から読み出された生体情報の平均値を差引くことにより得られる差分値が、予め設定された閾値以上であるとき、上記の画像情報取得条件が成立したと判定する。さらに、車両側制御部１０１は、ステップＳ１１５において、画像情報取得条件が成立したか否かを判定した後、読み出された生体情報の平均値と今回取得された生体情報の値との平均値を演算する。そして、車両側制御部１０１は、メモリに格納されている生体情報の平均値を今回演算された平均値に更新する。
Here, the vehicle-
上記の画像情報取得条件が成立した場合、車両側制御部１０１は、ステップＳ１１５において「Ｙｅｓ」と判定してステップＳ１２０の処理に進み、外向きカメラ４２ａ及び内向きカメラ４２ｂからそれぞれ画像情報を取得する。その後、車両側制御部１０１は、このルーチンを一旦終了する。即ち、「画像情報取得条件が成立した時点」は、「生体情報に基づいて決定した取得タイミング」であるとも言える。一方、上記の画像情報取得条件が成立していない場合、車両側制御部１０１は、ステップＳ１１５において「Ｎｏ」と判定して、このルーチンを一旦終了する。即ち、この場合、画像情報は取得されない。
When the above image information acquisition condition is satisfied, the vehicle
図３は、図１のサーバ側制御部１０２が実行する画像情報保管ルーチンを示すフローチャートである。図３の処理は、一定時間が経過する毎に実行されるようになっている。
FIG. 3 is a flowchart showing an image information storage routine executed by the server-
サーバ側制御部１０２は、図３のルーチンを開始すると、まず、ステップＳ２０５において、車両側制御部１０１から画像情報を受信したか否かを判定する。車両側制御部１０１から画像情報を受信していない場合、サーバ側制御部１０２は、ステップＳ２０５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
When the server-
一方、車両側制御部１０１から画像情報を受信した場合、サーバ側制御部１０２は、ステップＳ２０５において「Ｙｅｓ」と判定してステップＳ２１０の処理に進み、受信された画像情報を保管部４３に保管する。
On the other hand, when the image information is received from the vehicle
このように、実施の形態１のフォトアルバム制作方法は、生体情報取得ステップと、画像情報取得ステップと、保管制御ステップとを含んでいる。生体情報取得ステップは、車両２０に乗っている利用者の生体情報を生体情報検出器４１から取得するステップである。画像情報取得ステップは、生体情報に基づいて決定した取得タイミングにおける画像情報を、車両２０に設けられているカメラ４２から取得するステップである。保管制御ステップは、画像情報取得部１２により取得された画像情報をフォトアルバムデータとして保管部４３に保管するステップである。
As described above, the photo album production method of the first embodiment includes a biological information acquisition step, an image information acquisition step, and a storage control step. The biometric information acquisition step is a step of acquiring the biometric information of the user in the
また、実施の形態１のフォトアルバム制作プログラムは、上記のフォトアルバム制作方法をコンピュータに実行させるプログラムである。 The photo album production program of the first embodiment is a program that causes a computer to execute the above photo album production method.
即ち、フォトアルバム制作プログラムは、生体情報取得処理と、画像情報取得処理と、保管制御処理とをコンピュータに実行させるプログラムである。生体情報取得処理は、車両２０に乗っている利用者の生体情報を生体情報検出器４１から取得する処理である。画像情報取得処理は、生体情報に基づいて決定した取得タイミングにおける画像情報を、車両２０に設けられているカメラ４２から取得する処理である。保管制御処理は、画像情報取得部１２により取得された画像情報をフォトアルバムデータとして保管部４３に保管する処理である。
That is, the photo album production program is a program that causes a computer to execute a biological information acquisition process, an image information acquisition process, and a storage control process. The biometric information acquisition process is a process of acquiring the biometric information of the user in the
上記のように、実施の形態１のフォトアルバム制作装置１０及びフォトアルバム制作プログラムによれば、生体情報に基づいて決定した取得タイミングにおける画像情報が取得される。このため、車両２０に乗っている利用者の状態をより反映した画像情報を取得することができる。
As described above, according to the photo
実施の形態２．
次に、この発明の実施の形態２に係るフォトアルバム制作装置について説明する。図４は、この発明の実施の形態２に係るフォトアルバム制作装置１０Ａを示す構成図である。図４に示したように、移動体としての自車両２０Ａには、自車両側制御部１０１Ａ、生体情報検出器４１、カメラ４２及び第１ＧＰＳ受信機４４が設けられている。サーバ３０Ａには、サーバ側制御部１０２Ａ及び保管部４３が設けられている。
Next, the photo album production apparatus according to the second embodiment of the present invention will be described. FIG. 4 is a configuration diagram showing a photo
実施の形態２のフォトアルバム制作装置１０Ａは、自車両側制御部１０１Ａとサーバ側制御部１０２Ａとを有している。自車両側制御部１０１Ａは、機能ブロックとして、生体情報取得部１１、第１画像情報取得部１２Ａ、第１送受信部１３及び第１位置情報取得部１６を有している。サーバ側制御部１０２Ａは、機能ブロックとして、保管制御部１４Ａ、第２送受信部１５及び他車両検出部１７を有している。
The photo
自車両側制御部１０１Ａは、実施の形態１の車両側制御部１０１に対応している。第１画像情報取得部１２Ａは、実施の形態１の画像情報取得部１２の機能に加えて、画像情報取得条件が成立したとき、この画像情報取得条件が成立した旨の情報を出力することができるようになっている。
The own vehicle
第１ＧＰＳ受信機（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）４４は、図示しないＧＰＳ衛星からの電波を受信し、自車両２０Ａの位置を特定するための位置信号を出力する。この位置信号には、緯度、経度及び時刻に関する情報が含まれる。第１位置情報取得部１６は、第１ＧＰＳ受信機４４から自車両２０Ａの位置信号を受信する。第１位置情報取得部１６は、受信された位置信号に基づいて自車両２０Ａの位置する地点に関する情報である位置情報を、図示しないデータベースから取得する。上記位置情報には、例えば、住所、地名、ランドマーク及びその地域に関連するキーワードが含まれる。
The first GPS receiver (Global Positioning System) 44 receives radio waves from GPS satellites (not shown) and outputs a position signal for identifying the position of the
自車両側制御部１０１Ａは、第１送受信部１３及び第２送受信部１５を介してサーバ側制御部１０２Ａに画像情報、位置情報及び画像情報取得条件が成立した旨の情報を送信する。
The own vehicle
自車両２０Ａとは別の移動体である他車両５０には、他車両側制御部６０、外向きカメラ４５及び第２ＧＰＳ受信機４６が設けられている。他車両側制御部６０は、機能ブロックとして、第２画像情報取得部６１、第２位置情報取得部６２及び第３送受信部６３を有している。
The
第２ＧＰＳ受信機４６は、第１ＧＰＳ受信機４４と同様に、図示しないＧＰＳ衛星からの電波を受信し、他車両５０の位置を特定するための位置信号を出力する。第２位置情報取得部６２は、第２ＧＰＳ受信機４６から他車両５０の位置信号を受信し、受信した他車両５０の位置信号に基づいて他車両５０の位置情報を取得する。
Like the
外向きカメラ４５は、例えば、他車両５０の車室内に他車両５０の前方へ向けて設けられている。第２画像情報取得部６１は、外向きカメラ４５から画像情報を取得する。
The
他車両検出部１７は、第１位置情報取得部１６及び第２位置情報取得部６２から、自車両２０Ａの位置情報及び他車両５０の位置情報をそれぞれ受信する。さらに、他車両検出部１７は、第１画像情報取得部１２Ａから画像情報取得条件が成立した旨の情報を取得する。
The other vehicle detection unit 17 receives the position information of the
他車両検出部１７は、画像情報取得条件が成立した旨の情報に基づいて、第１画像情報取得部１２Ａにおける画像の取得タイミングを認識する。そして、他車両検出部１７は、その認識された取得タイミングにおいて、外向きカメラ４５を用いて画像を取得するべき他車両５０を特定する。より具体的に述べると、他車両検出部１７は、画像の取得タイミングにおける自車両２０Ａの位置情報と自車両２０Ａの周辺に存在する車両との位置関係等に基づいて他車両５０を特定する。自車両２０Ａの周辺に存在する車両の１つが他車両５０として特定される条件は、例えば次のとおりである。
The other vehicle detection unit 17 recognizes the image acquisition timing in the first image
＜他車両特定条件＞
・搭載された機器が作動中である。
・ＧＰＳ受信機を備えている。
・外向きカメラを備えている。
・外向きカメラの画像を他の車両の利用者が利用することを許可している。
・自車両２０Ａとの距離が基準距離以下である。
・画像の取得タイミングにおいて自車両２０Ａが外向きカメラの撮影範囲内に存在している。
<Specific conditions for other vehicles>
-The installed equipment is in operation.
-Equipped with a GPS receiver.
・ Equipped with an outward-facing camera.
-Allows users of other vehicles to use images from outward-facing cameras.
-The distance to the
-At the image acquisition timing, the
他車両検出部１７は、特定された他車両５０の第２画像情報取得部６１に、画像情報の取得及び送信を要求する。第２画像情報取得部６１は、画像情報を提供可能であるとき、他車両検出部１７からの要求に応え、外向きカメラ４５から画像情報を取得して保管制御部１４に送信する。
The other vehicle detection unit 17 requests the second image information acquisition unit 61 of the specified
図５は、図４の自車両側制御部１０１Ａが実行する画像情報取得ルーチンを示すフローチャートである。図５のルーチンは、例えば、フォトアルバム制作装置１０Ａが起動されることにより開始され、一定時間が経過する毎に実行されるようになっている。なお、図５のルーチンは、ステップＳ３２５を除き図２のルーチンと同一であり、図２のルーチンの説明と重複する説明は省略される。
FIG. 5 is a flowchart showing an image information acquisition routine executed by the own vehicle
画像情報取得条件が成立した場合、自車両側制御部１０１Ａは、ステップＳ３１５において「Ｙｅｓ」と判定してステップＳ３２０の処理に進み、外向きカメラ４２ａ及び内向きカメラ４２ｂから画像情報を取得する。次いで、自車両側制御部１０１Ａは、ステップＳ３２５の処理に進み、画像情報取得条件成立フラグＸＣ１の値を「１」に設定する。フラグＸＣ１の値は、画像情報取得条件が成立したとき「１」に設定され、画像情報取得条件が成立していないとき「０」に設定される。その後、自車両側制御部１０１Ａは、このルーチンを一旦終了する。
When the image information acquisition condition is satisfied, the own vehicle
一方、画像情報取得条件が成立していない場合、自車両側制御部１０１Ａは、ステップＳ３１５において「Ｎｏ」と判定して、このルーチンを一旦終了する。つまり、この場合、フラグＸＣ１の値は「０」に維持される。
On the other hand, when the image information acquisition condition is not satisfied, the own vehicle
図６は、図４の自車両側制御部１０１Ａが実行する位置情報取得ルーチンを示すフローチャートである。図６のルーチンは、一定時間が経過する毎に実行されるようになっている。自車両側制御部１０１Ａは、図６のルーチンを開始すると、まず、ステップＳ４０５において、第１ＧＰＳ受信機４４がＧＰＳ衛星からの電波を受信することができるか否かを判定する。
FIG. 6 is a flowchart showing a position information acquisition routine executed by the own vehicle
電波を受信できない場合、自車両側制御部１０１Ａは、ステップＳ４０５において「Ｎｏ」と判定して、このルーチンを一旦終了する。つまり、この場合、自車両２０Ａの位置情報は取得されない。一方、電波を受信できた場合、自車両側制御部１０１Ａは、ステップＳ４０５において「Ｙｅｓ」と判定してステップＳ４１０の処理に進み、第１ＧＰＳ受信機４４が出力する位置信号を受信する。次いで、自車両側制御部１０１Ａは、ステップＳ４１５の処理に進み、受信した位置信号に基づいて自車両２０Ａの位置情報を取得する。
If the radio wave cannot be received, the own vehicle
図７は、図４のサーバ側制御部１０２Ａが実行する他車両特定ルーチンを示すフローチャートである。図７のルーチンは、一定時間が経過する毎に実行されるようになっている。
FIG. 7 is a flowchart showing another vehicle identification routine executed by the server-
サーバ側制御部１０２Ａは、図７のルーチンを開始すると、まず、ステップＳ５０５において、画像情報取得要求フラグＸＲＥＱの値が「０」であるか否かを判定する。フラグＸＲＥＱの値は、画像情報の取得が要求されているとき「１」に設定され、画像情報の取得が要求されていないとき「０」に設定される。他車両５０がまだ特定されていない場合、画像情報の取得は要求されていないので、フラグＸＲＥＱの値は「０」である。この場合、サーバ側制御部１０２Ａは、ステップＳ５０５において「Ｙｅｓ」と判定してステップＳ５１０の処理に進み、フラグＸＣ１の値が「１」であるか否かを判定する。
When the server-
フラグＸＣ１の値が「０」である場合、サーバ側制御部１０２ＡはステップＳ５１０において「Ｎｏ」と判定して、このルーチンを一旦終了する。
When the value of the flag XC1 is "0", the server-
一方、フラグＸＣ１の値が「１」である場合、サーバ側制御部１０２Ａは、ステップＳ５１０において「Ｙｅｓ」と判定してステップＳ５１５の処理に進み、自車両２０Ａの位置情報及び他車両５０の位置情報をそれぞれ取得する。
On the other hand, when the value of the flag XC1 is "1", the server-
次いで、サーバ側制御部１０２Ａは、ステップＳ５２０において、自車両２０Ａの位置情報及び他車両の位置情報に基づいて、前述した他車両特定条件に適合する他車両を特定できたか否かを判定する。他車両が特定できない場合、即ち、他車両特定条件に適合する車両が見つからない場合、サーバ側制御部１０２Ａは、ステップＳ５２０において「Ｎｏ」と判定して、このルーチンを一旦終了する。
Next, in step S520, the server-
一方、他車両５０が特定できた場合、サーバ側制御部１０２Ａは、ステップＳ５２０において「Ｙｅｓ」と判定してステップＳ５２５の処理に進み、フラグＸＣ１の値を「０」に設定する。次いで、サーバ側制御部１０２Ａは、ステップＳ５３０において、特定された他車両５０に対し画像情報取得要求信号を送信するとともにフラグＸＲＥＱの値を「１」に設定する。次いで、サーバ側制御部１０２Ａは、ステップＳ５３５の処理に進むと、他車両側制御部６０から画像情報取得要求信号に対する承認信号を受信したか否かを判定する。
On the other hand, when the
承認信号を受信した場合、サーバ側制御部１０２Ａは、ステップＳ５３５において「Ｙｅｓ」と判定してステップＳ５４０の処理に進み、他車両側制御部６０から画像情報を受信したか否かを判定する。
When the approval signal is received, the server-
他車両側制御部６０から画像情報を受信した場合、サーバ側制御部１０２Ａは、ステップＳ５４０において「Ｙｅｓ」と判定してステップＳ５４５の処理に進み、受信された画像情報を保管部４３に保管する。次いで、サーバ側制御部１０２Ａは、ステップＳ５５０においてフラグＸＲＥＱの値を「０」に設定して、このルーチンを一旦終了する。
When the image information is received from the other vehicle
一方、承認信号を受信できない場合又は画像情報を受信できない場合、サーバ側制御部１０２Ａは、ステップＳ５３５又はステップＳ５４０において「Ｎｏ」と判定してステップＳ５５５の処理に進む。サーバ側制御部１０２Ａは、ステップＳ５５５において、画像情報取得要求を送信してから第１規定時間が経過したか否かを判定する。画像情報取得要求を送信してから第１規定時間が経過していない場合、サーバ側制御部１０２Ａは、ステップＳ５５５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
On the other hand, if the approval signal cannot be received or the image information cannot be received, the server-
一方、画像情報取得要求を送信してから第１規定時間が経過している場合、サーバ側制御部１０２Ａは、ステップＳ５５５において「Ｙｅｓ」と判定してステップＳ５５０の処理に進み、フラグＸＲＥＱの値を「０」に設定する。次いで、サーバ側制御部１０２Ａはこのルーチンを一旦終了する。
On the other hand, when the first specified time has elapsed since the image information acquisition request was transmitted, the server-
なお、一定時間が経過した後に図７のルーチンが再び実行されたとき、画像情報取得要求が既に送信されていれば、ＣＰＵはステップＳ５０５において「Ｎｏ」と判定してステップＳ５３０の処理に直接進む。 When the routine of FIG. 7 is executed again after a certain period of time has elapsed, if the image information acquisition request has already been transmitted, the CPU determines "No" in step S505 and directly proceeds to the process of step S530. ..
このような実施の形態２のフォトアルバム制作装置１０Ａによれば、画像の取得タイミングにおいて、車両２０とは別の他車両５０に設けられている外向きカメラ４５からも、自車両２０Ａを含む風景が撮影される。
According to the photo
なお、外向きカメラ４５によって撮影される画像に自車両２０Ａは必ずしも映っていなくてもよい。つまり、他車両特定条件には、画像の取得タイミングにおいて自車両２０Ａが外向きカメラ４５の撮影範囲内に存在しているという条件が含まれなくてもよい。これによれば、画像情報取得条件が成立したとき、自車両２０Ａでは撮影できない自車両２０Ａの周囲の風景を撮影することができる。
The
また、実施の形態２において、他車両検出部１７は、画像情報取得条件が成立した旨の情報を取得し、この画像情報取得条件が成立した旨の情報に基づいて他車両５０を特定していたが、生体情報取得部１１から利用者の生体情報を直接取得し、この生体情報に基づいて他車両５０を特定するタイミングを決定してもよい。
Further, in the second embodiment, the other vehicle detection unit 17 acquires the information that the image information acquisition condition is satisfied, and identifies the
実施の形態３．
次に、この発明の実施の形態３に係るフォトアルバム制作装置について説明する。図８は、この発明の実施の形態３に係るフォトアルバム制作装置１０Ｂを示す構成図である。図８に示したように、移動体としての車両２０Ｂには、車両側制御部１０１Ｂ、生体情報検出器４１、カメラ４２、ＧＰＳ受信機４４及び音楽データ再生部４７が設けられている。サーバ３０Ｂには、サーバ側制御部１０２Ｂ及び保管部４３が設けられている。
Embodiment 3.
Next, the photo album production apparatus according to the third embodiment of the present invention will be described. FIG. 8 is a configuration diagram showing a photo
実施の形態３のフォトアルバム制作装置１０Ｂは、車両側制御部１０１Ｂとサーバ側制御部１０２Ｂとを有している。車両側制御部１０１Ｂは、機能ブロックとして、生体情報取得部１１、画像情報取得部１２Ｂ、位置情報取得部１６及び第１送受信部１３を有している。サーバ側制御部１０２Ｂは、機能ブロックとして、保管制御部１４Ｂ、第２送受信部１５及び音楽データ付加部１８を有している。
The photo
生体情報取得部１１は、生体情報検出器４１からの信号に基づいて生体情報を取得する。生体情報取得部１１は、取得された生体情報を第１送受信部１３及び第２送受信部１５を介して画像情報取得部１２Ｂ及び音楽データ付加部１８に出力する。画像情報取得部１２Ｂは、前述の画像情報取得条件が成立したとき、外向きカメラ４２ａ及び内向きカメラ４２ｂからの画像情報を取得する。
The biological
ＧＰＳ受信機４４は、車両２０Ｂの位置を特定するための位置信号を出力する。位置情報取得部１６は、ＧＰＳ受信機４４から車両２０Ｂの位置信号を受信する。位置情報取得部１６は、受信された位置信号に基づいて車両２０Ｂの位置情報を取得する。そして、位置情報取得部１６は取得された位置情報を画像情報取得部１２Ｂに出力する。画像情報取得部１２Ｂは、取得された画像情報に、画像情報が取得された時点の車両２０Ｂの位置情報を付加する。画像情報取得部１２Ｂは、位置情報が付加された画像情報を第１送受信部１３及び第２送受信部１５を介して保管制御部１４Ｂに送信する。
The
音楽データ付加部１８は、フォトアルバムデータに音楽データを付加する。このとき、音楽データ付加部１８は、例えば、利用者に複数の楽曲を聴かせたうえで、それぞれの楽曲を利用者が聴いているときに得られた生体情報の違いに基づいて、フォトアルバムデータに付加する音楽データを選択する。
The music
音楽データ再生部４７は、車両２０Ｂの車室内に設けられている。音楽データ再生部４７は、図示しない電気回路部とスピーカとを有している。電気回路部は、音楽データを復号する。スピーカは、復号された音楽を再生する。音楽データ付加部１８は、格納された音楽データの中から１つの楽曲に対応する音楽データを選択し、この選択された音楽データを第１送受信部１３及び第２送受信部１５を介して音楽データ再生部４７に出力する。従って、車両２０Ｂに乗っている利用者は、選択された音楽データに対応する楽曲を聴くことができる。
The music
図９は、図８の車両側制御部１０１Ｂが実行する画像取得ルーチンを示すフローチャートである。図９の処理は、一定時間が経過する毎に実行されるようになっている。なお、図９のルーチンは、ステップＳ６２５を除き図２のルーチンと同一であり、図２のルーチンの説明と重複する説明は省略される。
FIG. 9 is a flowchart showing an image acquisition routine executed by the vehicle-
画像情報取得条件が成立した場合、車両側制御部１０１Ｂは、ステップＳ６１５において「Ｙｅｓ」と判定してステップＳ６２０の処理に進み、外向きカメラ４２ａ及び内向きカメラ４２ｂから画像情報を取得する。次いで、車両側制御部１０１Ｂは、ステップＳ６２５の処理に進み、このときの車両２０Ｂの位置情報を位置情報取得部１６から取得する。
When the image information acquisition condition is satisfied, the vehicle-
図１０は、図８のサーバ側制御部１０２Ｂが実行する付加用音楽データ候補決定ルーチンを示すフローチャートである。図１０のルーチンは、一定時間が経過する毎に実行されるようになっている。以下、場合分けをして説明する。なお、以下の説明において、生体情報は取得可能な状態にあると仮定する。
FIG. 10 is a flowchart showing an additional music data candidate determination routine executed by the server-
（１）試聴用音楽データが再生されていない場合
サーバ側制御部１０２Ｂは、図１０のルーチンを開始すると、まず、ステップＳ７０５において、生体情報が取得可能であるか否かを判定する。上記仮定によれば、生体情報は取得可能である。従って、サーバ側制御部１０２Ｂは、ステップＳ７０５において「Ｙｅｓ」と判定して、ステップＳ７１０の処理に進む。サーバ側制御部１０２Ｂは、ステップＳ７１０において、試聴用音楽データが再生されているか否かを判定する。試聴用音楽データは、音楽データ付加部１８内の音楽データの中からサーバ側制御部１０２Ｂが任意に選んだ音楽データである。
(1) When the audition music data is not played When the server-
上記仮定によれば、試聴用音楽データは再生されていない。従って、サーバ側制御部１０２Ｂは、ステップＳ７１０において「Ｎｏ」と判定してステップＳ７４０の処理に進み、生体情報取得部１１から生体情報を取得する。このときの生体情報は、利用者が試聴用の音楽を聴いていないときに取得された生体情報であり、以下、「非試聴時生体情報」と称される。
According to the above assumption, the audition music data is not played. Therefore, the server-
次いで、サーバ側制御部１０２Ｂは、ステップＳ７４５において、試聴用音楽データ再生条件が成立しているか否かを判定する。例えば、試聴用音楽データ再生条件は、以下の条件が成立したとき成立する。
Next, in step S745, the server-
・非試聴時生体情報の値が異常値を示していない。
つまり、利用者の生体情報の値が異常である場合には、正確な判定が難しいので、付加用音楽データ候補を決定するルーチンは実行されない。
-The value of biometric information at the time of non-listening does not show an abnormal value.
That is, when the value of the biometric information of the user is abnormal, it is difficult to make an accurate determination, so that the routine for determining the additional music data candidate is not executed.
試聴用音楽データ再生条件が成立していない場合、サーバ側制御部１０２Ｂは、ステップＳ７４５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
If the listening music data reproduction condition is not satisfied, the server-
一方、上記試聴用音楽データ再生条件が成立している場合、サーバ側制御部１０２Ｂは、ステップＳ７４５において「Ｙｅｓ」と判定してステップＳ７５０の処理に進む。サーバ側制御部１０２Ｂは、ステップＳ７５０において、格納された音楽データの中から試聴用音楽データを選択し、音楽データ再生部４７を用いて、この選択された試聴用音楽データを再生し、このルーチンを一旦終了する。
On the other hand, when the above-mentioned listening music data reproduction condition is satisfied, the server-
（２）試聴用音楽データが再生されている場合
サーバ側制御部１０２Ｂは、ステップＳ７０５において「Ｙｅｓ」と判定してステップＳ７１０の処理に進み、ステップＳ７１０において「Ｙｅｓ」と判定する。次いで、サーバ側制御部１０２Ｂは、ステップＳ７１５において、生体情報取得部１１から生体情報を取得する。このときの生体情報は、利用者が試聴用の音楽を聴いているときに取得された生体情報であり、以下、「試聴時生体情報」と称される。次いで、サーバ側制御部１０２Ｂは、ステップＳ７２０において、格納された「非試聴時生体情報」を読み込む。
(2) When the audition music data is being played The server-
次いで、サーバ側制御部１０２Ｂは、ステップＳ７２５において、試聴用の音楽データをフォトアルバムデータに付加する音楽データ、即ち、バックグラウンド音楽として採用するか否かを判定する。言い換えると、サーバ側制御部１０２Ｂは、以下の音楽データ採用条件が成立したか否かを判定する。
Next, in step S725, the server-
＜音楽データ採用条件＞
・試聴時生体情報の値と非試聴時生体情報の値との差分値の大きさが、予め設定された閾値以上である。
例えば、利用者に試聴させる楽曲が比較的スローテンポな楽曲である場合、試聴時生体情報の値が非試聴時生体情報の値より減少する傾向がある。また、利用者に試聴させる楽曲が比較的アップテンポな楽曲である場合、試聴時生体情報の値が非試聴時生体情報の値より増加する傾向がある。
<Conditions for adopting music data>
-The magnitude of the difference between the value of the biometric information at the time of audition and the value of the biometric information at the time of non-listening is equal to or larger than a preset threshold value.
For example, when the music to be auditioned by the user is a relatively slow tempo music, the value of the biometric information at the time of audition tends to be smaller than the value of the biometric information at the time of non-audit. Further, when the music to be auditioned by the user is a relatively up-tempo music, the value of the biometric information at the time of audition tends to be larger than the value of the biometric information at the time of non-audit.
音楽データ採用条件が成立している場合、サーバ側制御部１０２Ｂは、ステップＳ７２５において「Ｙｅｓ」と判定してステップＳ７３０の処理に進み、当該試聴用音楽データをフォトアルバムデータに付加する音楽データの候補の１つとして決定する。次いで、サーバ側制御部１０２Ｂは、ステップＳ７３５において、音楽データの再生を中止し、このルーチンを一旦終了する。
When the music data adoption condition is satisfied, the server-
一方、音楽データ採用条件が成立していない場合、サーバ側制御部１０２Ｂは、ステップＳ７５５の処理に進み、音楽データ採用条件が成立しないまま第２規定時間が経過したか否かを判定する。音楽データ採用条件が成立しないまま第２規定時間が経過していない場合、サーバ側制御部１０２Ｂは、ステップＳ７５５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
On the other hand, if the music data adoption condition is not satisfied, the server-
一方、音楽データ採用条件が成立しないまま第２規定時間が経過した場合、サーバ側制御部１０２Ｂは、ステップＳ７５５において「Ｙｅｓ」と判定してステップＳ７６０の処理に進み、現在再生している音楽データとは別の音楽データを選択する。そして、サーバ側制御部１０２Ｂは、その選択された音楽データを音楽データ再生部４７を用いて再生し、このルーチンを一旦終了する。
On the other hand, when the second specified time elapses without satisfying the music data adoption condition, the server-
なお、生体情報が取得可能な状態にない場合、サーバ側制御部１０２Ｂは、ステップＳ７０５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
If the biometric information is not available, the server-
図１１は、図８のサーバ側制御部１０２Ｂが実行する音楽データ付加ルーチンを示すフローチャートである。図１１のルーチンは、一定時間が経過する毎に実行されるようになっている。
FIG. 11 is a flowchart showing a music data addition routine executed by the server-
サーバ側制御部１０２Ｂは、図１１のルーチンを開始すると、まず、ステップＳ８０５において、位置情報が付加されたフォトアルバムデータが保管部４３に存在するか否かを判定する。位置情報が付加されたフォトアルバムデータが保管部４３に存在する場合、サーバ側制御部１０２Ｂは、ステップＳ８０５において「Ｙｅｓ」と判定してステップＳ８１０の処理に進み、位置情報が付加されたフォトアルバムデータを保管制御部１４Ｂを経由して保管部４３から取得する。
When the server-
次いで、サーバ側制御部１０２Ｂは、ステップＳ８１５において、フォトアルバムデータに付加する音楽データの候補として決定されている音楽データの１つと、取得されたフォトアルバムデータに付加された位置情報と、のマッチングの度合いが基準値以上であるか否かを判定する。
Next, the server-
「マッチングの度合い」は、楽曲のジャンル、メロディー、歌詞、楽曲内の効果音等に基づいて総合的に判断される。例えば、サーバ側制御部１０２Ｂは、取得された位置情報から、車両２０Ｂが海沿いを走行していると認識した場合、歌詞に海、波及び砂浜のような海に関連するキーワードが含まれている楽曲と当該位置情報とのマッチングの度合いが高いと判断する。さらにこの場合、サーバ側制御部１０２Ｂは、例えば、楽曲内に波の効果音が挿入されている楽曲と位置情報とのマッチングの度合いが高いと判断する。また、例えば、サーバ側制御部１０２Ｂは、取得された位置情報に基づいて車両２０Ｂが走行している地点を含む周辺の地名を抽出した場合、その地名をテーマにした楽曲又はその地名にゆかりのある歌手が歌っている楽曲と位置情報とのマッチングの度合いが高いと判断する。
The "degree of matching" is comprehensively judged based on the genre of the music, the melody, the lyrics, the sound effects in the music, and the like. For example, when the server-
音楽データとのマッチングの度合いが基準値以上である場合、サーバ側制御部１０２Ｂは、ステップＳ８１５において「Ｙｅｓ」と判定する。次いで、サーバ側制御部１０２Ｂは、ステップＳ８２０において、当該音楽データをフォトアルバムデータに付加する音楽データとして採用する。そして、サーバ側制御部１０２Ｂは、次のステップＳ８２５において、フォトアルバムデータに当該音楽データを付加した後、保管部４３にフォトアルバムデータを保管し、このルーチンの処理を一旦終了する。
When the degree of matching with the music data is equal to or higher than the reference value, the server-
一方、当該音楽データとのマッチングの度合いが基準値未満である場合、サーバ側制御部１０２Ｂは、ステップＳ８１５において「Ｎｏ」と判定する。次いで、サーバ側制御部１０２Ｂは、ステップＳ８３０において、音楽データの候補の中から他の音楽データを選択して、このルーチンの処理を一旦終了する。従って、サーバ側制御部１０２Ｂは、位置情報とのマッチングの度合いが基準値以上の音楽データが見つかるまでこのルーチンを繰り返す。
On the other hand, when the degree of matching with the music data is less than the reference value, the server-
なお、位置情報が付加されたフォトアルバムデータが保管部４３に存在しない場合、サーバ側制御部１０２Ｂは、ステップＳ８０５において「Ｎｏ」と判定して、このルーチンを一旦終了する。
If the photo album data to which the position information is added does not exist in the
このように、フォトアルバム制作装置１０Ｂは音楽データ付加部１８を備える。音楽データ付加部１８は、利用者に複数の楽曲を聴かせたうえで、それぞれの楽曲を利用者が聴いているときに得られた生体情報の違いに基づいて、フォトアルバムデータに付加する音楽データを選択する。
As described above, the photo
このような実施の形態３のフォトアルバム制作装置１０Ｂによれば、フォトアルバムデータに音楽データを付加することができる。さらに、実施の形態３のフォトアルバム制作装置によれば、複数の楽曲を利用者に試聴させているときの利用者の生体情報を取得することにより、利用者の状態を反映した楽曲に対応する音楽データを選択してフォトアルバムデータに付加することができる。
According to the photo
なお、実施の形態３においては、利用者の生体情報に基づいて音楽データの候補が決定され、フォトアルバムデータに付加された位置情報に基づいて音楽データの候補の中から、フォトアルバムデータに付加される音楽データが決定される。しかし、このような方法に限らず、フォトアルバムデータに付加された位置情報に基づいて試聴用音楽データが決定され、生体情報に基づいてフォトアルバムデータに付加される音楽データが決定されてもよい。 In the third embodiment, music data candidates are determined based on the biometric information of the user, and music data candidates are added to the photo album data from the music data candidates based on the position information added to the photo album data. The music data to be played is determined. However, the method is not limited to such a method, and the music data for audition may be determined based on the position information added to the photo album data, and the music data to be added to the photo album data may be determined based on the biological information. ..
より具体的に述べると、例えば、フォトアルバム制作装置は、保管部４３に保管されている、位置情報が付加されたフォトアルバムデータから位置情報を取得する。そして、フォトアルバム制作装置は、当該位置情報と関連する楽曲のデータの１つを試聴用音楽データとして選択し、音楽データ再生部４７を用いて試聴用音楽データを再生させる。
More specifically, for example, the photo album production apparatus acquires the position information from the photo album data to which the position information is added, which is stored in the
フォトアルバム制作装置は、上記試聴用音楽データが再生されているときの利用者の生体情報を取得する。そして、フォトアルバム制作装置は、取得された生体情報と別途取得された非試聴時生体情報とに基づいて音楽データ採用条件が成立するか否かを判定する。音楽データ採用条件が成立した場合、フォトアルバム制作装置は、当該試聴用音楽データをフォトアルバムデータに付加する音楽データとして決定する。 The photo album production device acquires the biometric information of the user when the above-mentioned music data for audition is being played. Then, the photo album production device determines whether or not the music data adoption condition is satisfied based on the acquired biometric information and the separately acquired biometric information at the time of non-listening. When the music data adoption condition is satisfied, the photo album production device determines the music data for audition as music data to be added to the photo album data.
さらに、実施の形態３において、フォトアルバム制作装置１０Ｂは、フォトアルバムデータに付加された位置情報に基づいて試聴用音楽データを選択するだけでなく、車両が実際に走行している地点に関連する音楽データを試聴用音楽データの候補として決定してもよい。
Further, in the third embodiment, the photo
また、実施の形態３において、音楽データは、サーバ３０Ｂの内部に格納されていてもよいし、他の音楽専用サーバからダウンロードすることができるようになっていてもよい。
Further, in the third embodiment, the music data may be stored inside the
また、実施の形態１〜３において、移動体の例として車両を用いて説明したが、移動体は、車両に限定されることはなく、船舶、飛行機等であってもよい。 Further, in the first to third embodiments, the vehicle has been described as an example of the moving body, but the moving body is not limited to the vehicle, and may be a ship, an airplane, or the like.
また、実施の形態１〜３において、生体情報として脈拍、体温、血圧及び皮膚電位の何れか１つが用いられていたが、生体情報として利用者の瞳孔径が用いられてもよい。この場合、生体情報検出器として利用者の瞳孔を撮影するための専用のカメラが設けられてもよいし、内向きカメラ４２ｂが撮影する画像情報が利用されてもよい。
Further, in the first to third embodiments, any one of pulse, body temperature, blood pressure and skin potential is used as the biological information, but the pupil diameter of the user may be used as the biological information. In this case, a dedicated camera for photographing the pupil of the user may be provided as the biological information detector, or the image information photographed by the
また、生体情報として利用者の脳波が用いられてもよい。この場合、生体情報検出器として脳波センサが車両の座席のヘッドレストに設けられてもよいし、利用者が被る帽子に設けられてもよい。 In addition, the user's brain wave may be used as biological information. In this case, the electroencephalogram sensor may be provided on the headrest of the seat of the vehicle as the biological information detector, or may be provided on the hat worn by the user.
また、実施の形態１〜３において、生体情報として脈拍、体温、血圧及び皮膚電位の何れか１つが用いられていたが、脈拍、体温、血圧及び皮膚電位のうちの２つ以上が生体情報として用いられてもよい。また、瞳孔径及び脳波は、脈拍、体温、血圧及び皮膚電位とともに検出されてもよい。つまり、脈拍、体温、血圧、皮膚電位、瞳孔径及び脳波のうちの２つ以上が生体情報として用いられてもよい。 Further, in the first to third embodiments, any one of pulse, body temperature, blood pressure and skin potential is used as biometric information, but two or more of pulse, body temperature, blood pressure and skin potential are used as biometric information. It may be used. Pupil diameter and EEG may also be detected along with pulse, body temperature, blood pressure and skin potential. That is, two or more of pulse, body temperature, blood pressure, skin potential, pupil diameter and brain wave may be used as biological information.
また、画像情報取得条件が成立したか否かの判定方法は、上記の方法に限定されない。例えば、車両側制御部１０１、１０１Ａ及び１０１Ｂは、取得された生体情報の時間変化率が予め設定された変化率以上であるか否かに基づいて画像情報取得条件の成立可否を判定してもよい。
Further, the method for determining whether or not the image information acquisition condition is satisfied is not limited to the above method. For example, the vehicle-
また、実施の形態１〜３において、外向きカメラ４２ａと内向きカメラ４２ｂとは、車両２０に別々に設けられていたが、外向きカメラ４２ａ及び内向きカメラ４２ｂは、一体化されてもよい。さらに、カメラ４２は、外向きカメラ４２ａと内向きカメラ４２ｂの両方の機能を兼ね備えた３６０度カメラであってもよい。
Further, in the first to third embodiments, the
また、外向きカメラ４２ａ及び内向きカメラ４２ｂは、前方監視カメラ又はドライブレコーダのように車両２０に組み付けられたものでもよいし、利用者が車内に持ち込んだ携帯機器に搭載されたカメラであってもよい。
Further, the outward-facing
また、実施形態１〜３において、カメラ４２は外向きカメラ４２ａ及び内向きカメラ４２ｂを有していたが、カメラ４２は外向きカメラ４２ａ及び内向きカメラ４２ｂの何れか１つだけを有していてもよいし、２つ以上の外向きカメラ及び２つ以上の内向きカメラを有していてもよい。
Further, in the first to third embodiments, the
また、実施の形態１〜３において、画像情報には、静止画情報及び動画情報の少なくともいずれか一方が含まれる。 Further, in the first to third embodiments, the image information includes at least one of still image information and moving image information.
また、実施の形態１〜３において、取得される画像情報は、画像情報取得条件が成立した時点及び画像情報取得条件が成立した後の画像情報だけでなく、画像情報取得条件が成立した時点を含む前後の期間に取得される画像情報であってもよい。この場合、画像情報取得部は、例えばバッファメモリを有することにより、画像情報取得条件が成立した時点を含む前後の期間に画像情報を取得することができる。 Further, in the first to third embodiments, the acquired image information includes not only the time when the image information acquisition condition is satisfied and the image information after the image information acquisition condition is satisfied, but also the time when the image information acquisition condition is satisfied. It may be image information acquired in the period before and after including. In this case, the image information acquisition unit can acquire image information in a period before and after the time when the image information acquisition condition is satisfied, for example, by having a buffer memory.
また、実施の形態１〜３の車両側制御部１０１、１０１Ａ及び１０１Ｂ、並びにサーバ側制御部１０２、１０２Ａ及び１０２Ｂの各機能は、処理回路によって実現される。図１２は、実施の形態１〜３の車両側制御部１０１、１０１Ａ及び１０１Ｂ、並びにサーバ側制御部１０２、１０２Ａ及び１０２Ｂの各機能を実現する処理回路の第１の例を示す構成図である。第１の例の処理回路１００は、専用のハードウェアである。
Further, the functions of the vehicle-
また、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。また、車両側制御部１０１、１０１Ａ及び１０１Ｂ、並びにサーバ側制御部１０２、１０２Ａ及び１０２Ｂの各機能それぞれを個別の処理回路１００で実現してもよいし、各機能をまとめて処理回路１００で実現してもよい。
The
また、図１３は、実施の形態１〜３の車両側制御部１０１、１０１Ａ及び１０１Ｂ、並びにサーバ側制御部１０２、１０２Ａ及び１０２Ｂの各機能を実現する処理回路の第２の例を示す構成図である。第２の例の処理回路２００は、プロセッサ２０１及びメモリ２０２を備えている。
Further, FIG. 13 is a configuration diagram showing a second example of a processing circuit that realizes the functions of the vehicle-
処理回路２００では、車両側制御部１０１、１０１Ａ及び１０１Ｂ、並びにサーバ側制御部１０２、１０２Ａ及び１０２Ｂの各機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ２０２に格納される。プロセッサ２０１は、メモリ２０２に記憶されたプログラムを読み出して実行することにより、各機能を実現する。
In the
メモリ２０２に格納されたプログラムは、上述した各部の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２０２とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性又は揮発性の半導体メモリである。また、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等も、メモリ２０２に該当する。
It can be said that the program stored in the
なお、上述した各部の機能について、一部の専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。 The functions of the above-mentioned parts may be realized by a part of dedicated hardware and a part by software or firmware.
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述した各部の機能を実現することができる。 In this way, the processing circuit can realize the functions of the above-mentioned parts by hardware, software, firmware, or a combination thereof.
実施の形態１〜３において、フォトアルバム制作装置１０、１０Ａ及び１０Ｂは、それぞれ車両側制御部１０１、１０１Ａ及び１０１Ｂと、サーバ側制御部１０２、１０２Ａ及び１０２Ｂとに分かれていた。しかし、車両側制御部１０１、１０１Ａ及び１０１Ｂと、サーバ側制御部１０２、１０２Ａ及び１０２Ｂと、はそれぞれ一体であってもよい。この場合、フォトアルバム制作装置１０、１０Ａ及び１０Ｂは、車両に設けられてもよいし、サーバに設けられてもよい。
In the first to third embodiments, the photo
さらに、この場合、車両側制御部１０１とサーバ側制御部１０２の各機能、自車両側制御部１０１Ａとサーバ側制御部１０２Ａの各機能、及び、車両側制御部１０１Ｂとサーバ側制御部１０２Ｂの各機能をそれぞれまとめて処理回路１００又は２００で実現してもよい。
Further, in this case, the functions of the vehicle
１０，１０Ａ，１０Ｂ フォトアルバム制作装置、１１ 生体情報取得部、１２，１２Ａ，１２Ｂ 画像情報取得部、１４，１４Ａ，１４Ｂ 保管制御部、１８ 音楽データ付加部、２０，２０Ｂ 車両（移動体）、２０Ａ 自車両（移動体）、４１ 生体情報検出器、４２ カメラ、４３ 保管部、４５ 外向きカメラ、５０ 他車両（別の移動体）。 10,10A, 10B photo album production device, 11 biometric information acquisition unit, 12,12A, 12B image information acquisition unit, 14,14A, 14B storage control unit, 18 music data addition unit, 20,20B vehicle (mobile body), 20A own vehicle (moving body), 41 biometric information detector, 42 camera, 43 storage unit, 45 outward camera, 50 other vehicle (another moving body).
この発明に係るフォトアルバム制作装置は、移動体に乗っている利用者の生体情報を生体情報検出器から取得する生体情報取得部と、生体情報に基づいて決定した取得タイミングにおける画像情報を、移動体に設けられているカメラから取得する画像情報取得部と、画像情報取得部により取得された画像情報をフォトアルバムデータとして保管部に保管する保管制御部とを備え、移動体とは別の移動体に設けられているカメラからも、取得タイミングにおいて、移動体を含む風景又は移動体の周囲の風景を撮影して得られた画像情報を取得し、保管部に保管する。 The photo album production device according to the present invention moves a biometric information acquisition unit that acquires biometric information of a user on a moving body from a biometric information detector and image information at an acquisition timing determined based on the biometric information. comprising an image information acquisition unit that acquires from a camera provided to the body, and a storing storage control unit the acquired image information to the storage unit as a photo album data by the image information acquisition unit, the movement different from the mobile From the camera provided on the body, the image information obtained by photographing the landscape including the moving body or the scenery around the moving body is acquired at the acquisition timing and stored in the storage unit.
Claims (6)
前記生体情報に基づいて決定した取得タイミングにおける画像情報を、前記移動体に設けられているカメラから取得する画像情報取得部と、
前記画像情報取得部により取得された画像情報をフォトアルバムデータとして保管部に保管する保管制御部と、
を備えたフォトアルバム制作装置。 A biometric information acquisition unit that acquires biometric information of a user on a moving object from a biometric information detector,
An image information acquisition unit that acquires image information at an acquisition timing determined based on the biological information from a camera provided on the moving body, and an image information acquisition unit.
A storage control unit that stores the image information acquired by the image information acquisition unit as photo album data in the storage unit, and
Photo album production device equipped with.
脈拍、体温、血圧及び皮膚電位の少なくともいずれか１つの情報を含む、
請求項１に記載のフォトアルバム制作装置。 The biological information is
Contains information on at least one of pulse, body temperature, blood pressure and skin potential,
The photo album production apparatus according to claim 1.
請求項１又は請求項２に記載のフォトアルバム制作装置。 Image information at the acquisition timing is also acquired from a camera provided in a moving body other than the moving body, and stored in a storage unit.
The photo album production apparatus according to claim 1 or 2.
請求項１から請求項３までのいずれか１項に記載のフォトアルバム制作装置。 A music data addition unit for adding music data to the photo album data is further provided.
The photo album production apparatus according to any one of claims 1 to 3.
前記利用者に複数の楽曲を聴かせたうえで、それぞれの前記楽曲を前記利用者が聴いているときに得られた前記生体情報の違いに基づいて、前記フォトアルバムデータに付加する音楽データを選択する請求項４に記載のフォトアルバム制作装置。 The music data addition unit
After having the user listen to a plurality of songs, music data to be added to the photo album data is added based on the difference in the biological information obtained when the user is listening to each of the songs. The photo album production apparatus according to claim 4 to be selected.
前記生体情報に基づいて決定した取得タイミングにおける画像情報を、前記移動体に設けられているカメラから取得する画像情報取得処理と、
前記画像情報取得処理により取得された画像情報をフォトアルバムデータとして保管部に保管する保管制御処理と、
をコンピュータに実行させるフォトアルバム制作プログラム。 Biological information acquisition processing that acquires the biometric information of the user on the moving object from the biometric information detector,
Image information acquisition processing for acquiring image information at the acquisition timing determined based on the biological information from a camera provided on the moving body, and
A storage control process for storing the image information acquired by the image information acquisition process as photo album data in the storage unit, and
A photo album production program that lets a computer execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019173629A JP6945939B2 (en) | 2019-09-25 | 2019-09-25 | Photo album production equipment and photo album production program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019173629A JP6945939B2 (en) | 2019-09-25 | 2019-09-25 | Photo album production equipment and photo album production program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021051521A true JP2021051521A (en) | 2021-04-01 |
| JP6945939B2 JP6945939B2 (en) | 2021-10-06 |
Family
ID=75157961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019173629A Active JP6945939B2 (en) | 2019-09-25 | 2019-09-25 | Photo album production equipment and photo album production program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6945939B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002193150A (en) * | 2000-12-22 | 2002-07-10 | Sony Corp | On-vehicle device, automobile and information processing method |
| JP2008018853A (en) * | 2006-07-13 | 2008-01-31 | Denso It Laboratory Inc | Information recording device, information recording method and program |
| JP2008039573A (en) * | 2006-08-04 | 2008-02-21 | Denso Corp | Memory information presentation system |
| JP2009141920A (en) * | 2007-12-11 | 2009-06-25 | Sony Corp | Information processing apparatus, information processing method, and program |
| JP2015230519A (en) * | 2014-06-03 | 2015-12-21 | 株式会社デンソー | Vehicle memory sharing system, on-vehicle device, and memory sharing program |
| JP2017177830A (en) * | 2016-03-28 | 2017-10-05 | 株式会社電通 | Expression recording system |
| JP2017194950A (en) * | 2016-02-29 | 2017-10-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | Multi-media capture system and method |
-
2019
- 2019-09-25 JP JP2019173629A patent/JP6945939B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002193150A (en) * | 2000-12-22 | 2002-07-10 | Sony Corp | On-vehicle device, automobile and information processing method |
| JP2008018853A (en) * | 2006-07-13 | 2008-01-31 | Denso It Laboratory Inc | Information recording device, information recording method and program |
| JP2008039573A (en) * | 2006-08-04 | 2008-02-21 | Denso Corp | Memory information presentation system |
| JP2009141920A (en) * | 2007-12-11 | 2009-06-25 | Sony Corp | Information processing apparatus, information processing method, and program |
| JP2015230519A (en) * | 2014-06-03 | 2015-12-21 | 株式会社デンソー | Vehicle memory sharing system, on-vehicle device, and memory sharing program |
| JP2017194950A (en) * | 2016-02-29 | 2017-10-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | Multi-media capture system and method |
| JP2017177830A (en) * | 2016-03-28 | 2017-10-05 | 株式会社電通 | Expression recording system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6945939B2 (en) | 2021-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102225411B1 (en) | Command processing using multimode signal analysis | |
| US10860645B2 (en) | Systems and methods for creation of a listening log and music library | |
| JP4609527B2 (en) | Automotive information provision system | |
| US10650827B2 (en) | Communication method, and electronic device therefor | |
| US20130177296A1 (en) | Generating metadata for user experiences | |
| JP5045302B2 (en) | Automotive information provision device | |
| US20040003706A1 (en) | Music search system | |
| ES2276532T3 (en) | INFORMATION PROCESSING DEVICE. | |
| US20170300291A1 (en) | Apparatus for recording audio information and method for controlling same | |
| JP2008092193A (en) | Sound source selecting device | |
| JP2003140664A (en) | Audio reproducing device and information providing device, and audio reproducing program and information reproducing program | |
| JPWO2010131333A1 (en) | Content search device, content search method, content search program, and recording medium | |
| JP4653684B2 (en) | Navigation system and navigation method | |
| JP6945939B2 (en) | Photo album production equipment and photo album production program | |
| JP2008039573A (en) | Memory information presentation system | |
| US9791925B2 (en) | Information acquisition method, information acquisition system, and non-transitory recording medium for user of motor vehicle | |
| US20130332166A1 (en) | Processing apparatus, processing system, and output method | |
| JP2018133696A (en) | In-vehicle device, content providing system, and content providing method | |
| JP2005049773A (en) | Music reproducing device | |
| US20200372924A1 (en) | Determining musical style using a variational autoencoder | |
| JP6387287B2 (en) | Unknown matter resolution processing system | |
| JP2019092077A (en) | Recording control device, recording control method, and program | |
| JP2008197598A (en) | System, method, and program for making drive information into knowledge | |
| JP2010262424A (en) | Onboard camera system | |
| TWI633784B (en) | Multimedia playing method and system for moving vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210914 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6945939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |