JP2005065861A - Cognitive load measuring device - Google Patents

Cognitive load measuring device Download PDF

Info

Publication number
JP2005065861A
JP2005065861A JP2003297809A JP2003297809A JP2005065861A JP 2005065861 A JP2005065861 A JP 2005065861A JP 2003297809 A JP2003297809 A JP 2003297809A JP 2003297809 A JP2003297809 A JP 2003297809A JP 2005065861 A JP2005065861 A JP 2005065861A
Authority
JP
Japan
Prior art keywords
time
cognitive load
stop time
recognition
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003297809A
Other languages
Japanese (ja)
Inventor
Hideaki Nemoto
英明 根本
Satoru Hirose
悟 広瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003297809A priority Critical patent/JP2005065861A/en
Publication of JP2005065861A publication Critical patent/JP2005065861A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To measure accurate cognitive loads according to conditions of a person being a measuring object without burdening the person. <P>SOLUTION: At the time of calculating the cognitive loads required by the person being the measuring object to recognize an object, observing point coordinate data indicating the observing point coordinates of the person are calculated by an observing point detection part 11 and blinking data indicating the presence/absence of the blinking action of the measuring object person are calculated by a blinking state detection part 12. Then, in the cognitive load computing part 3, by a stop time data sorting part 25, stop time data indicating the time during which the observing point is stopped are calculated by using two or more pieces of observing point coordinate data, and the stop time data are sorted into the stop time data at the time of individual recognition in the case that the measuring object person recognizes an individual object and the stop time data at the time of space recognition in the case that the measuring object person recognizes a space structure on the basis of the blinking data. By a cognitive load index calculation part 30, the ratio of the stop time data at the time of the individual recognition and the stop time data at the time of the space recognition is obtained and the cognitive loads are calculated. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、例えば車両を運転する運転者等により周囲の物体を認知するのに要する認知負荷を計測する認知負荷計測装置に関する。   The present invention relates to a cognitive load measuring device that measures a cognitive load required to recognize a surrounding object by, for example, a driver driving a vehicle.

従来より、車両の運転者の認知負荷を計測するための技術としては、下記の特許文献1に記載された自動車の運転者の適性検査装置が知られている。   2. Description of the Related Art Conventionally, as a technique for measuring the cognitive load of a vehicle driver, an aptitude inspection device for an automobile driver described in Patent Document 1 below is known.

この特許文献1に記載された自動車の運転者の適性検査装置は、アクセルペダルに相当するスイッチ、ブレーキペダルに相当するスイッチ及びカラー表示装置を備える。そして、この自動車の運転者の適性検査装置では、運転者の認知時間や応答時間を計測するに際して、前記カラー表示装置に赤,黄,青の交通信号に相当する図形をランダムな順序、ランダムな時間間隔で表示させ、黄信号を表示させた時刻からアクセルペダルに相当するスイッチが開放された時刻までの認知時間、赤信号を表示させた時刻からアクセルペダルに相当するスイッチを開放するまでの認知時間、及びアクセルペダルに相当するスイッチを開放した時刻からブレーキペダルに相当するスイッチを操作する時刻までの応答時間を計測する。   The automobile driver aptitude checking device described in Patent Document 1 includes a switch corresponding to an accelerator pedal, a switch corresponding to a brake pedal, and a color display device. In this vehicle driver aptitude test device, when measuring the driver's recognition time and response time, the color display device is arranged in a random order, with random figures corresponding to red, yellow and blue traffic signals. Recognition at the time interval, recognition time from the time when the yellow signal is displayed until the time when the switch corresponding to the accelerator pedal is released, recognition until the time when the switch corresponding to the accelerator pedal is released from the time when the red signal is displayed The response time from the time when the switch corresponding to the accelerator pedal is released to the time when the switch corresponding to the brake pedal is operated is measured.

次に、この自動車の運転者の適性検査装置は、計測終了後、各認知時間、応答時間のそれぞれについて平均値、標準偏差、最大値、変動指数等を求めることにより、各認知時間や応答時間の変動傾向の大きさを示す指標を演算することにより、運転者の適性検査を行っていた。
特許第3100066号
Next, this car driver aptitude test device calculates the average value, standard deviation, maximum value, variation index, etc. for each recognition time and response time after the measurement is completed. The driver's aptitude test was performed by calculating an index indicating the magnitude of the fluctuation tendency.
Patent No. 3100066

しかしながら、上述した従来の自動車の運転者の適性検査装置では、交通信号に相当する表示を行うことにより運転操作を疑似体験させる装置を用いて、運転者の認知時間や応答時間を算出し、当該認知時間や応答時間のばらつきを認知能力の一指標として運転者の特性を求めている。したがって、従来の自動車の運転者の適性検査装置では、運転者の認知能力を運転シミュレータ上で計測するのみであって、実際に道路上を運転している場合とは運転者の緊張度が異なり、計測した認知能力が実際の運転時の認知能力とは異なるという問題点があった。   However, in the above-described conventional aptitude test device for a driver of a car, a driver's recognition time and response time are calculated using a device that simulates a driving operation by performing a display corresponding to a traffic signal. The characteristics of the driver are obtained by using the variation of cognitive time and response time as an index of cognitive ability. Therefore, in the conventional car driver aptitude test device, the driver's cognitive ability is only measured on the driving simulator, and the driver's tension is different from that when actually driving on the road. There was a problem that the measured cognitive ability was different from the actual cognitive ability during driving.

また、運転者の認知能力は車両周囲の状況によって時々刻々と変化するものであるが、従来の自動車の運転者の適性検査装置では、認知時間や応答時間の変化を示すデータから運転者の認知能力の変動を判断する場合であっても、実際の運転時とは環境が異なるという問題点があった。   In addition, the driver's cognitive ability changes from moment to moment depending on the situation around the vehicle, but conventional car driver aptitude test devices recognize the driver's perception from data indicating changes in recognition time and response time. Even when judging fluctuations in capacity, there is a problem that the environment is different from that during actual driving.

更に、上述の従来の技術を実際の運転時に適用しようとすると、表示画面上に交通信号を提示する必要があり、運転行為中に認知時間や応答時間を計測するため交通信号を提示しなければならないという問題点があった。   Furthermore, when applying the above-described conventional technology during actual driving, it is necessary to present a traffic signal on the display screen, and it is necessary to present a traffic signal for measuring the recognition time and response time during driving action. There was a problem of not becoming.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、計測対象者に負荷を与えることなく、計測対象者の状況に応じた正確な認知負荷を計測することができる認知負荷計測装置を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above-described situation, and the cognitive load measurement capable of measuring an accurate cognitive load according to the situation of the measurement target person without imposing a load on the measurement target person. An object is to provide an apparatus.

本発明に係る認知負荷計測装置では、計測対象者が物体を認知するのに要する認知負荷を算出するに際して、注視点座標算出手段により計測対象者の注視点座標を示す注視点座標データを算出し、瞬目行為算出手段により計測対象者の瞬目行為の有無を示す瞬目データを算出する。そして、この認知負荷計測装置では、停留時間算出手段により注視点座標算出手段により算出された複数の注視点座標データを用いて、注視点が停留している時間を示す停留時間データを算出する。次に認知負荷計測装置では、認知負荷算出手段により、瞬目行為算出手段により算出された瞬目データに基づいて、停留時間算出手段により算出された停留時間データを、計測対象者が個別の物体を認識する場合の個別認識時の停留時間データと、計測対象者が空間構造を認識する場合の空間認識時の停留時間データとに選別し、前記個別認識時の停留時間データと前記空間認識時の停留時間データとを用いて認知負荷を算出することにより、上述の課題を解決する。   In the cognitive load measuring device according to the present invention, when calculating the cognitive load required for the measurement subject to recognize the object, the gaze point coordinate data indicating the gaze point coordinate of the measurement subject is calculated by the gazing point coordinate calculation means. The blink data indicating the presence or absence of the blink action of the measurement subject is calculated by the blink action calculating means. And in this cognitive load measuring device, the stop time data which shows the time when the gazing point has stopped is calculated using the plurality of gazing point coordinate data calculated by the gazing point coordinate calculating unit by the stop time calculating unit. Next, in the cognitive load measuring device, the measurement target person uses the cognitive load calculating means to calculate the stop time data calculated by the stop time calculating means based on the blink data calculated by the blink action calculating means. Are classified into the stop time data at the time of individual recognition when recognizing and the stop time data at the time of spatial recognition when the measurement subject recognizes the spatial structure, and the stop time data at the time of individual recognition and the time of spatial recognition The above-mentioned problem is solved by calculating the cognitive load using the stop time data.

本発明に係る認知負荷計測装置によれば、注視点座標データと瞬目データから、個別認識時の停留時間データ及び空間認識時の停留時間データを算出して、当該各停留時間データに基づいて計測対象者の認知負荷を算出するので、計測対象者に対して非接触での認知負荷の計測を可能とし、計測時の計測対象者への負荷が軽減できる。したがって、この認知負荷計測装置によれば、計測対象者が周囲の単一物体を認識するときや空間構成を認識するときの眼状態の特性を利用して、計測対象者に負荷を与えることなく正確に認知負荷を計測することができる。   According to the cognitive load measuring device according to the present invention, the stop time data at the time of individual recognition and the stop time data at the time of spatial recognition are calculated from the gazing point coordinate data and the blink data, and based on the respective stop time data. Since the measurement subject's cognitive load is calculated, it is possible to measure the cognitive load in a non-contact manner with respect to the measurement subject, and the load on the measurement subject during measurement can be reduced. Therefore, according to this cognitive load measuring device, the measurement target person uses the characteristics of the eye state when recognizing a surrounding single object or when recognizing the spatial configuration without applying a load to the measurement target person. The cognitive load can be accurately measured.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明は、例えば図1に示すように構成された認知負荷計測装置に適用される。   The present invention is applied to a cognitive load measuring device configured as shown in FIG. 1, for example.

[認知負荷を計測するための原理]
先ず、本発明を適用した認知負荷計測装置の構成を説明する前に、計測対象者が物体を認知するときの認知負荷を計測するための原理について説明する。ここで、計測対象者の瞬目行為は、3種類ある。すなわち、瞬目行為は、被験者の意志の関与が明確なときの瞬目であって意識的に目を閉じたり合図に合わせて閉じる瞬目随意性瞬目、外的反射誘発刺激が明確なときの瞬目であってゴミなどの異物が目に入らないように防御したり、急な物音や光などによって驚いたときに反射的に眼瞼を閉じる瞬目である反射性瞬目、随意的でもなく外的反射誘発刺激を特定できない瞬目であって計測対象者の認知や心理の状態と深く関わっている自発性瞬目がある。
[Principle for measuring cognitive load]
First, before explaining the configuration of the cognitive load measuring apparatus to which the present invention is applied, the principle for measuring the cognitive load when the measurement subject recognizes an object will be explained. Here, there are three types of blink actions of the measurement subject. In other words, a blink action is a blink when the subject's will is clearly involved, and when the blink is voluntarily closed or closed in accordance with a signal, or when an external reflex-induced stimulus is clear Reflexive blinking, which is a blink that closes the eyelid reflexively when it is surprised by sudden noise or light, etc. There are also spontaneous blinks that are not closely related to external reflex-induced stimuli and are deeply related to the perception and psychological state of the measurement subject.

これに対し、本発明を適用した認知負荷計測装置では、3種類の瞬目行為のうち、認知や心理の状態が反映される自発性瞬目に着目したものである。   On the other hand, in the cognitive load measuring device to which the present invention is applied, attention is paid to the spontaneous blink that reflects the state of cognition and psychology among the three types of blink actions.

この自発性瞬目の特徴としては、(1)視覚情報に注意・関心が向けられているときの瞬目率低下、(2)思考活動に意識が向けられているときの瞬目率増加、(3)認知判断終了時の瞬目、(4)疲労時の群発瞬目発生率の増加がある。   The features of this spontaneous blink include (1) a decrease in the blink rate when attention and attention are directed to visual information, (2) an increase in the blink rate when awareness is directed to thinking activities, (3) There is a blink at the end of recognition judgment, and (4) an increase in the occurrence rate of cluster blinks during fatigue.

すなわち、本発明は、図1に示すように、計測対象者の視線移動行為と瞬目行為との関係に着目して認知負荷を計測する認知負荷計測装置に適用される。そして、この認知負荷計測装置は、計測対象者が物体を注視した後の瞬目行為の有無と、計測対象者が物体を注視した後の視線移動行為の有無との関係により、視線移動行為を行う直前の注視状態を区分している。   That is, the present invention is applied to a cognitive load measuring device that measures the cognitive load by paying attention to the relationship between the gaze movement action and the blink action of the measurement subject as shown in FIG. And this cognitive load measuring device performs a gaze movement act by the relationship between the presence or absence of the blink action after the measurement subject gazes at the object and the presence or absence of the gaze movement act after the measurement subject gazes at the object. The state of gaze immediately before performing is divided.

図1によれば、物体注視後の瞬目行為が有る場合であって注視後の視線移動行為が有る場合には、当該注視行為が物体自体を認識するためのものであって、例えば道路標識を読んだり、他車又は人等を認識するための注視行為である。これは、上述の自発性瞬目のうち(3)であり、注視対象を認識した後の瞬目行為に相当する。   According to FIG. 1, when there is a blink action after gaze of an object and there is a gaze movement action after gaze, the gaze action is for recognizing the object itself, for example, a road sign It is a gaze act to read or recognize other cars or people. This is (3) of the above-mentioned spontaneous blink and corresponds to the blink action after recognizing the gaze target.

また、物体注視後の瞬目行為が有る場合であって注視後の視線移動行為が無い場合には、単位時間当たりの瞬目行為の頻度が高く、計測対象者の思考負荷が高い状態である。これは、上述の自発性瞬目のうち(2)に相当する。   In addition, when there is a blink action after gaze and there is no gaze movement action after gaze, the blink action frequency per unit time is high and the measurement subject's thinking load is high . This corresponds to (2) of the spontaneous blinks described above.

更に、物体注視後の瞬目行為が無い場合であって注視後の視線移動行為が無い場合には、単位時間当たりの瞬目行為の頻度が低く、注視対象物に対する注意や関心が高い状態である。これは、上述の自発性瞬目のうち(1)に相当する。   In addition, when there is no blink action after gaze and there is no eye movement after gaze, the frequency of blink action per unit time is low, and attention and interest in the gaze object is high. is there. This corresponds to (1) of the spontaneous blinks described above.

更にまた、物体注視後の瞬目行為が無い場合であって注視後の視線移動行為が有る場合には、当該注視行為が物体の位置関係(空間全体)を認識するためのものである。これは、上述の自発性瞬目のうち(3)であり、空間全体の認識途中の視線移動で、空間全体の認識が終了していない状態に相当する。   Furthermore, when there is no blink action after gaze of the object and there is gaze movement action after gaze, the gaze action is for recognizing the positional relationship (the whole space) of the object. This is (3) of the spontaneous blink described above, and corresponds to a state in which the recognition of the entire space is not completed by the line of sight movement during the recognition of the entire space.

この自発性瞬目のうち(3)の特徴は、認知判断終了時に瞬目が生じる特性を含む。すなわち、計測対象者が、ある一つの対象物を認識終了と同時に瞬目が生じる確率が著しく増加する。例えば、運転中に道路標識の内容を認識したり、路肩を歩いている人の特徴を認識したりした後、瞬目生起率が高い。これはひとつの対象を認識した後、別の対象を認識するために視覚情報をリセットするためと考えられている。   Among the spontaneous blinks, the feature (3) includes a characteristic that causes blinks at the end of recognition determination. That is, the probability that the measurement target person will blink immediately after the recognition of a certain target object is significantly increased. For example, after recognizing the contents of a road sign during driving or recognizing the characteristics of a person walking on the shoulder, the blink occurrence rate is high. This is considered to reset visual information in order to recognize another object after recognizing one object.

また、計測対象者により認識する対象が、個別の単体の物体ではなく、相対的な位置把握(空間構成や空間構造)である場合、各物体の位置関係を認識するために視線移動が行われるが、位置関係が把握されたときに瞬目が生じる。別の見方をすると、位置関係を把握するまで瞬目が生じる確率は低くなる。例えば、前方の道路形状を把握するための視線移動や、路肩にいる人の位置を把握している行為中において、計測対象者は、視線移動が行われるものの連続性のある一つの対象として認識しようとしているため、瞬目の生起率は低い。   In addition, when the object to be recognized by the measurement subject is not an individual single object but a relative position grasp (spatial configuration or spatial structure), the line of sight is moved to recognize the positional relationship of each object. However, blinking occurs when the positional relationship is grasped. From another viewpoint, the probability that a blink will occur until the positional relationship is grasped becomes low. For example, during the movement of the line of sight to grasp the shape of the road ahead or the action of grasping the position of the person on the shoulder, the measurement subject is recognized as one continuous object of the movement of the line of sight. Because it is going to happen, the incidence of blinking is low.

したがって、この認知負荷計測装置では、認知負荷を計測するために、物体注視後の瞬目行為が無い場合であって注視後の視線移動行為が有る場合、すなわち上述の自発性瞬目のうち(3)の、空間全体の認識途中の視線移動で空間全体の認識が終了していない状態となる特徴を利用する。ここで、認知負荷計測装置では、図2に示すように、瞬目生起頻度と、瞬目を伴わない飛越眼球運動が行われて、その後に瞬目行為が発生する直前の注視点停留時間T1との関係を計測する。   Therefore, in this cognitive load measuring device, in order to measure the cognitive load, when there is no blink action after gaze of the object and there is gaze movement action after gaze, that is, among the spontaneous blinks described above ( The feature of 3) is that the recognition of the entire space is not completed by the line-of-sight movement during the recognition of the entire space. Here, in the cognitive load measuring device, as shown in FIG. 2, the eye-gaze occurrence frequency and the eye-gaze stop time T1 immediately before the blinking action occurs after the blinking eye movement without blinking is performed. Measure the relationship.

また、上述したように、あるひとつの視認対象を認識した後に認知判断終了の瞬目が生じる確率が高くなる。したがって、注視点の停留状態から瞬目を伴う飛越眼球運動が生じたときには、道路標識等の停留した物体を視認対象として認識している確率が高くなるため、飛越眼球運動が行われる直前の停留時間が認知のために用いられた時間であると考えられる。しかしながら、瞬目の生起はあくまでも確率的な要素が含まれる。このため、認知負荷計測装置では、停留時間を統計的に処理し、最も瞬目行為が生起する頻度の高い停留時間を認知負荷として抽出する。   In addition, as described above, the probability that a blink at the end of recognition determination occurs after a certain visual recognition target is recognized increases. Therefore, when there is a jumping eye movement with blinks from the stop state of the gazing point, the probability of recognizing a stationary object such as a road sign as a visual target is high, so the stop immediately before the jumping eye movement is performed. Time is considered to be the time used for recognition. However, the occurrence of blinking includes a stochastic element to the last. For this reason, in the cognitive load measuring device, the stop time is statistically processed, and the stop time with the highest frequency of the blink action is extracted as the cognitive load.

したがって、この認知負荷計測装置では、認知負荷を計測するために、物体注視後の瞬目行為が有る場合であって注視後の視線移動行為が有る場合、すなわち上述の自発性瞬目のうち(3)の注視対象の物体自体を認識した後の瞬目行為の特徴を利用する。ここで、認知負荷計測装置では、図2に示すように、瞬目生起頻度と、瞬目を伴う飛越眼球運動直前の注視点停留時間T2との関係を計測する。これにより、認知負荷計測装置では、計測対象者が物体を注視する時間に対する瞬目行為が発生する頻度を計測する。   Therefore, in this cognitive load measuring device, in order to measure the cognitive load, when there is a blink action after gaze and there is a gaze movement action after gaze, that is, among the spontaneous blinks described above ( The feature of the blink action after recognizing the gaze target object itself in 3) is used. Here, in the cognitive load measuring device, as shown in FIG. 2, the relationship between the blink occurrence frequency and the gazing point retention time T2 immediately before the jumping eye movement accompanied by the blink is measured. Thereby, in the cognitive load measuring device, the frequency with which the blink action occurs with respect to the time when the measurement target person gazes at the object is measured.

そして、この認知負荷計測装置では、空間認識時の停留時間T1と、個別物体認識時の停留時間T2との停留時間の比率を演算することにより、認知負荷の余裕代を算出する。ここで、空間認識に要する計測対象者の負荷と、個別物体認識に要する計測対象者の負荷とは異なる。すなわち、認知能力が低く認知負荷が高い運転者にとっては、難易度の異なった認知課題を与えた場合の負荷が異なることによって、空間認識時の停留時間T1と、個別物体認識時の停留時間T2との停留時間の比率が高くなる。   In this cognitive load measuring device, the margin of cognitive load is calculated by calculating the ratio of the stop time between the stop time T1 at the time of space recognition and the stop time T2 at the time of individual object recognition. Here, the load of the measurement subject required for space recognition is different from the load of the measurement subject required for individual object recognition. That is, for a driver with a low cognitive ability and a high cognitive load, the load when the cognitive task with different difficulty is given is different, so that the stop time T1 at the time of space recognition and the stop time T2 at the time of individual object recognition And the ratio of the stop time becomes higher.

[認知負荷計測装置の構成]
つぎに、上述したような認知負荷を計測するための原理に基づいて、計測対象者が車両を運転している時の認知負荷を計測して、計測対象者が視認する情報表示位置の制御に反映させる認知負荷計測装置について説明する。
[Configuration of cognitive load measurement device]
Next, based on the principle for measuring the cognitive load as described above, the cognitive load when the measurement subject is driving the vehicle is measured to control the information display position visually recognized by the measurement subject. The cognitive load measuring device to be reflected will be described.

この認知負荷計測装置は、図3に示すように、計測対象者の眼球部分を撮像可能な位置に設けられた眼状態計測部1、車両駆動部分に接続された車速センサ2、例えば車両のインストルメントパネル内に設けられた認知負荷演算部3、ナビゲーションシステム4及び表示タイミング演算部5、計測対象者から視認可能な位置に設けられた表示装置6を備えて構成されている。   As shown in FIG. 3, the cognitive load measuring device includes an eye state measuring unit 1 provided at a position where an eyeball portion of a measurement subject can be imaged, a vehicle speed sensor 2 connected to a vehicle driving portion, such as a vehicle instrument. A recognition load calculation unit 3, a navigation system 4, a display timing calculation unit 5, and a display device 6 provided at a position that can be viewed from a measurement target person.

眼状態計測部1は、計測対象者である運転者の注視点位置及び瞬目状態を計測する。この眼状態計測部1は、赤外線角膜反射や、画像処理を行って注視点位置及び瞬目状態を計測する。   The eye state measurement unit 1 measures the gaze point position and the blink state of the driver who is the measurement target. The eye state measuring unit 1 performs infrared corneal reflection and image processing to measure a gazing point position and a blink state.

これにより、眼状態計測部1は、時間軸に従った注視点座標データ及び瞬目データを作成して、認知負荷演算部3に送る。なお、眼状態計測部1は、注視点座標データと瞬目データと個別に計測処理しても良く、視線移動信号のみを計測して当該視線移動信号が所定の値になったときに瞬目状態であると判断して瞬目データを抽出しても良い。   As a result, the eye state measurement unit 1 creates gaze point coordinate data and blink data according to the time axis and sends the data to the cognitive load calculation unit 3. Note that the eye state measurement unit 1 may perform measurement processing separately on the gazing point coordinate data and the blink data, and only measures the line-of-sight movement signal and blinks when the line-of-sight movement signal reaches a predetermined value. The blink data may be extracted based on the determination of the state.

また、車速センサ2は、自車両が走行しているか否かを示す車速データを作成して、認知負荷演算部3に送る。   Further, the vehicle speed sensor 2 creates vehicle speed data indicating whether or not the host vehicle is traveling, and sends the vehicle speed data to the cognitive load calculation unit 3.

認知負荷演算部3は、眼状態計測部1からの注視点座標データ及び瞬目データ、車速センサ2からの車速データを用いて、計測対象者の運転時の認知負荷を演算する。なお、この認知負荷演算部3の処理内容については後述する。   The cognitive load calculation unit 3 uses the gaze point coordinate data and blink data from the eye state measurement unit 1 and the vehicle speed data from the vehicle speed sensor 2 to calculate the cognitive load during driving of the measurement subject. The processing content of the cognitive load calculation unit 3 will be described later.

ナビゲーションシステム4は、認知負荷計測装置が搭載されている車両の現在位置や、道路渋滞等の交通状況情報や、推奨経路の走行を促すための走行案内情報を算出する。そして、このナビゲーションシステム4は、運転者に提示する交通状況情報や走行案内情報を表示タイミング演算部5に送る。   The navigation system 4 calculates the current position of the vehicle on which the cognitive load measuring device is mounted, traffic condition information such as road traffic congestion, and travel guidance information for promoting travel on the recommended route. Then, the navigation system 4 sends traffic condition information and travel guidance information presented to the driver to the display timing calculation unit 5.

表示タイミング演算部5は、表示装置6にナビゲーションシステム4から送られた交通状況情報や走行案内情報を表示させるに際して、認知負荷演算部3によって演算された認知負荷に基づいて、各情報の表示タイミングを演算する。具体的には、計測対象者の認知負荷が高い場合には、表示内容を容易に視認させるために、限られた時間内において認知可能な情報量が少ないため、特に交差点等のナビゲーションシステム4により提示する情報量が多い状況では、表示タイミング演算部5により、優先順位の低い情報の表示タイミングを、優先順位が高い情報の表示タイミングよりも遅くして表示装置6に表示させる。   The display timing calculation unit 5 displays each information display timing based on the cognitive load calculated by the cognitive load calculation unit 3 when displaying the traffic situation information and the travel guide information sent from the navigation system 4 on the display device 6. Is calculated. Specifically, when the measurement subject's cognitive load is high, the amount of information that can be recognized within a limited time is small in order to make the display content easily visible. In a situation where the amount of information to be presented is large, the display timing calculation unit 5 causes the display device 6 to display the display timing of information with a low priority order later than the display timing of information with a high priority order.

「認知負荷演算部3の機能的な構成」
このような認知負荷計測装置において、認知負荷演算部3は、図4に示すような機能的な構成を有している。
"Functional configuration of cognitive load calculation unit 3"
In such a cognitive load measuring device, the cognitive load calculation unit 3 has a functional configuration as shown in FIG.

ここで、眼状態計測部1は、例えばアイトラッカシステムによって構成されることにより、注視点座標データを作成する注視点検出部11と瞬目データを作成する瞬目状態検出部12とを有している。   Here, the eye state measurement unit 1 includes, for example, an eye tracker system, and thus includes a gazing point detection unit 11 that generates gazing point coordinate data and a blink state detection unit 12 that generates blink data. ing.

認知負荷演算部3は、図示しないROM(Read Only Memory)等に認知負荷を演算するためのプログラムデータを記憶しておき、当該プログラムデータをCPU(Central Processing Unit)により実行することにより、図4に示す各部を有する。すなわち、認知負荷演算部3は、注視点検出部11と接続された注視点移動量算出部21、注視点停留状態判断部22、瞬目状態検出部12と接続された瞬目有無判断部23、停留時間算出部24、車速センサ2と接続された停留時間データ選別部25、個別認識停留時間データ記憶部26、個別認識停留時間データ頻度分布演算部27、空間認識停留時間データ記憶部28、空間認識停留時間データ頻度分布演算部29、認知負荷指標算出部30を有する。   The cognitive load calculation unit 3 stores program data for calculating the cognitive load in a ROM (Read Only Memory) or the like (not shown), and the program data is executed by a CPU (Central Processing Unit), so that FIG. It has each part shown in. That is, the cognitive load calculation unit 3 includes a gaze point movement amount calculation unit 21 connected to the gaze point detection unit 11, a gaze point stop state determination unit 22, and a blink presence determination unit 23 connected to the blink state detection unit 12. A stop time calculation unit 24, a stop time data selection unit 25 connected to the vehicle speed sensor 2, an individual recognition stop time data storage unit 26, an individual recognition stop time data frequency distribution calculation unit 27, a space recognition stop time data storage unit 28, It has a space recognition stationary time data frequency distribution calculation unit 29 and a cognitive load index calculation unit 30.

注視点移動量算出部21は、注視点検出部11から時間的に前後する複数の注視点座標データが送られると、各注視点の移動量を示すデータを算出して、注視点停留状態判断部22に送る。この各注視点の移動量を示すデータは、各注視点座標データ間の単位時間当たりの移動距離を示す。   When a plurality of gazing point coordinate data that are temporally forward and backward are sent from the gazing point detection unit 11, the gazing point movement amount calculation unit 21 calculates data indicating the movement amount of each gazing point, and determines the gazing point stop state determination. Send to part 22. The data indicating the movement amount of each gazing point indicates the movement distance per unit time between the gazing point coordinate data.

注視点停留状態判断部22は、注視点移動量算出部21から各注視点の移動量を示すデータが送られると、各注視点間における停留状態を判断する。このとき、注視点停留状態判断部22では、通常、計測対象者が視認対象を認識するに際して、各注視点が微小な動きをするため、単位時間当たりの動きが所定値以下の場合には停留していると判断する。これにより、注視点停留状態判断部22は、各注視点座標データごとに停留状態での注視点であるか否かを判断する。そして、注視点停留状態判断部22は、注視点座標データ及び停留判断結果を瞬目有無判断部23及び停留時間算出部24に送る。   When the data indicating the movement amount of each gazing point is sent from the gazing point movement amount calculation unit 21, the gazing point stasis state determination unit 22 determines the stasis state between the gazing points. At this time, the gazing point stop state determination unit 22 normally moves each gazing point slightly when the measurement subject recognizes the visual recognition target, so that the gazing point suspending state determination unit 22 stops when the movement per unit time is a predetermined value or less. Judge that you are doing. Thereby, the gazing point stationary state determination unit 22 determines whether or not the gazing point is in the stationary state for each gazing point coordinate data. Then, the gazing point stop state determination unit 22 sends the gazing point coordinate data and the stop determination result to the blink presence / absence determination unit 23 and the stop time calculation unit 24.

瞬目有無判断部23は、瞬目状態検出部12から時間的に前後する複数の瞬目データが送られ、注視点停留状態判断部22から注視点座標データが送られると、注視点が移動するときに瞬目行為が発生していたか否かを判断する。これにより、瞬目有無判断部23は、瞬目行為が発生したときに検出された注視点座標データを抽出する。そして、瞬目有無判断部23は、瞬目行為発生時の注視点座標データ、瞬目行為を伴わない視線移動による注視点座標データを瞬目有無判断結果として停留時間データ選別部25に送る。   The blinking presence / absence determination unit 23 receives a plurality of blink data that are temporally moved from the blinking state detection unit 12 and the gazing point coordinate data is transmitted from the gazing point stop state determination unit 22. It is determined whether or not a blink action has occurred. Thereby, the blink presence / absence determination unit 23 extracts the gaze point coordinate data detected when the blink action occurs. Then, the blink presence / absence determination unit 23 sends the gazing point coordinate data when the blink action occurs and the gazing point coordinate data based on the line of sight movement not accompanied by the blink action to the stop time data selection unit 25 as a blink presence / absence determination result.

停留時間算出部24は、注視点停留状態判断部22から停留判定結果が送られると、例えば所定のサンプリング周期ごとに停留時間をカウントアップする。これにより、停留時間算出部24は、注視点が停留していた停留時間データを作成して、停留時間データ選別部25に送る。   When the stop determination result is sent from the gazing point stop state determination unit 22, the stop time calculation unit 24 counts up the stop time, for example, every predetermined sampling period. Thereby, the stop time calculation unit 24 creates stop time data in which the gazing point has stopped, and sends the stop time data to the stop time data selection unit 25.

停留時間データ選別部25は、停留時間データについて瞬目有無判断部23からの瞬目有無判断結果を参照し、注視点が停留点間で変位する時に瞬目行為が発生した停留時間データを選別して、当該選別した停留時間データを個別認識時の停留時間データとして個別認識停留時間データ記憶部26に送って記憶させる。   The stop time data selection unit 25 refers to the blink presence / absence determination result from the blink presence / absence determination unit 23 for the stop time data, and selects the stop time data in which the blink action occurs when the gazing point is displaced between the stop points. Then, the selected stop time data is sent to and stored in the individual recognition stop time data storage unit 26 as stop time data at the time of individual recognition.

個別認識停留時間データ頻度分布演算部27は、個別認識停留時間データ記憶部26に蓄積された停留時間データを用いて、個別認識時の停留時間の頻度分布を演算する。そして、個別認識停留時間データ頻度分布演算部27は、図2に示したように、停留時間の頻度が最も高い停留時間T2を代表値とし、計測対象者の個別認識時の認知負荷として認知負荷指標算出部30に送る。   The individual recognition stationary time data frequency distribution calculation unit 27 calculates the frequency distribution of the stationary time during individual recognition using the stationary time data accumulated in the individual recognition stationary time data storage unit 26. Then, as shown in FIG. 2, the individual recognition stationary time data frequency distribution calculating unit 27 uses the stationary time T2 having the highest frequency of stationary time as a representative value, and the cognitive load as the cognitive load at the time of individual recognition of the measurement subject. The data is sent to the index calculation unit 30.

また、停留時間データ選別部25は、停留時間データについて瞬目有無判断部23からの瞬目有無判断結果を参照し、注視点が停留点間で変位する時に瞬目行為が発生していない停留時間データを選別して、当該選別した停留時間データを空間認識時の停留時間データとして空間認識停留時間データ記憶部28に送って記憶させる。   In addition, the stop time data selection unit 25 refers to the blink presence / absence determination result from the blink presence / absence determination unit 23 for the stop time data, and the stop action in which no blink action occurs when the gazing point is displaced between the stop points. The time data is selected, and the selected stop time data is sent to and stored in the space recognition stop time data storage unit 28 as stop time data at the time of space recognition.

空間認識停留時間データ頻度分布演算部29は、空間認識停留時間データ記憶部28に蓄積された停留時間データを用いて、空間認識時の停留時間の頻度分布を演算する。そして、空間認識停留時間データ頻度分布演算部29は、図2に示したように、停留時間の頻度が最も高い停留時間T1を代表値とし、計測対象者の空間認識時の認知負荷として認知負荷指標算出部30に送る。   The space recognition stop time data frequency distribution calculation unit 29 calculates the stop time frequency distribution during space recognition using the stop time data stored in the space recognition stop time data storage unit 28. Then, as shown in FIG. 2, the spatial recognition stationary time data frequency distribution calculating unit 29 uses the stationary time T1 having the highest frequency of stationary time as a representative value, and the cognitive load as the cognitive load at the time of spatial recognition of the measurement subject. The data is sent to the index calculation unit 30.

認知負荷指標算出部30は、停留時間T1と停留時間T2との比率を求めて、当該比率が高いほど、計測対象者の認知負荷が高いことを示す認知負荷指標情報を作成して、表示タイミング演算部5に送る。   The cognitive load index calculation unit 30 obtains a ratio between the stop time T1 and the stop time T2, creates cognitive load index information indicating that the cognitive load of the measurement target person is higher as the ratio is higher, and displays the display timing. The result is sent to the calculation unit 5.

[認知負荷計測装置による認知負荷演算処理]
つぎに、上述したように構成された認知負荷計測装置により、計測対象者の運転時の認知負荷を演算する処理手順について図5のフローチャートを参照して説明する。
[Cognitive load calculation processing by cognitive load measurement device]
Next, a processing procedure for calculating the cognitive load during driving of the measurement target person using the cognitive load measuring apparatus configured as described above will be described with reference to the flowchart of FIG.

先ず、認知負荷演算部3では、例えば車両のIGNスイッチが操作されて起動した後に、ステップS1において、注視点が停留しているか否かを示す停留フラグの値、及び瞬目が発生しているか否かを示す瞬目フラグの値を、例えばともに「0」とすることにより初期化する。   First, in the cognitive load calculation unit 3, for example, after an IGN switch of a vehicle is operated and activated, in step S1, a value of a stop flag indicating whether or not the gazing point is stopped and whether blinks have occurred. Initialization is performed by setting both the values of the blink flag indicating whether or not to “0”, for example.

次に、認知負荷演算部3は、ステップS2において、所定のサンプリング周期を計時するタイマのカウントアップを開始し、ステップS3において、注視点検出部11により取得した注視点座標(n)の注視点座標データ、瞬目状態検出部12により取得した瞬目データを読み込む。なお、この認知負荷演算処理は、予め設定した所定のサンプリング周期内でステップS2〜ステップS27の処理を実行することにより、所定のサンプリング周期でタイマのカウントアップを実行することになる。   Next, in step S2, the cognitive load calculation unit 3 starts counting up a timer that measures a predetermined sampling period. In step S3, the gaze point of the gaze point coordinate (n) acquired by the gaze point detection unit 11 is started. The coordinate data and blink data acquired by the blink state detection unit 12 are read. In this cognitive load calculation process, the timer counts up in a predetermined sampling period by executing the processes in steps S2 to S27 within a predetermined sampling period set in advance.

次のステップS4においては、瞬目有無判断部23により、ステップS3にて読み込んだ瞬目データに基づいて時刻nにおいて瞬目行為が発生したか否かを判定する。ここで、瞬目有無判断部23は、瞬目行為が発生したと判定した場合にはステップS14に処理を進め、瞬目行為が発生していないと判定した場合にはステップS5に処理を進める。   In the next step S4, the blink presence / absence determining unit 23 determines whether or not a blink action has occurred at time n based on the blink data read in step S3. Here, the blink presence / absence determination unit 23 proceeds to step S14 when it is determined that the blink action has occurred, and proceeds to step S5 when it is determined that the blink action has not occurred. .

ステップS5においては、注視点移動量算出部21により、前回(時刻n−1)に取得した注視点座標データの注視点座標(n−1)と、今回(時刻n)のステップS3にて取得した注視点座標データの注視点座標(n)との移動距離を演算して、注視点の移動速度を演算する。   In step S5, the gazing point movement amount calculation unit 21 acquires the gazing point coordinates (n-1) of the gazing point coordinate data acquired at the previous time (time n-1) and the current time (time n) in step S3. The moving distance of the gazing point coordinate data from the gazing point coordinate (n) is calculated, and the moving speed of the gazing point is calculated.

次のステップS6においては、注視点停留状態判断部22により、ステップS5にて演算した注視点の移動速度が所定値以下か否かを判定することにより、注視点が停留しているか否かを判定する。ここで、注視点停留状態判断部22では、所定のサンプリング周期での注視点の移動量が少なく移動速度が所定値以下であるか否かを判定することにより、注視点が停留状態にあるか、跳躍性の眼球運動であるかの判定を行う。そして、注視点停留状態判断部22は、注視点が停留していないと判定した場合には、計測対象者の視認対象が他の物体に移行したと判定してステップS16に処理を進め、注視点が停留していると判定した場合にはステップS7に処理を進める。換言すれば、注視点停留状態判断部22では、注視点の移動が、所定の座標範囲内での移動か否かを判定する。   In the next step S6, whether or not the gazing point is stopped is determined by determining whether or not the moving speed of the gazing point calculated in step S5 is equal to or less than a predetermined value by the gazing point stopping state determination unit 22. judge. Here, the gazing point stationary state determination unit 22 determines whether or not the gazing point is in the stationary state by determining whether or not the moving amount of the gazing point in the predetermined sampling period is small and the moving speed is equal to or less than a predetermined value. It is determined whether the eye movement is a jumping eye movement. If the gaze point stop state determination unit 22 determines that the gaze point is not stopped, the gaze point stop state determination unit 22 determines that the visual target of the measurement target person has shifted to another object, and proceeds to step S16. If it is determined that the viewpoint is stationary, the process proceeds to step S7. In other words, the gazing point stationary state determination unit 22 determines whether or not the movement of the gazing point is within a predetermined coordinate range.

ステップS7においては、注視点停留状態判断部22により、ステップS6にて注視点が停留していると判定したことに応じて、時刻nにおける停留フラグ(n)の値を「1」に設定して停留時間算出部24に送る。   In step S7, the value of the stop flag (n) at time n is set to “1” in response to the determination that the watch point is stopped in step S6 by the watch point stop state determination unit 22. To the stop time calculation unit 24.

次に、停留時間算出部24は、ステップS8において時間的に異なる複数の注視点座標データを識別するための注視点座標データ番号をカウントアップし、ステップS9においてステップS8にて記憶した注視点座標データのうち、停留最中の注視点座標データのデータ数のカウントアップをする。   Next, the stop time calculation unit 24 counts up the gazing point coordinate data numbers for identifying a plurality of gazing point coordinate data different in time in step S8, and the gazing point coordinates stored in step S8 in step S9. Among the data, the number of gazing point coordinate data being stopped is counted up.

次のステップS10においては、個別認識停留時間データ頻度分布演算部27及び空間認識停留時間データ頻度分布演算部29により、ステップS2にてカウントアップをした計時時間が、予め設定した認知負荷を求めるための設定時間の倍数であるか否かを判定することにより、認知負荷を演算する所定の時間間隔か否かを判定する。そして、個別認識停留時間データ頻度分布演算部27及び空間認識停留時間データ頻度分布演算部29では、認知負荷を演算するための所定の時間間隔ではないと判定した場合にはステップS2に処理を戻し、認知負荷を演算するための所定の時間間隔であると判定した場合にはステップS11に処理を進める。   In the next step S10, the time counted up in step S2 by the individual recognition stationary time data frequency distribution calculating unit 27 and the spatial recognition stationary time data frequency distribution calculating unit 29 is to obtain a preset cognitive load. By determining whether or not it is a multiple of the set time, it is determined whether or not the predetermined time interval for calculating the cognitive load. When the individual recognition stationary time data frequency distribution calculating unit 27 and the spatial recognition stationary time data frequency distribution calculating unit 29 determine that the predetermined time interval for calculating the cognitive load is not reached, the process returns to step S2. If it is determined that it is a predetermined time interval for calculating the cognitive load, the process proceeds to step S11.

ステップS11においては、空間認識停留時間データ頻度分布演算部29により、ステップS10にて判定対象となった所定の時間間隔内に蓄積しておいた停留時間データを空間認識停留時間データ記憶部28から読み出し、停留時間データが示す停留時間の頻度分布を求めて、代表値となる停留時間T1を演算して認知負荷指標算出部30に送る。   In step S11, the space recognition stop time data frequency distribution calculation unit 29 stores the stop time data accumulated in the predetermined time interval determined in step S10 from the space recognition stop time data storage unit 28. The frequency distribution of the stop time indicated by the read and stop time data is obtained, and the stop time T1 as a representative value is calculated and sent to the cognitive load index calculating unit 30.

ステップS12においては、個別認識停留時間データ頻度分布演算部27により、ステップS10にて判定対象となった所定の時間間隔内に蓄積しておいた停留時間データを個別認識停留時間データ記憶部26から読み出し、停留時間データが示す停留時間の頻度分布を求めて、代表値となる停留時間T2を演算して認知負荷指標算出部30に送る。   In step S12, the individual recognition stop time data frequency distribution calculation unit 27 stores the stop time data accumulated in the predetermined time interval determined in step S10 from the individual recognition stop time data storage unit 26. The frequency distribution of the stop time indicated by the read and stop time data is obtained, and the stop time T2 as a representative value is calculated and sent to the cognitive load index calculating unit 30.

ステップS13においては、認知負荷指標算出部30により、ステップS11にて求めた空間認識時の停留時間T1と、ステップS12にて求めた個別認識時の停留時間T2との比率を求め、当該比率を計測対象者の認知負荷指標情報として表示タイミング演算部5に送って、ステップS2に処理を戻す。なお、このステップS13においては、認知負荷指標情報を作成した後に、個別認識停留時間データ記憶部26及び空間認識停留時間データ記憶部28に記憶していた停留時間データをクリアする。   In step S13, the cognitive load index calculation unit 30 obtains a ratio between the stop time T1 at the time of spatial recognition obtained at step S11 and the stop time T2 at the time of individual recognition obtained at step S12, and calculates the ratio. The measurement target person's cognitive load index information is sent to the display timing calculation unit 5, and the process returns to step S2. In step S13, after generating the cognitive load index information, the stop time data stored in the individual recognition stop time data storage unit 26 and the space recognition stop time data storage unit 28 is cleared.

一方、ステップS4にて瞬目行為が発生したと判定した後のステップS14においては、瞬目有無判断部23により、時刻nにおけるN番目の停留点座標算出中に生じた瞬目行為であることを示す瞬目フラグ(N)の値を「1」に設定して停留時間データ選別部25に送り、ステップS15においては、停留時間データ選別部25により、時刻n−1における停留フラグ(n−1)の値が「1」か否かを判定することにより、ステップS4にて判定した瞬目行為が、注視点が停留した直後の瞬目行為か否かを判定する。   On the other hand, in step S14 after determining that the blink action has occurred in step S4, the blink action occurred during the calculation of the Nth stop point coordinate at time n by the blink presence / absence determining unit 23. Is set to “1” and sent to the stop time data selection unit 25. In step S15, the stop time data selection unit 25 sets the stop flag (n− at time n−1). By determining whether or not the value of 1) is “1”, it is determined whether or not the blink action determined in step S4 is a blink action immediately after the gazing point stops.

そして、停留時間データ選別部25は、注視点が停留した直後の瞬目行為であると判定した場合には、停留時間データを求めるためのステップS18以降に処理を進め、注視点が停留した直後の瞬目行為でないと判定した場合にはステップS10に処理を進める。   If the stop time data selection unit 25 determines that it is a blink action immediately after the gazing point stops, the process proceeds to step S18 and subsequent steps for obtaining the stop time data, and immediately after the gazing point stops. If it is determined that it is not a blink action, the process proceeds to step S10.

また、ステップS6にて注視点の移動速度が所定値以下でないと判定した後のステップS16においては、注視点停留状態判断部22により、時刻nにおける停留フラグ(n)の値を「0」に設定し、ステップS17においては時刻n−1における停留フラグ(n−1)の値が「1」か否かを判定することにより、ステップS6にて判定した視線移動行為が、注視点が停留した直後の視線移動行為か否かを判定する。そして、注視点停留状態判断部22は、注視点が停留した直後の視線移動行為であると判定した場合にはステップS18に処理を進め、注視点が停留した直後の視線移動行為でないと判定した場合にはステップS10に処理を進める。   Also, in step S16 after determining that the moving speed of the gazing point is not less than or equal to the predetermined value in step S6, the gazing point stopping state determination unit 22 sets the value of the stop flag (n) at time n to “0”. In step S17, it is determined whether or not the value of the stop flag (n-1) at time n-1 is "1". It is determined whether or not it is an immediate gaze movement act. Then, when it is determined that the gaze point stopping state determination unit 22 is the gaze movement act immediately after the gaze point is stopped, the process proceeds to step S18, and it is determined that the gaze point stop state determination unit 22 is not the gaze shift act immediately after the gaze point is stopped In that case, the process proceeds to step S10.

ステップS18においては、停留時間データ選別部25により、ステップS9にて停留最中の注視点座標データとしてカウントされたデータ数を呼び出す。   In step S18, the stopping time data sorting unit 25 calls the number of data counted as the gazing point coordinate data during stopping in step S9.

次のステップS19においては、停留時間データ選別部25により、ステップS3にて取得した注視点座標データ(n)と同じ所定の座標範囲内の注視点座標データを用いて座標平均を取ることにより停留点座標データを演算して停留点座標データのデータ番号Nをカウントアップする。   In the next step S19, the stationary time data selection unit 25 performs the stationary average by taking the coordinate average using the gazing point coordinate data within the same predetermined coordinate range as the gazing point coordinate data (n) acquired in step S3. The point coordinate data is calculated and the data number N of the stop point coordinate data is counted up.

次のステップS20においては、停留時間データ選別部25により、ステップS18にて読み出した停留最中に取得した注視点座標データのデータ数に、ステップS2でカウントアップする所定のサンプリング周期を乗算することにより停留時間(N)を示す停留時間データを演算して、一時記憶しておく。   In the next step S20, the stop time data selection unit 25 multiplies the number of data of the gazing point coordinate data acquired during the stop read in step S18 by the predetermined sampling period counted up in step S2. The stop time data indicating the stop time (N) is calculated and stored temporarily.

次のステップS21においては、停留時間データ選別部25により、瞬目フラグ(N)の値を「0」に設定することによりリセットし、ステップS22においは、ステップS20にて停留時間データの演算に使用した注視点座標データのデータ数を示すデータをクリアする。   In the next step S21, the stop time data sorting unit 25 resets the blink flag (N) by setting it to “0”, and in step S22, the stop time data is calculated in step S20. Clears the data indicating the number of gazing point coordinate data used.

次のステップS23においては、停留時間データ選別部25により、車速センサ2により検出している車速を読み込むことにより、現在車両が走行中か否かを判定する。そして、停留時間データ選別部25では、現在車両が走行中でないと判定した場合にはステップS10に処理を進め、現在車両が走行中であると判定した場合にはステップS24に処理を進める。   In the next step S23, the stop time data selection unit 25 reads the vehicle speed detected by the vehicle speed sensor 2 to determine whether or not the vehicle is currently traveling. The stop time data selection unit 25 proceeds to step S10 when it is determined that the vehicle is not currently traveling, and proceeds to step S24 when it is determined that the vehicle is currently traveling.

ステップS24においては、停留時間データ選別部25により、記憶しておいた時刻n−1での停留時間(N−1)を読み出し、ステップS25においては、時刻n−1での瞬目フラグの値が「1」であったか否かを判定する。   In step S24, the stored stop time (N-1) at time n-1 is read by the stop time data selection unit 25. In step S25, the value of the blink flag at time n-1 is read. Is determined to be “1”.

そして、停留時間データ選別部25では、瞬目フラグ(N−1)の値が「1」でないと判定した場合には、ステップS27にて停留時間(N−1)を空間認識時の停留時間データとして空間認識停留時間データ記憶部28に記憶させる。一方、停留時間データ選別部25は、瞬目フラグ(N−1)の値が「1」であると判定した場合には、ステップS24にて読み出した停留時間データを個別認識時の停留時間データとして個別認識停留時間データ記憶部26に記憶させてステップS10に処理を進める。   If the stop time data selection unit 25 determines that the value of the blink flag (N−1) is not “1”, the stop time (N−1) is determined as the stop time during space recognition in step S27. The data is stored in the space recognition stop time data storage unit 28 as data. On the other hand, if the stop time data selection unit 25 determines that the value of the blink flag (N-1) is “1”, the stop time data read in step S24 is the stop time data at the time of individual recognition. Is stored in the individual recognition stopping time data storage unit 26, and the process proceeds to step S10.

これにより、停留時間データ選別部25では、視線移動時に瞬目行為が発生する直前に取得した停留時間データを個別認識時の停留時間データとして個別認識停留時間データ記憶部26に蓄積し、視線移動時に瞬目行為が発生していなかったときに取得した停留時間データを空間認識時の停留時間データとして空間認識停留時間データ記憶部28に蓄積する。そして、認知負荷計測装置では、ステップS10にて認知負荷を演算する所定の時間間隔となるまで停留時間データを蓄積する処理を繰り返す。   As a result, the stop time data selection unit 25 accumulates the stop time data acquired immediately before the blink action occurs at the time of eye movement in the individual recognition stop time data storage unit 26 as the stop time data at the time of individual recognition, and moves the eye movement. Sometimes the stop time data acquired when the blink action has not occurred is accumulated in the space recognition stop time data storage unit 28 as stop time data at the time of space recognition. And in a cognitive load measuring device, the process which accumulate | stores dwell time data is repeated until it becomes the predetermined | prescribed time interval which calculates cognitive load in step S10.

このような認知負荷演算処理を行う認知負荷計測装置では、注視点の停留した直後の瞬目及び注視点の停留した直後の視線移動を検出して、個別認識時の停留時間データ及び空間認識時の停留時間データを蓄積して、図2に示したように停留時間T1,T2の頻度分布を求めて、認知負荷を求めることができる。   In the cognitive load measurement device that performs such cognitive load calculation processing, the blinking immediately after the gazing point stops and the gaze movement immediately after the gazing point stops are detected. And the cognitive load can be obtained by obtaining the frequency distribution of the suspension times T1 and T2 as shown in FIG.

[実施形態の効果]
以上詳細に説明したように、本発明を適用した認知負荷計測装置によれば、注視点座標データと瞬目データから、単一の物体を認識するための認知負荷(T2)、空間構成を認識するための認知負荷(T1)を算出して、当該認知負荷の比率に基づいて計測対象者の認知負荷を算出するので、計測対象者に対して非接触での認知負荷の計測を可能とし、計測時の計測対象者への負荷が軽減できる。したがって、この認知負荷計測装置によれば、計測対象者が周囲の単一物体を認識するときや空間構成を認識するときの眼状態の特性を利用して、計測対象者に負荷を与えることなく正確に認知負荷を計測することができる。
[Effect of the embodiment]
As described above in detail, according to the cognitive load measuring device to which the present invention is applied, the cognitive load (T2) for recognizing a single object and the spatial configuration are recognized from the gaze point coordinate data and the blink data. To calculate the cognitive load (T1), and to calculate the cognitive load of the measurement target person based on the ratio of the cognitive load, enabling the measurement target person to measure the cognitive load without contact, The load on the measurement subject at the time of measurement can be reduced. Therefore, according to this cognitive load measuring device, the measurement target person uses the characteristics of the eye state when recognizing a surrounding single object or when recognizing the spatial configuration without applying a load to the measurement target person. The cognitive load can be accurately measured.

また、この認知負荷計測装置によれば、視線移動時に瞬目行為が発生した直前の停留時間を個別認識時の停留時間とし、視線移動時に瞬目行為が発生していない直前の停留時間を空間認識時の停留時間として選別して認知負荷を演算することができるので、運転者の眼の特性を利用して運転時の状況に応じた認知負荷を演算することができる。   In addition, according to this cognitive load measuring device, the stop time immediately before the blink action occurs when the line of sight is moved is set as the stop time at the individual recognition, and the stop time immediately before the blink action is not generated when the line of sight is moved is a space. Since the cognitive load can be calculated by selecting the stop time at the time of recognition, the cognitive load according to the situation at the time of driving can be calculated using the characteristics of the driver's eyes.

更に、この認知負荷計測装置によれば、個別認識時の停留時間を蓄積して停留時間の頻度分布を求めると共に、空間認識時の停留時間を蓄積して停留時間の頻度分布を求めるので、各停留時間の代表値に基づいて認知負荷を確実に計測することができる。   Furthermore, according to this cognitive load measuring device, the stop time at the time of individual recognition is accumulated to obtain the frequency distribution of the stop time, and the stop time at the time of spatial recognition is accumulated to obtain the frequency distribution of the stop time. The cognitive load can be reliably measured based on the representative value of the stop time.

更にまた、この認知負荷計測装置によれば、計測対象者に負荷をかけることなく運転中の認知負荷が計測可能となり、計測対象者の認知負荷に応じて表示タイミングを制御することにより、外界の物体及び表示装置6に表示させた表示内容を視認する負荷を低減し、運転性を向上することができる。特に、この認知負荷計測装置によれば、高齢ドライバのように認知負荷が若年者よりも長くなりがちな運転者の場合、適切な表示タイミングを調整することができる。   Furthermore, according to this cognitive load measuring device, it is possible to measure the cognitive load during driving without imposing a load on the measurement subject, and by controlling the display timing according to the cognitive load of the measurement subject, The load for visually recognizing the display content displayed on the object and the display device 6 can be reduced, and drivability can be improved. In particular, according to this cognitive load measuring device, an appropriate display timing can be adjusted in the case of a driver whose cognitive load tends to be longer than that of a young person such as an elderly driver.

更にまた、この認知負荷計測装置によれば、例えば交差点等のナビゲーションシステム4により提示する情報量が多い状況において、計測対象者の認知負荷が高い場合には、優先順位の低い情報の表示タイミングを、優先順位が高い情報の表示タイミングよりも遅くして表示装置6に表示させるので、車両運転者が外界の物体を認識する負荷が高いときに表示装置6に情報の表示をさせずに、運転者の運転性を向上させることができる。   Furthermore, according to this cognitive load measuring device, when the cognitive load of the measurement subject is high in a situation where the amount of information presented by the navigation system 4 such as an intersection is large, the display timing of information with low priority is set. Since the information is displayed on the display device 6 later than the display timing of the information with high priority, driving is performed without causing the display device 6 to display information when the load of the vehicle driver recognizing an object in the outside world is high. The driving performance of the person can be improved.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

本発明を適用した認知負荷計測装置において、認知負荷を演算する原理を説明するための図である。It is a figure for demonstrating the principle which calculates cognitive load in the cognitive load measuring device to which this invention is applied. 本発明を適用した認知負荷計測装置において、認知負荷を演算するに際して取得する停留時間の頻度分布について説明するための図である。It is a figure for demonstrating the frequency distribution of the stationary time acquired when calculating the cognitive load in the cognitive load measuring device to which this invention is applied. 本発明を適用した認知負荷計測装置の構成を示すブロック図である。It is a block diagram which shows the structure of the cognitive load measuring device to which this invention is applied. 本発明を適用した認知負荷計測装置の認知負荷演算部の機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the cognitive load calculating part of the cognitive load measuring device to which this invention is applied. 本発明を適用した認知負荷計測装置において、認知負荷を計測するときの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence when measuring cognitive load in the cognitive load measuring device to which this invention is applied.

符号の説明Explanation of symbols

1 眼状態計測部
2 車速センサ
3 認知負荷演算部
4 ナビゲーションシステム
5 表示タイミング演算部
6 表示装置
11 注視点検出部
12 瞬目状態検出部
21 注視点移動量算出部
22 注視点停留状態判断部
23 瞬目有無判断部
24 停留時間算出部
25 停留時間データ選別部
26 個別認識停留時間データ記憶部
27 個別認識停留時間データ頻度分布演算部
28 空間認識停留時間データ記憶部
29 空間認識停留時間データ頻度分布演算部
30 認知負荷指標算出部
DESCRIPTION OF SYMBOLS 1 Eye state measurement part 2 Vehicle speed sensor 3 Cognitive load calculation part 4 Navigation system 5 Display timing calculation part 6 Display apparatus 11 Gaze point detection part 12 Blink state detection part 21 Gaze point movement amount calculation part 22 Gaze point stop state determination part 23 Blink presence / absence determination unit 24 Stop time calculation unit 25 Stop time data selection unit 26 Individual recognition stop time data storage unit 27 Individual recognition stop time data frequency distribution calculation unit 28 Spatial recognition stop time data storage unit 29 Spatial recognition stop time data frequency distribution Calculation unit 30 Cognitive load index calculation unit

Claims (6)

計測対象者の注視点座標を示す注視点座標データを算出する注視点座標算出手段と、
計測対象者の瞬目行為の有無を示す瞬目データを算出する瞬目行為算出手段と、
前記注視点座標算出手段により算出された複数の注視点座標データを用いて、注視点が停留している時間を示す停留時間データを算出する停留時間算出手段と、
前記瞬目行為算出手段により算出された瞬目データに基づいて、前記停留時間算出手段により算出された停留時間データを、計測対象者が個別の物体を認識する場合の個別認識時の停留時間データと、計測対象者が空間構造を認識する場合の空間認識時の停留時間データとに選別し、前記個別認識時の停留時間データと前記空間認識時の停留時間データとを用いて、計測対象者が物体を認知するのに要する認知負荷を算出する認知負荷算出手段と
を備えることを特徴とする認知負荷計測装置。
Gazing point coordinate calculating means for calculating gazing point coordinate data indicating the gazing point coordinates of the measurement subject;
Blink action calculating means for calculating blink data indicating the presence or absence of the blink action of the measurement subject;
Using a plurality of gazing point coordinate data calculated by the gazing point coordinate calculation unit, stopping time calculation unit for calculating the stopping time data indicating the time when the gazing point is stopped;
Based on the blink data calculated by the blink action calculating means, the stopping time data calculated by the stopping time calculating means is used as the stopping time data at the time of individual recognition when the measurement subject recognizes an individual object. And the stop time data at the time of spatial recognition when the measurement target person recognizes the spatial structure, and using the stop time data at the time of the individual recognition and the stop time data at the time of the spatial recognition, A cognitive load measuring device comprising: cognitive load calculating means for calculating a cognitive load required for the object to recognize an object.
前記認知負荷算出手段は、注視点が停留した後の視線移動時に瞬目行為が発生した場合には、注視点が停留していた停留時間を示す停留時間データを個別認識時の停留時間データとして選別し、注視点が停留した後の視線移動時に瞬目行為が発生していない場合には、注視点が停留していた停留時間を示す停留時間データを空間認識時の停留時間データとして選別することを特徴とする請求項1に記載の認知負荷計測装置。   The cognitive load calculating means, when a blink action occurs at the time of gaze movement after the gazing point stops, the suspending time data indicating the suspending time when the gazing point is stopped as the stopping time data at the time of individual recognition If there is no blinking action when moving the line of sight after the gazing point stops, the suspending time data indicating the suspending time when the gazing point has stopped is selected as the suspending time data at the time of spatial recognition. The cognitive load measuring device according to claim 1. 前記認知負荷算出手段は、前記個別認識時の停留時間データが示す停留時間の頻度分布を算出して頻度が最も高い停留時間を、個別認識時の停留時間の代表値として算出すると共に、前記空間認識時の停留時間データが示す停留時間の頻度分布を算出して頻度が最も高い停留時間を、空間認識時の停留時間の代表値として算出することを特徴とする請求項1に記載の認知負荷計測装置。   The cognitive load calculating means calculates a stop time frequency distribution indicated by the stop time data at the time of individual recognition and calculates a stop time having the highest frequency as a representative value of the stop time at the time of individual recognition, and the space The cognitive load according to claim 1, wherein a frequency distribution of stop times indicated by stop time data at the time of recognition is calculated and a stop time having the highest frequency is calculated as a representative value of the stop time at the time of space recognition. Measuring device. 前記認知負荷算出手段は、前記個別認識時の停留時間の代表値と、前記空間認識時の停留時間の代表値との停留時間の比率を求めて、当該比率を認知負荷とすることを特徴とする請求項3に記載の認知負荷計測装置。   The cognitive load calculating means obtains the ratio of the stop time between the representative value of the stop time at the time of the individual recognition and the representative value of the stop time at the time of the space recognition, and uses the ratio as the cognitive load. The cognitive load measuring device according to claim 3. 車両が走行しているか否かを判定する車両走行状態判定手段を更に備え、
前記認知負荷算出手段は、前記車両走行状態判定手段により車両が走行していると判定された場合に認知負荷を算出することを特徴とする請求項1〜請求項4の何れかに記載の認知負荷計測装置。
Vehicle travel state determination means for determining whether or not the vehicle is traveling,
The cognitive load calculation means calculates the cognitive load when the vehicle running state determination means determines that the vehicle is running. The recognition according to any one of claims 1 to 4, Load measuring device.
前記認知負荷算出手段により算出された認知負荷に基づいて、情報を表示する表示タイミングを制御する表示制御手段を更に備えることを特徴とする請求項1〜請求項5の何れかに記載の認知負荷計測装置。   6. The cognitive load according to claim 1, further comprising display control means for controlling a display timing for displaying information based on the cognitive load calculated by the cognitive load calculating means. Measuring device.
JP2003297809A 2003-08-21 2003-08-21 Cognitive load measuring device Pending JP2005065861A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003297809A JP2005065861A (en) 2003-08-21 2003-08-21 Cognitive load measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003297809A JP2005065861A (en) 2003-08-21 2003-08-21 Cognitive load measuring device

Publications (1)

Publication Number Publication Date
JP2005065861A true JP2005065861A (en) 2005-03-17

Family

ID=34403532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003297809A Pending JP2005065861A (en) 2003-08-21 2003-08-21 Cognitive load measuring device

Country Status (1)

Country Link
JP (1) JP2005065861A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268189A (en) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd Visual inspection action determining device
JP2010273954A (en) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk Blinking measuring apparatus and blinking measuring method
JP2013545523A (en) * 2010-11-08 2013-12-26 オプタラート・オーストラリア・プロプライエタリー・リミテッド Adaptability to work test

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268189A (en) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd Visual inspection action determining device
JP2010273954A (en) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk Blinking measuring apparatus and blinking measuring method
JP2013545523A (en) * 2010-11-08 2013-12-26 オプタラート・オーストラリア・プロプライエタリー・リミテッド Adaptability to work test

Similar Documents

Publication Publication Date Title
Braunagel et al. Ready for take-over? A new driver assistance system for an automated classification of driver take-over readiness
Cantin et al. Mental workload when driving in a simulator: Effects of age and driving complexity
Gugerty Situation awareness in driving
EP3125211B1 (en) Information presentation device and information presentation method
JP5408572B2 (en) Automatic driving behavior evaluation system
JP5568345B2 (en) Safety confirmation support device and program
WO2020213280A1 (en) Information processing device, mobile device, method, and program
JP2013114668A (en) Driving action analysis and warning system and method
JP2015534173A (en) Method and system for providing guidance message to vehicle driver
Zangi et al. Driver distraction and its effects on partially automated driving performance: A driving simulator study among young-experienced drivers
JP2010128649A (en) Awakening state determining device and awakening state determining method
JP6330411B2 (en) Information presentation device and information presentation method
WO2019208450A1 (en) Driving assistance device, driving assistance method, and program
US11040720B2 (en) Sleepiness level prediction device and sleepiness level prediction method
EP3121801A2 (en) Display control device, projection device, and non-transitory storage medium
Rosner et al. Eye movements in vehicle control
JP2005065861A (en) Cognitive load measuring device
JP2006043429A (en) Apparatus for judging load of visual recognition
Koma et al. Detecting cognitive distraction using random forest by considering eye movement type
JP2005065859A (en) Cognitive time measuring device
JPH1165418A (en) Driving simulator and driving simulation method
Hwang et al. A validation study on a subjective driving workload prediction tool
Biswas et al. Characterizing drivers’ peripheral vision via the functional field of view for intelligent driving assistance
AT&T Microsoft Word - Pervasive_Haptics_Driving_v7.8.docx
Zhao et al. Mathematical modeling of average driver speed control with the integration of queuing network-model human processor and rule-based decision field theory