JP2004309719A - Microscope system, control method for the same, and control program for the same - Google Patents

Microscope system, control method for the same, and control program for the same Download PDF

Info

Publication number
JP2004309719A
JP2004309719A JP2003101947A JP2003101947A JP2004309719A JP 2004309719 A JP2004309719 A JP 2004309719A JP 2003101947 A JP2003101947 A JP 2003101947A JP 2003101947 A JP2003101947 A JP 2003101947A JP 2004309719 A JP2004309719 A JP 2004309719A
Authority
JP
Japan
Prior art keywords
image
time
lapse
change
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003101947A
Other languages
Japanese (ja)
Inventor
Tomohiro Uchida
知宏 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003101947A priority Critical patent/JP2004309719A/en
Publication of JP2004309719A publication Critical patent/JP2004309719A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve the easy usability of time lapse photographing. <P>SOLUTION: An image change detector 111 detects occurrence of a change in a sample to be an observing target. When the image change detector 111 detects a change in the sample after acquiring an instruction indicating the permission of operation start of time lapse photographing, a PC-CPU 110 controls the start of time lapse photographing operation to be performed by using the sample as an object. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は顕微鏡システムで使用される技術に関し、特に、観察対象である試料を所定の時間間隔をおいて間欠的に撮影し、得られた該試料の画像を記録するタイムラプス撮影の技術に関する。
【０００２】
【従来の技術】
所定の時間間隔をおいて間欠的に被写体を撮影し、得られた被写体の画像を記録するタイムラプス撮影（インターバル撮影などとも称されている）に関し、例えば下記の技術が従来提案されている。
【０００３】
特許文献１には、共通の光学系を用いて被写体像を撮影する電子スチルカメラと銀塩フィルムカメラとが同一の筐体に収められてなる両用カメラが開示されている。そして、この両用カメラが、撮影順序、撮影コマ数、一方のカメラで撮影してから他方のカメラが撮影するまでの遅延時間、タイムラプス撮影での時間間隔を撮影者が任意に設定可能なように構成されていることが記載されている。
【０００４】
特許文献２には、タイムラプス撮影機能を有しているカメラで、今回撮影した画像と前回撮影した画像との間の差分により認識される被写体の変化に基づいて撮影間隔を変化させ、撮影画像の再生時にはその撮影間隔をユーザに提示できるように構成された撮影装置が開示されている。
【０００５】
特許文献３には、タイムラプス撮影の撮影開始時間と掘影終了時間とを設定すると記録メディアに記録可能な残り枚数から撮影間隔が自動的に決定され、撮影開始時刻からその時間間隔でのタイムラプス撮影が行われるデジタル・スチル・カメラが開示されている。
【０００６】
【特許文献１】
特開平５−１３４３１２号公報
【特許文献２】
特開２００２−２１８３０９号公報
【特許文献３】
特開平１１−１１２８５２号公報
【０００７】
【発明が解決しようとする課題】
特許文献１で開示されている両用カメラでは、タイムラプス撮影に関する撮影条件を撮影者が全て設定する必要があり、撮影開始の指示も撮影者が行わなければならなかった。そのため、例えば卵の孵化の瞬間のタイムラプス撮影を行う場合などでは、観察者が被写体を常時監視し、被写体に変化が生じたときに観察者が直ちに撮影の指令をこのカメラに行う必要があった。
【０００８】
また、特許文献２で開示されている撮影装置は、被写体に何らの変化が生じていない間でもタイムラプス撮影と記録とを行ってしまうため、タイムラプス撮影の動作開始を撮影者が一旦指示してしまうと、不要な画像の記録のために記録媒体が無駄に消費されてしまうこととなり、所望の画像を撮り逃すことが考えられる。
【０００９】
また、この撮影装置でのタイムラプス撮影により撮影された画像の再生時にはその撮影間隔がユーザに提示されるが、この撮影間隔の提示は指針によって表示されるに過ぎず、時間の流れる速度の均一さが失われてしまっているため、被写体の時間当たりの変化の様子を再生画像から把握することは容易ではなかった。
【００１０】
また、特許文献３で開示されているデジタル・スチル・カメラでは、タイムラプス撮影の撮影開始の時刻を観察者が予め設定しておかなければならないため、変化が起こり始める時刻が不確定な被写体をタイムラプス撮影するのは困難であった。
【００１１】
本発明は以上の問題を鑑みてなされたものであり、その解決しようとする課題は、タイムラプス撮影の使いやすさを向上させることである。
【００１２】
【課題を解決するための手段】
本発明の態様のひとつである顕微鏡システムは、観察対象である試料に変化が生じたことの検出を行う試料変化検出手段と、タイムラプス撮影の動作開始を許可する旨の指示を取得する許可指示取得手段と、該指示を取得した後に該検出がされたときに、該試料を被写体として行われる該タイムラプス撮影の動作を開始させる制御を行うタイムラプス撮影動作開始制御手段と、を有するように構成することによって前述した課題を解決する。
【００１３】
この構成によれば、システムの使用者がタイムラプス撮影の動作開始を許可する指示を行ったのみではタイムラプス撮影の動作は開始されず、その指示の後に観察対象である試料に変化が生じたときにタイムラプス撮影の動作が開始されるので、使用者がその指示をした後に試料の監視を続けなくても記録媒体が無駄に消費されることなく試料の変化の様子を確実にタイムラプス撮影することが可能となり、タイムラプス撮影の使いやすさが向上する。
【００１４】
なお、上述した本発明に係る顕微鏡システムにおいて、試料変化検出手段によって前述した試料の変化が止んだことが検出されたときに、前述した制御によって開始させたタイムラプス撮影の動作を終了させる制御を行うタイムラプス撮影動作終了制御手段を更に有するように構成してもよい。
【００１５】
こうすることにより、試料の変化が止んだ後にはタイムラプス撮影の動作が終了するので、記録媒体の無駄な消費が防止される。
本発明の別の態様のひとつである顕微鏡システムの制御方法は、タイムラプス撮影の動作開始を許可する旨の指示を取得し、該指示を取得した後に観察対象である試料に変化の生じたことが検出されたときに、該試料を被写体として行われる該タイムラプス撮影の動作を開始させるようにすることにより、前述した本発明に係る顕微鏡システムと同様の作用・効果が得られる結果、前述した課題が解決される。
【００１６】
なお、上述した顕微鏡システムの制御方法をコンピュータに行わせるための制御プログラムであっても、この制御プログラムを該コンピュータで実行させることにより、前述した本発明に係る顕微鏡システムと同様の作用・効果が該コンピュータから得られる結果、前述した課題が解決される。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明を実施する顕微鏡システムの構成を示しており、図２は図１に示した顕微鏡システムの機能構成を示している。
【００１８】
ＬＥＤ照明ユニット１は、ＬＥＤ（発光ダイオード）２及びコレクタレンズ３を有しており、ＬＥＤ２から発せられた光をコレクタレンズ３で集光してステージ４上に固定された被写体５である試料の照明を行う。
ＬＥＤ照明ユニット１によって照明された被写体５の像は、結像レンズ群６及び７により、撮像素子であるＣＣＤ（電荷結合素子）８の表面で結像する。この被写体像がＣＣＤ８によって電気信号に変換されると、この電気信号は回路１０１内のＡＤコンバータによって被写体像が表されている画像を表現しているデジタルデータ（画像データ）へと変換される。この画像データは通信制御系１０２を経て通信ケーブル１０５を介してパーソナルコンピュータ（以下、「ＰＣ」と称する）１０３へ送信される。
【００１９】
ＰＣ１０３では受信した画像データを変換し、その画像データで表現されている画像をモニタ１０４に表示するための画像信号を生成する。モニタ１０４では、この画像信号が入力されることによって被写体５が表されている画像が表示される。
【００２０】
ここで、ＣＣＤ８の表面に結像させる被写体５の像の大きさはズーム機構１０によって変化させることができる。このズーム機構１０は、ズームボリューム１１を回転操作するとズームレンズ１２の位置が変化するように構成されており、この構成によって被写体５の像の投影倍率が変化する。
【００２１】
このズーム機構１０は、ズーム軸が回転する事によって、ズームレンズ群１２が移動し、投影倍率を可変させる事が可能な構成となっている。
回路１０１は図２に示すような機能構成を有している。
調光ボリューム１３は、ＬＥＤ照明ユニット１によって照明されている被写体５の明るさの調整をこの顕微鏡システムのユーザが行うために回転操作される。
【００２２】
ユーザがズームボリューム１１若しくは調光ボリューム１３を操作するとその操作量がＣＰＵ（中央演算処理装置）１６に入力される。ＣＰＵ１６ではこれらのボリュームに対する操作量の入力に応じたＬＥＤ制御信号を出力する。ＬＥＤ駆動パルス発生器２１ではＬＥＤ２を駆動させるためのパルス信号（駆動パルス）がこのＬＥＤ制御信号に基づいて生成される。この駆動パルスによってＬＥＤ照明ユニット１から発せられる光の調光が行われる。
【００２３】
ＬＥＤ駆動パルス発生器２１は、ＬＥＤ照明ユニット１のＬＥＤ２への電力供給を断続する。このときの通電パルス幅ｔをズームボリューム１１若しくは調光ボリューム１３に対する操作量に基づいて可変させることによってこの調光が行われる。ここで、通電パルス幅ｔは、ＬＥＤ駆動パルス発生器２１へ入力されるＬＥＤ制御信号によって示されている例えば０から２５５の値に応じ、最小パルス幅ｔｍｉｎから最大パルス幅まで変化させる。
【００２４】
なお、ＬＥＤ駆動パルス発生器２１は、ＣＣＤ８の駆動制御を行うための駆動パルスの生成も行う。なお、ＣＣＤ８用の駆動パルスのパルス幅Ｔと前述した通電パルス幅ｔとは同期させるようにし、ＣＣＤ８による撮像動作が行われていない期間はＬＥＤ照明ユニット１のＬＥＤ２への電力供給を断とするようにすれば、ＬＥＤ２による電力消費の無駄を低減することができる。
【００２５】
またＣＰＵ１６は、通信制御系１０２を経て通信ケーブル１０５を介してＰＣ１０３と接続されている。
図２に示すように、ＰＣ１０３の機能構成は、顕微鏡本体との通信を管理するＰＣ−通信制御系１０６をはじめとして、一時的に画像や動作中のアプリケーションソフトを保存するメモリ（ＲＡＭ）１０７や、画像やアプリケーションソフトの実行オブジェクトが格納されるハードディスク（ＨＤ）１０８、表示によって各種の情報をユーザに提供するモニタ１０４、メモリ１０７内等にある画像やアプリケーションソフトの実行によって生成される情報、その他の情報をモニタ１０４に表示できるような画像信号へ変換するモニタ制御系１０９、メモリ１０７内に格納されている画像データで表現されている画像の比較を行い、その比較結果に基づいて被写体５の変化を検出する画像変化検出器１１１、ＰＣ１０３の動作制御を司る中央演算処理装置であるＰＣ−ＣＰＵ１１０を有している。
【００２６】
なお、ハードディスク１０８内には、顕微鏡本体と通信、撮影制御、撮影画像の表示、編集等が可能な顕微鏡制御アプリケーションソフトの実行オブジェクトが格納されている。
次に、図１及び図２に示した顕微鏡システムの動作について説明する。
【００２７】
まず、ユーザが調光ボリューム１３を回転させると、回転角度に応じて調光ボリューム１３の抵抗値が変化する。ＣＰＵ１６へ入力される電圧はこの抵抗値に基づいて決定され、ＣＰＵ１６が有しているＡ／Ｄ変換器によりこの電圧が数値化される。また、ズームボリューム１１の回転角度に応じた数値も同様にしてＣＰＵ１６で得られる。
【００２８】
ＣＰＵ１６ではこれらの調光ボリューム１３及びズームボリューム１１の位置に基づき、適切な光量がＬＥＤ照明ユニット１から発せられるようなＬＥＤ駆動制御信号を出力する。
ＬＥＤ駆動パルス発生器２１は、ＬＥＤ駆動制御信号に応じて通電パルス幅ｔを変化させたＬＥＤ駆動パルスを発生させる。例えば、調光ボリューム１３の位置が１／２の位置に、そしてズームボリューム１１が１倍の投影倍率を示す位置にされているときには、ＬＥＤ駆動制御信号が示す値は０から２５５までのうちのちょうど半分の値である１２７となり、ＬＥＤ駆動パルスの通電パルス幅ｔは、ＣＣＤ８の駆動パルス幅Ｔの約半分の時間が通電となるように制御する。
【００２９】
また、例えば、調光ボリューム１３の位置を最小の位置としたときには、ＬＥＤ駆動制御信号が示す値は最小の値である０となり、この場合にはＬＥＤ駆動パルスの通電パルス幅ｔは最小幅ｔｍｉｎとなり、最短時間での被写体５の照明となる。一方、例えば、調光ボリューム１３の位置を最大の位置としたときには、ＬＥＤ駆動制御信号が示す値は最大の値である２５５となり、この場合にはＬＥＤ駆動パルスの通電パルス幅ｔは最大となってＣＣＤ８の駆動中はＬＥＤ２が常に点灯状態とされる。
【００３０】
つまり、図３に示すように、調光ボリューム１３の回転位置を可変させることにより照明光の連続的な調光が可能となる。また、ＣＣＤ８の駆動パルスと同期したパルス制御で調光を行うことにより色温度の変化が抑制されるので、モニタ１０４で観察可能な調光を行うことが可能となる。
【００３１】
次に、図１に示した顕微鏡システムの動作制御を行うアプリケーションソフトをＰＣ−ＣＰＵ１１０で実行させたときの顕微鏡システムの動作について説明する。
まず、顕微鏡本体とＰＣ１０３とを通信ケーブル１５を介して接続し、図１に示されているシステムを構成する。
【００３２】
ここで、ユーザがＰＣ１０３を操作してハードディスク１０８に格納されている顕微鏡制御アプリケーションソフトをＰＣ−ＣＰＵ１１０で実行させると、図４に示すようなアプリケーションソフト画面２００がモニタ１０４に表示される。この顕微鏡制御アプリケーションソフトの実行によって顕微鏡システムにおいて行われる処理の内容について説明する。
【００３３】
顕微鏡制御アプリケーションソフトの実行が開始されると、まず、ＰＣ１０３では通信ケーブル１０５を介して接続された顕微鏡の機種名の取得処理が行われる。この処理は、まず、ＰＣ−ＣＰＵ１１０からＰＣ−通信制御系１０６経由で顕微鏡種別取得コマンド“ＧｅｔＣａｍｅｒａ”が発行される。このコマンドは顕微鏡本体の通信制御系１０２で受信されてＣＰＵ１６へ渡される。
【００３４】
ＣＰＵ１６はこのコマンドを受け取ると、この顕微鏡の機種名（ここでは顕微鏡の機種名を「ＤＣ−１」とする）を示す情報を通信制御系１０２に送信させる。なお、この場合に送信させる返信コマンドは、ここでは受信コマンドにスペースと応答値を付加する形式としているので、“ＧｅｔＣａｍｅｒａ ＤＣ−１”となる。
【００３５】
ＰＣ−ＣＰＵ１１０はこの返信コマンドを受信することより、接続された顕微鏡が「ＤＣ−１」であることを認識する。この返信コマンドが受信されると、ＰＣ１１０はこの情報を利用してＰＣモニタ１０４にアプリケーションソフト画面２００を表示させる。
【００３６】
図４に示されているアプリケーションソフト画面２００について説明する。
機種名表示２０１には、顕微鏡本体との間で行われた前述した通信により取得された機種名「ＤＣ−１」が表示されている。
ライブ像２０２は、ＣＣＤ８によって現在取得されている被写体５の像をリアルタイムで表示する動画像であり、静止画像を例えば１秒間に１０〜３０フレーム程度更新して表示する。
【００３７】
ここで、撮影ボタン２０３の位置に位置表示カーソルを移動させてクリックさせる操作がユーザによってＰＣ１０３の操作部に対して行われる（以下、このような操作を単に、「撮影ボタン２０３が押される」と表現するものとする）と、そのときにアプリケーションソフト画面２００に表示されていたライブ像２０２が静止画像としてハードディスク１０８に保存される。
【００３８】
また、タイムラプス選択ボタン２１２でタイムラプス撮影を「しない」ことが選択されている状態で録画ボタン２０４が押されるとライブ像２０２の録画が開始され、ライブ像２０２に表示される動画像がライブ像２０２の表示フレームレートのままでハードディスク１０８に記録される。ここで、録画ボタン２０４が再度押されると、ハードディスク１０８への記録が終了する。
【００３９】
このときハードディスクに記録された動画像のフレーム数は、録画ボタン２０４が押されて録画が開始されてから再度録画ボタン２０が押されて録画が終了するまでに経過した時間（録画時間）に、ライブ像２０２の表示フレームレートを乗じたものとなるから、例えば、フレームレート１０枚／秒であって録画時間が２０秒ならば、１０［枚／秒］×２０［秒］＝２００［フレーム］がハードディスク１０８に１つの動画ファイルとして記録されることになる。
【００４０】
また、この動画ファイルが作成されたときには、この動画ファイルに表示フレームレートを記録しておくようにし、この動画ファイルの再生時にはこの表示フレームレートに従って動画像の再生を行うようにする。こうすることにより、被写体５の変化をライブ像２０２と同様に再生画像からでも観察することができる。
【００４１】
露出バー２０６はライブ像２０２として表示される画像の明るさの設定するためのものであり、バーに示されている矢印の位置に応じて、ＰＣ１Ｏ３から顕微鏡へ露出設定コマンド“ＳｅｔＥｘｐ ｎ”が送信される。ここで、ｎは露出バー２０６のバー位置に応じて設定される数値である。
【００４２】
終了ボタン２０８は、この顕微鏡制御アプリケーションソフトの実行を終了する場合に押されるボタンである。
画面切り替えボタン２０９は、例えば撮影動作などといった顕微鏡本体の動作制御のための画面をアプリケーションソフト画面２００として表示させるために押される「カメラ」ボタンと、撮影した画像を後に閲覧するための画面をアプリケーションソフト画面２００として表示させるために押される「閲覧」ボタンとからなる。なお、図４に示されているアプリケーションソフト画面２００は「カメラ」ボタンが押されたときに表示される画面であり、「閲覧」ボタンが押されたときに表示される画面は図５に示されている。
【００４３】
図５には撮影画像２１３として４枚の画像が表示されており、この画面によって撮済みの画像の確認が可能である。
撮影間隔設定メニュー２１０は、タイムラプス撮影によって記録される複数枚の画像の撮影間隔の設定に使用されるプルダウン式のメニューであり、本実施形態においては１秒から６０分までの設定が可能である。
【００４４】
撮影枚数設定メニュー２１１は、タイムラプス撮影によって記録する画像の枚数の設定に使用されるプルダウン式のメニューであり、本実施形態においては１枚から２０００枚までの設定が可能である。
以下、図４に示した画面においてタイムラプス選択ボタン２１２でタイムラプス撮影「する」が選択されたときの顕微鏡システムの動作について説明する。なお、本実施形態におけるタイムラプス撮影とは、ライブ像２０２の表示フレームレートよりも遅いレートでの動画像録画を行い、また、録画によって記録する画像の枚数を指定することにより、ユーザが録画終了指示のための操作をすることなく自動的に録画を終了させることのできる間欠式録画機能とする。このタイムラプス撮影によって録画された動画像を再生するときのフレームレートをライブ像２０２の表示フレームレートとすることにより、長時間に渡る被写体５の変化を早送りで見ることができる。
【００４５】
［実施例１］
図６について説明する。同図はＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第一の例の処理内容をフローチャートで示した図である。
まず、Ｓ１０１において、撮影間隔設定メニュー２１０に対してなされた画像の撮影間隔の設定内容が取得される。図４の画面例では「５秒」が選択されているので５秒毎の画像がハードディスク１０８に記録される。つまり、録画ファイルに５秒毎に１枚フレームが追加されて録画ファイルが成長していくこととなる。
【００４６】
次に、Ｓ１０２において、撮影枚数設定メニュー２１１に対してなされた画像の記録枚数の設定が取得される。図４の画面例では「２００枚」が選択されているので、２００フレーム分の画像の記録が完了するタイムラプス撮影が自動的に終了となる。従って、２００フレーム分の画像が１つの動画ファイルとしてハードディスク１０８に保存されることとなる。
【００４７】
なお、このような設定がされた場合のタイムラプス撮影について説明すると、タイムラプス撮影のフレームレートが０．２枚／秒（＝５秒／枚）と設定され且つ撮影枚数が２００枚に設定されたときには、タイムラプス撮影の撮影時間は２００［枚］×５［秒／枚］＝１０００秒となる。この設定の下でなされたタイムラプス撮影によって得られた動画ファイルを再生するときに、再生表示のフレームレートをライブ像２０２のレートである例えば１０枚／秒とすれば、１０００秒の録画時間が費やされたタイムラプス録画ファイルが５０倍速の２０秒にて再生されることになる。こうすることで、長時間にわたる被写体５の変化を短時間の録画再生にて観察可能となる。
【００４８】
次に、Ｓ１０３において録画ボタン２０４の押されたことが検出されると、Ｓ１０４において、そのときにライブ像２０２として表示されていた被写体５についての画像の表現されている画像データ（以下、単に「画像」とする）がメモリ１０７に格納される。この画像をフレーム１（ｎ＝１）の画像とする。
【００４９】
ここで図７について説明する。同図はメモリ１０７のメモリマップの第一の例を示している。前述したＳ１０４の処理においてメモリ１０７に格納するのは奇数フレームの画像であるから、このときには図７に示すフレーム奇数用保存領域１２１に格納するようにして、ライブ像２０２として表示される画像が格納されるライブ像表示用領域１２３やアプリケーションプログラムの実行のためにＰＣ−ＣＰＵ１１０が使用するアプリケーション使用領域１２４に格納されている各種のデータとこの画像とが相互に影響を及ぼすことのないようにする。
【００５０】
次に、Ｓ１０５では、前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過するまで処理の進行が待機となる。なお、この待機の間、ライブ像２０２の例えば１０〜３０フレーム／秒での通常通りの表示更新の処理を、ライブ像表示用領域１２３を使用して継続するようにしてもよい。
【００５１】
その後、前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過すると、処理はＳ１０６に進み、ｎの値が１だけ増やされる。
Ｓ１０７では、このときにライブ像２０２として表示されていた画像がフレームｎの画像として、メモリ１０７に格納される。ここで、ｎの値が偶数であるときにはこの画像は図７に示すフレーム偶数用保存領域１２２に格納され、ｎの値が奇数であるときにはこの画像は図７に示すフレーム奇数用保存領域１２１に格納される。
【００５２】
Ｓ１０８では、Ｓ１０７の処理によってメモリ１０７に格納されたフレームｎの画像と、その画像が格納される直前にメモリ１０７に格納されたフレームｎ−１の画像との比較を画像変化検出器１１１に行わせる。
この実施例においては、画像変化検出器１１１は、この２つの画像の各々における同一位置の画素（注目画素）の値（ＲＧＢ値）が該画像を構成している全画素について全て一致すれば、両画像に違いはないと判断する。
【００５３】
なお、図７に示したメモリ１０７のメモリマップにおいてフレーム奇数用保存領域１２１とフレーム偶数用保存領域１２２とが設けられているのは、このＳ１０８の処理において時間的に連続して取得された２枚の画像の比較を可能とするためである。
【００５４】
続くＳ１０９では、この比較結果に基づき、フレームｎ−１からフレームｎにかけて画像に変化が生じたか否かの判定が行われる。そして、この結果、画像に変化が生じたと判定したとき（Ｓ１０９の判定結果がＹｅｓのとき）にはＳ１１１に処理を進め、一方、画像に変化が生じていないと判定したとき（Ｓ１０９の判定結果がＮｏのとき）にはＳ１１０に処理を進める。
【００５５】
Ｓ１１０では、前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過するまで処理の進行が待機となる。なお、この待機の間も、ライブ像２０２の例えば１０〜３０フレーム／秒での通常通りの表示更新の処理を、ライブ像表示用領域１２３を使用して継続するようにしてもよい。
【００５６】
その後、前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過すると、Ｓ１０６へと処理を戻し、上述した処理が繰り返される。
ところで、前述したＳ１０９の判定処理の結果がＹｅｓであったときには、Ｓ１１１において変数ｍに値「１」が代入される。
【００５７】
Ｓ１１２では、このときにライブ像２０２として表示されていた画像（ｍ＝１であるときには直前のＳ１０７の処理によってメモリ１０７に格納されたフレームｎの画像）がフレームｍのタイムラプス画像としてハードディスク１０８に格納される。
【００５８】
Ｓ１１３では、変数ｍの値が前述したＳ１０２の処理によって取得された撮影枚数の設定数に達したか否かが判定され、この判定結果がＹｅｓならばこのタイムラプス撮影処理が終了する。
一方、このＳ１１３の判定処理の結果がＮｏならば、Ｓ１１４においてｍの値が１だけ増やされ、続くＳ１１５において前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過するまで処理の進行を待機した後、Ｓ１１２へと処理を戻して、取得画像をハードディスク１０８へ格納する処理が繰り返される。
【００５９】
以上のように、この図６に示した処理によって行われるタイムラプス撮影では、ユーザが時間間隔と撮影枚数とを設定した上で録画ボタン２０４を押下することでタイムラプス録画の開始許可の指示を行っても、被写体５に変化が生じていない間は、ハードディスク１０８ヘの画像の格納処理が行われない。しかし、ひとたび被写体５に変化が生じたことが検出されると、それ以後はユーザによって設定された時間間隔にて順次取得された画像のハードディスク１０８ヘの格納が行われる。
【００６０】
従って、例えば卵の孵化を録画するといった場合に、被写体５である卵に変化が生じる以前にタイムラプス録画の開始許可を指示しておけば、時間間隔と撮影枚数に関わらず、卵の変化の開始時点からのタイムラプス録画が可能となるので、観察者が被写体を観察し続けて、変化が生じたタイミングで録画開始指示をするような煩雑な作業が不要となる。
【００６１】
また、この図６に示した処理によって実現されるタイムラプス撮影では、観察者が設定した時間間隔と撮影枚数に関わらず、被写体５の変化が確実に録画像として捉えることができるので、被写体５に変化がない場合、例えば卵の孵化の様子を録画するといった場合に、全く変化のない卵ばかりの録画で終了してしまい、孵化の瞬間を撮り逃すといったことが防止される。また、ハードディスク１０８に格納されたタイムラプス画像の先頭から孵化場面が始まるので、再生画像を早送りするなどしてその場面を検索するような作業も不要となる。
【００６２】
更に、被写体５に変化が生じるまでは画像がハードディスク１０８に記録されないので、ハードディスク１０８の記録容量の節約にもなる。
なお、上述した実施例１においては、２枚の画像に違いがあるかどうかを判定するための画像比較をＰＣ１０３に設けられている画像変化検出器１１１で行うようにしていたが、この画像変化検出器１１１の有している機能をＰＣ−ＣＰＵ１１０に行わせる画像変化検出プログラムを作成し、このプログラムをＰＣ−ＣＰＵ１１０に実行させることでこの画像比較を行うにしてもよく、また、このプログラムを顕微鏡制御アプリケーションソフトに実装してもよい。こうすることにより、ＰＣ１０３から画像変化検出器１１１が削除されるので、ごく標準的な構成を有するコンピュータをＰＣ１０３として使用できるようになる。
【００６３】
［実施例２］
実施例２においてＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理は、実施例１で用いられた図６に示したものと同様である。但し、実施例２は、画像変化検出器１１１で行われる２枚の画像の比較の手法が異なっている。
【００６４】
本実施例では、フレームｎの画像内の座標（ｘ，ｙ）の位置に存在する画素の値（ＲＧＢ値）をＲＧＢ（ｘ，ｙ）ｎ＝（Ｒｎ，Ｇｎ，Ｂｎ）とし、フレームｎ＋１の画像内の同一位置の画素についての値をＲＧＢ（ｘ，ｙ）ｎ＋１＝（Ｒｎ＋１，Ｇｎ＋１，Ｂｎ＋１）すると、いずれかの画素において
｜ＲＧＢ（ｘ，ｙ）ｎ＋１−ＲＧＢ（ｘ，ｙ）ｎ｜＞ｈ （ｈは定数）
となるものが１画素でも存在した場合には「変化あり」（両画像には違いがある）と判定するものとする。
【００６５】
なお、この場合における「変化あり」との判断の精度（確からしさ）は閾値ｈにより決定される。この閾値ｈの値を予め適切に設定しておくことにより、画像に含まれ得るノイズ成分により、本来は「変化なし」と判定されるべき画像を「変化あり」と誤判定されてしまう誤動作を低減することができる。
【００６６】
なお、ここで、画像変化検出器１１１による検出方法を、
ΣΣ｜ＲＧＢ（ｘ，ｙ）ｎ＋１−ＲＧＢ（ｘ，ｙ）ｎ｜＞Ｈ （Ｈは定数）
とする、すなわち両画像での各画素の値の差の絶対値を求め、得られた値についての全画素での総和が閾値Ｈを超えているときには「変化あり」と判断するようにしてもよい。
【００６７】
こうすることにより、画像全体としての変化の有無が検出されるので、画像変化検出器１１１に起こり得る前述した誤動作をより効果的に低減させることができる。
また、この画像変化検出器１１１の有している機能をＰＣ−ＣＰＵ１１０に行わせる画像変化検出プログラムを作成し、このプログラムをＰＣ−ＣＰＵ１１０に実行させることでこの画像比較を行うにしてもよく、また、このプログラムを顕微鏡制御アプリケーションソフトに実装してもよい。
【００６８】
［実施例３］
この実施例は、前述した実施例２において用いられていた閾値ｈあるいはＨを顕微鏡システムのユーザが自由に設定できるようにしたものである。
この実施例においてモニタ１０４に表示されるアプリケーションソフト画面２００の画面例を図８に示す。
【００６９】
図８に示した画面例には変化検出レベル設定バー２１４が含まれている点が図４に示した画面例と異なっている。この変化検出レベル設定バー２１４において例えば、「低」の位置に矢印が配置された場合にはｈ＝０、「高」の位置に矢印が配置された場合にはｈ＝２５５などとする。
【００７０】
こうすることにより、変化検出レベル設定バー２１４が「低」に設定されている場合にはわずかな画像の違いでも画像変化検出器１１１が両画像には「変化あり」と検出するので、タイムラプス撮影が開始され、一方変化検出レベル設定バー２１４が「高」に設定されている場合には、画像に極めて大きな違いがあった場合にのみタイムラプス撮影が開始されることになる。
【００７１】
つまり、画像の変化によるタイムラプス録画を開始するタイミングの度合いを観察者の好みに応じて設定できるので、タイムラプス録画の使用勝手が更に向上する。
なお、図８に示した変化検出レベル設定バー２１４に代えて、スライダバーの目盛りが数値表示になっていて現在設定されている値が表示されるもの、すなわち図９に示した変化検出レベル設定バー２１５をアプリケーションソフト画面２００に含めるようにしてもよい。こうすることにより、画像の変化によるタイムラプス録画を開始するタイミングの度合いを数値設定できるようになるので、より操作性が向上する。また、観察者が事前に被写体５と同様な複数の撮影画像やタイムラプス録画画像を解析し、その解析結果に基づいて適切な変化検出レベル値を予め導いておき、その値を図９に示した変化検出レベル設定バー２１５で設定することにより、ライムラプス録画の開始タイミングをより観察者好みのものとすることができるようになる。
【００７２】
［実施例４］
この実施例は、現在アプリケーションソフト画面２００に表示中のライブ像２０２とその直前までアプリケーションソフト画面２００に表示されていたライブ像２０２との比較結果に基づいてタイムラプス撮影を開始させるというものである。
【００７３】
図１０について説明する。同図はＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第二の例の処理内容をフローチャートで示した図である。なお、図１０において図６に示したものと同様の処理が行われる処理ステップには同一のステップ番号を付しており、その詳細な説明は省略する。
【００７４】
図１０のＳ１０３において録画ボタン２０４の押されたことが検出されると、Ｓ１２１において、そのときのライブ像２０２として表示されていた画像がメモリ１０７に格納される。この画像をライブフレーム１（ｎ＝１）の画像とする。
ここで図１１について説明する。同図はメモリ１０７のメモリマップの第二の例を示している。同図に示すメモリマップと図７に示したメモリマップの第一の例とは、図７には存在していたフレーム奇数用保存領域１２１とフレーム偶数用保存領域１２２とが図１１では存在しない点と、図７には存在していたライブ像表示用領域１２３の代わりに図１１ではライブフレーム奇数用保存領域１３１及びライブフレーム偶数用保存領域１３２が設けられている点とにおいて異なっている。
【００７５】
本実施例におけるタイムラプス撮影処理では図１１におけるライブフレーム奇数用保存領域１３１及びライブフレーム偶数用保存領域１３２に格納された画像がタイムラプス撮影開始の基準として使用される一方で、これらの画像はライブ像２０２の表示としても使用される。
【００７６】
前述したＳ１２１の処理においてメモリ１０７に格納するのは奇数フレームの画像であるから、このときには図１１に示すライブフレーム奇数用保存領域１３１にこの画像を格納する。
続くＳ１２２ではｎの値が１だけ進められる。
【００７７】
Ｓ１２３では、この処理の直前にメモリ１０７に格納されたものに続いてライブ像２０２としてアプリケーションソフト画面２００に表示された画像がライブフレームｎの画像として、メモリ１０７に格納される。ここで、ｎの値が偶数であるときにはこの画像は図１１に示すライブフレーム偶数用保存領域１３２に格納され、ｎの値が奇数であるときにはこの画像は図１１に示すライブフレーム奇数用保存領域１３１に格納される。
【００７８】
Ｓ１２４では、Ｓ１２３の処理によってメモリ１０７に格納されたライブフレームｎの画像と、その画像が格納される直前にメモリ１０７に格納されたライブフレームｎ−１の画像との比較を画像変化検出器１１１に行わせる。なお、このときに画像変化検出器１１１に行わせる画像比較の方法は、前述した実施例１によるものでも実施例２によるものでもどちらでもよい。
【００７９】
続くＳ１２５では、この比較結果に基づき、２枚の画像に変化が生じたか否かの判定が行われる。そして、この結果、画像に変化が生じたと判定したとき（Ｓ１２５の判定結果がＹｅｓのとき）には、図６のＳ１１１に処理を進め、以降は図６のＳ１１１からＳ１１５にかけての処理であるタイムラプス画像のハードディスク１０８への格納処理が行われ、その後はこのタイムラプス撮影処理が終了する。一方、画像に変化が生じていないと判定したとき（Ｓ１２５の判定結果がＮｏのとき）には、Ｓ１２２へ処理を戻して上述した処理が繰り返される。
【００８０】
以上のように、この図１０に示した処理によって行われるタイムラプス撮影では、撮影間隔設定メニュー２１０に設定される撮影間隔よりも通常は短いフレームレートでの表示が行われているライブ像２０２として表示される、時間的に連続した２枚の画像を用いて被写体５の変化の検出が行われるので、被写体５に変化が生じた瞬間をより確実に捉えてタイムラプス撮影の開始のタイミングとすることが可能となる。
【００８１】
また、メモリ１０７のメモリマップが図７に示したものからから図１１に示したものへと変更することができるので、それだけメモリ１０７上に確保すべき画像用の記憶領域が削減されるので、メモリ１０７の使用量の節約になる。
なお、上述した実施例においては、タイムラプス撮影を開始させる基準を、現在アプリケーションソフト画面２００に表示中のライブ像２０２とその直前までアプリケーションソフト画面２００に表示されていたライブ像２０２との比較結果としていたが、この基準を現在アプリケーションソフト画面２００に表示中のライブ像２０２と録画ボタン２０４が押されたときにアプリケーションソフト画面２００に表示されていたライブ像２０２との比較結果とすることもできる。
【００８２】
この動作を実現させるための処理である、ＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第三の例の処理内容を図１２にフローチャートで示す。
図１２と既に説明した図１０との違いは、図１２におけるＳ１０３に続くＳ１３１において、録画ボタン２０４の押されたときにライブ像２０２として表示されていた画像を格納するメモリ１０７の領域が異なっている点と、Ｓ１３２において、この処理の実行時にライブ像２０２としてアプリケーションソフト画面２００に表示された画像を格納するメモリ１０７の領域が異なっている点と、Ｓ１３３において、画像変化検出器１１１に行わせる比較の対象が、Ｓ１２３の処理によってメモリ１０７に格納されたライブフレームｎの画像とＳ１３１の処理によってメモリ１０７に格納されたライブフレーム０の画像とである点にある。
【００８３】
ここで図１３について説明する。同図はメモリ１０７のメモリマップの第三の例を示している。同図に示すメモリマップと図１１に示したメモリマップの第二の例とは、図１１に示されていたライブフレーム奇数用保存領域１３１及びライブフレーム偶数用保存領域１３２の代わりに、ライブフレーム０用保存領域１４１及びライブフレームｎ用保存領域１４２が設けられている点で異なっている。
【００８４】
図１２に示したタイムラプス撮影処理では、Ｓ１３１の処理によって録画ボタン２０４の押されたときにライブ像２０２として表示されていた画像がメモリ１０７のライブフレーム０用保存領域１４１に格納され、Ｓ１３２の処理によってこの処理の実行時にライブ像２０２としてアプリケーションソフト画面２００に表示された画像がメモリ１０７のライブフレームｎ用保存領域１４１に格納される。そして、Ｓ１３３では、このときにこの両保存領域に保存されている画像の比較を画像変化検出器１１１に行わせる。なお、このときに画像変化検出器１１１に行わせる画像比較の方法は、前述した実施例１によるものでも実施例２によるものでもどちらでもよい。
【００８５】
以上のようにすることにより、録画ボタン２０４の押下時の画像と現在の画像との比較結果に基づいてタイムラプス撮影が開始されるので、被写体５が時間の流れに対してごく僅かずつ変化するような場合であっても、被写体５の変化を確実に捉えてタイムラプス録画を開始させることができる。
【００８６】
また、タイムラプス撮影を開始させる基準を、上述した他に、撮影間隔設定メニュー２１０に対してなされた撮影間隔に従って取得されている画像と録画ボタン２０４が押されたときにアプリケーションソフト画面２００に表示されていたライブ像２０２との比較結果とすることもできる。この手法は、例えばＣＣＤ８の画素数が多く、撮影間隔設定メニュー２１０に対してなされた撮影間隔では高解像度の画像を得ることができるが、ライブ像２０２としてはフレームの更新速度を優先させるために画素数が間引かれている低い解像度の画像を表示しているような場合にはとりわけ効果的であり、高解像度の画像での比較結果に基づいてタイムラプス撮影を開始させることができるので、被写体５がその表面のごく微小な領域内のみで変化するような場合であっても、被写体５の変化を確実に捉えてタイムラプス録画を開始させることができる。
【００８７】
［実施例５］
この実施例は、実施例４におけるタイムラプス撮影を開始させるための基準とする被写体５の変化前の画像をユーザが指定できるようにしたものである。
この実施例においてモニタ１０４に表示されるアプリケーションソフト画面２００の画面例を図１４に示す。図１４に示した画面例は、フレーム０画像入力２１６とフレーム０画像設定ボタン２１７とが含まれている点において図４に示した画面例と異なっている。
【００８８】
ここで図１５について説明する。同図は、ＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第四の例の処理内容をフローチャートで示したものである。なお、この処理が行われるときのメモリ１０７のメモリマップは図１３に示されているものとなる。
【００８９】
図１５と図１２との違いは、図１５におけるＳ１０２に続くＳ１４１において、図１４に示した画面例におけるフレーム０画像設定ボタン２１７が押されたときにフレーム０画像入力２１６に入力されていたファイル名を有する画像データがフレーム０画像としてハードディスク１０８から読み込まれる点と、続くＳ１４２において、２枚の画像の比較を同一条件で行うために、必要に応じて画像の間引きや補間等を行ってフレーム０画像をライブフレーム画像のフォーマット（画像のサイズや画素数など）に一致させてからメモリ１０７のライブフレーム０用保存領域１４１に格納する処理が行われてからＳ１０３に処理が進む点にある。
【００９０】
このようにすることにより、タイムラプス撮影の開始の基準とする比較画像の一方をユーザが任意に指定できるので、例えばタイムラプス撮影を繰り返し行う場合に撮影開始の条件を揃えることが可能となる。
［実施例６］
この実施例は、今までに説明した各実施例でタイムラプス撮影の開始の基準とするために図６のＳ１０８、図１０のＳ１２４、並びに図１２及び図１４のＳ１３３の各処理で画像変化検出器１１１に行わせる画像比較を、画像全体について行う代わりに、その画像の一部の部分領域について行うようにするものである。
【００９１】
図１６（ａ）に示す画像にはその中心位置からおよそ３０％の領域が破線にて囲まれている。画像変化検出器１１１はこの破線に囲まれている領域に含まれている画素のみの画像比較を行うようにする。
こうすることにより、この点線の外側の領域で画像に変化があってもタイプラブス撮影は開始されないので、被写体５における画像中心付近の注目部分の画像変化のみによってタイムラプス撮影を開始させることができるようになり、ユーザによってより望まれているタイムラプス撮影の開始タイミングを捉えることができるようになる。
【００９２】
なお、画像変化検出器１１１に行わせる画像比較における部分領域の範囲の大きさをユーザが選択できるようにしてもよい。
図１６（ｂ）に示すライブ像２０２には、その画像の中心位置からおよそ１０％、３０％、及び５０％の領域に破線が描かれている。ユーザはマウスなどのポインティングデバイスやアプリケーションソフト画面２００に設けられる設定メニューにて、これらのうちのいずれかの破線を選択する。すると、画像変化検出器１１１はこの選択された破線に囲まれている領域に含まれている画素のみの画像比較を行うようにする。
【００９３】
こうすることにより、ユーザにとって更に望ましいタイムラプス撮影の開始タイミングを捉えることが可能となる。
［実施例７］
この実施例は、画像変化検出器１１１に行わせる画像比較における部分領域の位置、大きさ、及び範囲をライブ像２０２上でユーザが任意に指定できるようにするものである。
【００９４】
この実施例においてモニタ１０４に表示されるアプリケーションソフト画面２００の画面例を図１７に示す。図１７に示した画面例は、領域指定実行ボタン２１８と領域指定設定ボタン２１９とが含まれている点において図４に示した画面例と異なっている。
【００９５】
ここで図１８について説明する。同図は、ＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第五の例の処理内容をフローチャートで示したものである。
図１８と図６に示した第一の例との違いは、Ｓ１０２とＳ１０３との処理の間にＳ１５１の処理が挿入されている点にある。
【００９６】
このＳ１５１では、画像比較における比較領域の設定処理が行われる。この処理を更に詳しく説明すると、まず、領域指定実行ボタン２１８の押されたことが検出されると、画像比較における部分領域の指定の入力が可能となる。ここで、ユーザがマウス等のポインティングデバイスを操作してライブ像２０２上に所望の領域を指定する。図１７ではこのようにして指定されたエリア２２０がライブ像２０２の右上付近に円状の破線で示されている。その後、領域指定設定ボタン２１９の押されたことが検出されると、この領域の位置、大きさ、範囲を示す情報（比較領域情報）がメモリ１０７に格納される。なお、この処理が行われるときのメモリ１０７のメモリマップは図１９に示されているものとなり、この比較領域情報は比較領域情報保存領域１５１に格納される。
【００９７】
その後、図１８のＳ１０８の処理において画像の比較を画像変化検出器１１１に行わせるときには、このメモリ１０７の比較領域情報保存領域１５１に格納されている比較領域情報によって示されている領域に含まれている画素のみの画像比較を行わせる。
【００９８】
以上のようにすることにより、ユーザによって設定された領域内での画像変化のみでタイムラプス撮影を開始させることができるので、ユーザにとって更に望ましいタイムラプス撮影の開始タイミングを捉えることが可能となる。
なお、上述した実施例７において、画像変化検出器１１１に行わせる画像比較における部分領域の範囲をライブ像２０２上でユーザが複数指定できるようにすることもできる。このためには、図１８に示したタイムラプス撮影処理の処理内容を示すフローチャートにおけるＳ１５１で行われる画像比較における比較領域の設定処理の処理内容を変更すればよい。
【００９９】
このときにモニタ１０４に表示されるアプリケーションソフト画面２００の画面例を図２０に示す。図２０に示した画面例は、領域指定取消ボタン２２２が含まれている点が図１７に示した画面例と異なっている。
このときに行われるＳ１５１の処理内容を説明する。
【０１００】
まず、領域指定実行ボタン２１８の押されたことが検出されると、画像比較における部分領域の指定の入力が可能となる。ここで、ユーザがマウス等のポインティングデバイスを操作してライブ像２０２上に所望の領域を指定する。図２０の例ではこのようにしてエリア２２０が指定されたものとする。ここで、領域指定設定ボタン２１９の押されたことが検出されると、エリア２２０についての比較領域情報がメモリ１０７の比較領域情報保存領域１５１に格納される。
【０１０１】
その後、領域指定実行ボタン２１８の押されたことが再度検出されると、画像比較における部分領域の指定の入力が再び可能となる。ここで、ユーザがポインティングデバイスを操作してライブ像２０２上に所望の領域を指定する。図２０の例ではこのようにしてエリア２２１が指定されたものとする。その後、領域指定設定ボタン２１９の押されたことが検出されると、エリア２２１についての比較領域情報がメモリ１０７の比較領域情報保存領域１５１に格納される。
【０１０２】
なお、ポインティングデバイスの操作によって設定済みの部分領域が選択された状態で領域指定取消ボタン２２２の押されたことが再度検出されると、その選択された部分領域が指定から解除され、この選択された部分領域に対応する比較領域情報がメモリ１０７の比較領域情報保存領域１５１から削除される。つまり、領域指定取消ボタン２２２は部分領域の指定の変更のために使用される。
【０１０３】
その後、図１８のＳ１０８の処理において画像の比較を画像変化検出器１１１に行わせるときには、このメモリ１０７の比較領域情報保存領域１５１に格納されている比較領域情報によって示されている領域に含まれている画素のみの画像比較を行わせる。
【０１０４】
以上のようにすることにより、部分領域を複数箇所設定することができるので、例えばユーザが注目領域を１箇所に絞りきれない場合であっても、ユーザにとって望ましいタイムラプス撮影の開始タイミングを捉えることが可能となる。
また、上述した実施例においては、比較領域情報をメモリ１０７の比較領域情報保存領域１５１に格納するようにしていたが、この情報をハードディスク１０８に格納するようにし、その後改めてタイムラプス撮影処理の実行が開始されるときには、比較領域情報をハードディスク１０８から読み出して使用するようにしてもよい。こうすることにより、ユーザが以前に設定した部分領域がその後のタイムラプス撮影のときに復元されるので、タイムラプス撮影を行う度に同一の設定を再度繰り返すような面倒な作業を省くことができるようになる。
【０１０５】
［実施例８］
前述した実施例７では、画像変化検出器１１１に行わせる画像比較における部分領域の範囲をライブ像２０２上でユーザが任意に指定できるようにしたものであるが、この指定は録画ボタン２０４の押下が検出される前に行えるようにしていた。これに対し、これより説明する実施例８では、録画ボタン２０４の押下が検出された後にもユーザがこの部分領域の範囲を再指定できるようにするものである。
【０１０６】
この再指定を実現させるために図１８に示したタイムラプス撮影処理の第五の例に追加される処理の内容を図２１にフローチャートで示す。このフローチャートは図１８のＳ１０６とＳ１０７との間に挿入される。
図１８のＳ１０６に続くＳ１５２では、領域指定実行ボタン２１８が押されて画像比較における部分領域の指定の入力が可能となった状態でライブ像２０２上に所望の領域が指定された上で領域指定設定ボタン２１９の押されたことが録画ボタン２０４の押下が検出された後に検出されたか否かが判定され、この判定結果がＹｅｓならばＳ１５３においてこの指定に係る比較領域情報がメモリ１０７の比較領域情報保存領域１５１に格納される。そして、このＳ１５３の処理を終えたとき若しくはＳ１５２の判定の結果がＮｏであったときには図１８のＳ１０７に処理が進む。
【０１０７】
こうすることにより、録画ボタン２０４の押下前にユーザによって指定された領域と異なる領域で興味ある被写体５の変化が録画ボタン２０４の押下後に発生した若しくは発生の兆候が生じた場合等に、その領域を再指定することができるようになる。
【０１０８】
［実施例９］
これまでに説明した各実施例は、いずれも２枚の画像の比較を行い、画像に変化が生じたことが検出されたときにのみタイムラプス撮影を開始するというものであったが、これに対し、これより説明する実施例９では、この画像の変化が録画ボタン２０４の押下後に検出されない場合であっても、ユーザからの指示により強制的にタイムラプス撮影を開始できるようにするというものである。
【０１０９】
この再指定を実現させるために図６に示したタイムラプス撮影処理の第一の例に追加される処理の内容を図２２にフローチャートで示す。このフローチャートは図６のＳ１０６とＳ１０７との間に挿入される。
図６のＳ１０６に続くＳ１１６では、録画ボタン２０４の押されたことがＳ１０３の処理による検出の後に改めて検出されたか否かが判定され、この判定結果がＹｅｓならば図６のＳ１１１に処理を進めてタイムラプス撮影によって撮影された画像の保存処理を開始させる。一方Ｓ１０６の判定結果がＮｏならばＳ１０７に処理を進める。
【０１１０】
こうすることにより、録画ボタン２０４押下後であって未だタイムラプス撮影が開始されていない段階で、ユーザにとって興味ある変化が被写体５に発生した若しくは発生の兆候が生じた場合等に、その時点で録画ボタン２０４を再度押下することで強制的にタイムラプス撮影が開始されるので、よりユーザが所望するものに近いタイミングでタイムラプス撮影を開始させることができるようになる。
【０１１１】
なお、このタイムラプス撮影の強制開始機能を実施例１以外の他の既述の実施例で実現させることもできる。
［実施例１０］
前述した実施例６においては、画像変化検出器１１１に行わせる画像比較における部分領域の範囲の大きさをユーザが選択できるようにしたものについて説明したが、これに対し、これより説明する実施例１０では、画像比較における部分領域の位置をユーザが選択できるようにしたものである。
【０１１２】
図２３に示すライブ像２０２には実線にて９分割のブロックが示されている。ユーザはマウスなどのポインティングデバイスやアプリケーションソフト画面２００に設けられる設定メニューにて、これらのうちのいずれかのブロックを選択する。すると、画像変化検出器１１１はこの選択されたブロックの領域に含まれている画素のみの画像比較を行うようにする。
【０１１３】
こうすることにより、比較領域の指定の作業が容易になり、ユーザにとって望ましいタイムラプス撮影の開始タイミングを捉えることが可能となる。
［実施例１１］
この実施例は、画像に変化が生じたことが検出されたことによって開始されたタイムラプス撮影を、画像の変化が生じなくなったことが検出されることによって所定枚数の撮影完了前であっても終了させるというものである。
【０１１４】
図２４について説明する。同図はＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第六の例の処理内容をフローチャートで示した図である。なお、この図２４に示した処理は図６に示したタイムラプス撮影処理の第一の例におけるＳ１１１の処理に続いて行われるものであり、このときのメモリ１０７のメモリマップは図７に示したものとなる。
【０１１５】
Ｓ１６１では、直前の図６のＳ１０７の処理によってメモリ１０７に格納されたフレームｎの画像がフレームｍ（＝１）のタイムラプス画像としてハードディスク１０８に格納される。
Ｓ１６２では、この処理の実行時にライブ像２０２として表示されていた画像がフレーム１の画像としてメモリ１０７に格納される。
【０１１６】
Ｓ１６３では、前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過するまで処理の進行が待機となる。
Ｓ１６４では、ｍ及びｎの値がそれぞれ１だけ増やされる。
Ｓ１６５では、このときにライブ像２０２として表示されていた画像がフレームｎの画像として、メモリ１０７に格納される。ここで、ｎの値が偶数であるときにはこの画像はメモリ１０７のフレーム偶数用保存領域１２２に格納され、ｎの値が奇数であるときにはこの画像はメモリ１０７のフレーム奇数用保存領域１２１に格納される。
【０１１７】
Ｓ１６６では、Ｓ１６５の処理によってメモリ１０７に格納されたフレームｎの画像と、その画像が格納される直前にメモリ１０７に格納されたフレームｎ−１の画像との比較を画像変化検出器１１１に行わせる。なお、このときに画像変化検出器１１１に行わせる画像比較の手法は、前述した実施例１、２、及び３において説明したいずれの手法を用いるものであってもよい。
【０１１８】
Ｓ１６７では、上述したＳ１６６の処理によって行われた比較の結果に基づき、フレームｎ−１からフレームｎにかけて画像に変化が生じたか否かの判定が行われ、画像に変化が生じたと判定されたとき（Ｓ１６７の判定結果がＹｅｓのとき）にはＳ１６８に処理を進める。一方、画像に変化が生じていないと判定されたときには、このタイムラプス撮影処理が終了する。
【０１１９】
Ｓ１６８では、このときにライブ像２０２として表示されていた画像がフレームｍのタイムラプス画像としてハードディスク１０８に格納される。
Ｓ１６９では、変数ｍの値が前述した図６のＳ１０２の処理によって取得された撮影枚数の設定数に達したか否かが判定され、この判定結果がＹｅｓならばこのタイムラプス撮影処理が終了する。一方、この判定結果がＮｏならばＳ１６３へ処理が戻って上述した処理が繰り返される。
【０１２０】
以上のようにすることにより、タイムラプス撮影を行っている途中で画像に変化が生じなくなった場合には、撮影枚数設定メニュー２１１に対して設定されていた記録枚数分の画像の記録が完了していなくても自動的にタイムラプスが終了する。この結果、被写体５のタイムラプス撮影時において被写体５の変化が止まった場合にはその変化のない画像がハードディスク１０８に無駄に記録されなくなるので、ハードディスク１０８の記憶容量の節約となる。
【０１２１】
なお、この実施例において、図６のＳ１０３からＳ１１０にかけての処理を削除し、Ｓ１０３の処理に続いてＳ１１１の処理がＰＣ−ＣＰＵ１１０によって行われるようにすることで、録画ボタン２０４が押下されるとタイムラプス撮影が開始され、その後、画像の変化が生じなくなったことが検出されることによって所定枚数の撮影完了前であっても終了させるようにすることができる。例えば被写体５が変化のある状態から静止状態へと収束するような場合には、タイムラプス撮影は録画ボタン２０４の押下と同時に開始されるので、このようにすることによってタイムラプス撮影開始時の画像比較処理が行われなくなる結果、録画ボタン２０４が押下されてからタイムラプス撮影が開始されるまでに要する遅延時間を短縮することができる。
【０１２２】
また、この実施例１１において、図６のＳ１０２及び図２４のＳ１６９の処理を削除し、Ｓ１０１の処理に続いてＳ１０３の処理が、そしてＳ１６８の処理に続いてＳ１６３からの繰り返し処理が、それぞれＰＣ−ＣＰＵ１１０によって行われるようにすることで、タイムラプス撮影によって記録する記録枚数の設定を廃止し、画像の変化が生じなくなったことが検出されるまでタイムラプス撮影が継続されるようにすることもできる。このようにすることにより、被写体５に変化がある状態の開始から終了までの画像が確実に記録されるので、ユーザによって所望されているものにより近いタイムラプス撮影を行うことができるようになる。
【０１２３】
また、この実施例１１において、画像変化検出器１１１に行わせる画像比較の手法として前述した実施例２又は３に示した閾値を用いた手法を採用する場合に、タイムラプス撮影の開始タイミングを得るために図６のＳ１０８において行わせる画像比較において用いられる閾値とタイムラプス撮影の終了タイミングを得るために図２４のＳ１６６において行わせる画像比較において用いられる閾値とを異なる値とするようにしてもよい。こうすることにより、タイムラプス撮影の開始タイミングと終了タイミングとをより綿密に設定することができるようになる。
【０１２４】
また、図１５に示した処理を図６のＳ１０１からＳ１１１にかけての処理に続けて行うようにする代わりに、図１８に示したタイムラプス撮影処理の第五の例に続けて図６のＳ１１１の処理を行ってから図１５に示した処理を行うようにし、このときに画像変化検出器１１１に行わせる画像比較における部分領域の位置、大きさ、及び範囲を、タイムラプス撮影の開始タイミングを得るために図１５のＳ１０８において行わせる画像比較におけるものとタイムラプス撮影の終了タイミングを得るために図２４のＳ１６６において行わせる画像比較におけるものとで別々にユーザが指定できるようにしてもよい。こうすることによっても、タイムラプス撮影の開始タイミングと終了タイミングとをより綿密に設定することができるようになる。
【０１２５】
更に、このときに実施例８において説明したものと同様の処理をこの処理に追加することにより、タイムラプス撮影の終了の検出の対象とする画像領域の設定をタイムラプス撮影が開始された後に可能とすることもできる。こうすることにより、例えばタイムラプス撮影の開始後に被写体５が移動したような場合でも、よりタイムラプス撮影の終了の検出をユーザが所望する状態に修正することができる。
【０１２６】
［実施例１２］
この実施例は、録画ボタン２０４押下後に画像の変化が検出されてタイムラプス撮影が自動的に開始されたときにその旨を示す告知を行い、また、その後に画像の変化が止んだことによりタイムラプス撮影を自動的に終了するときにもその旨を示す告知を行うというものである。
【０１２７】
まず図２５について説明する。同図はこの実施例１２に係る顕微鏡システムの構成を示している。同図に示す構成は、ＰＣ−ＣＰＵ１１０からの指示に応じた音を放音するスピーカ２２３がＰＣ１０３に設けられている点において図１に示した顕微鏡システムの構成と異なっている。
【０１２８】
この構成において、例えば図２４（及び図６）に示したタイムラプス撮影処理をＰＣ−ＣＰＵ１１０に行わせる。ここで、図６のＳ１０９の判定結果かＹｅｓとなったときにタイムラプス撮影が自動的に開始されたことを示す音をスピーカ２２３から放音させるようにし、また、図２４のＳ１６７の判定結果かＮｏとなったとき若しくは図２４のＳ１６９の判定結果かＹｅｓとなったときにタイムラプス撮影が自動的に終了することを示す音をスピーカ２２３から放音させるようにする。
【０１２９】
こうすることにより、ユーザは、録画ボタン２０４の押下後に、タイムラプス撮影が開始されたか否か、更には、タイムラプス撮影がいつ開始されいつ終了したかを確認することができるようになる。
なお、上述した実施例においては、タイムラプス撮影の開始及び終了を音により告知するようにしていたが、アプリケーションソフト画面２００上での表示によりこの告知を行うようにしてもよい。
【０１３０】
タイムラプス撮影動作の表示例を図２６に示す。この表示例は、タイムラプス撮影動作の開始及び終了を告知する文字とその日時とをアプリケーションソフト画面２００におけるライブ像２０２に重ねて表示（オーバーレイ表示）したものである。
【０１３１】
図２６（ａ）にはタイムラプス撮影が開始されたこととその開始日時が文字で示されており、ユーザがこの画面を見ることで、タイムラプス撮影の開始及びその開始日時を知ることができる。また、図２６（ｂ）にはタイムラプス撮影を終了したこと、その終了日時、及びそのときまでに行われたタイムラプス撮影によってハードディスク１０８に記録された画像の枚数が文字で示されており、ユーザがこの画面を見ることで、タイムラプス撮影の終了、その終了日時、及びこのタイムラプス撮影によって記録された画像の枚数を知ることができる。
【０１３２】
ここで、これらのメッセージと共に表示されている「ＯＫ」ボタンが押されたときにはこのメッセージが消えるようにしておくと、ライブ像２０２の観察の邪魔にならないので便利である。また、この「ＯＫ」ボタンを表示させる代わりに、上述したメッセージ文をタイムラプス撮影が開始されたときに表示させるようにし、その後一定時間が経過するとこのメッセージの表示が自動的に消えるようにしてもよい。
【０１３３】
このようにアプリケーションソフト画面２００上での表示によりタイムラプス撮影の開始及び終了の告知を行うようにすることにより、スピーカ２２３が不要となるので、顕微鏡システムの省スペース化や低コスト化が可能となる。
なお、アプリケーションソフト画面２００上での表示によりタイムラプス撮影の開始及び終了の告知を行う方法としては、上述したものの代わりに、例えば録画ボタン２０４の形状、模様、又は色彩等の視覚的な変化により行うようにしてもよい。
【０１３４】
録画ボタン２０４の視覚的な変化によってタイムラプス撮影動作を表現する例を図２７に示す。
図２７では、録画ボタン２０４に表示されている文字列の変化により、（ａ）録画ボタン押下前、（ｂ）録画ボタン押下後でタイムラプス開始前、（ｃ）タイムラプス録画中、（ｄ）タイムラプス録画終了後、が示されている。
【０１３５】
なお、録画ボタン２０４の形状や模様は変化させずに、上述した各状態に応じて録画ボタン２０４の色彩を変化させるようにしてもよい。例えば、（ａ）録画ボタン押下前は緑色、（ｂ）録画ボタン押下後でタイムラプス開始前は黄色、（ｃ）タイムラプス録画中は赤色、（ｄ）タイムラプス録画終了後は青色、などとしてもよい。
【０１３６】
［実施例１３］
この実施例は、画像の変化が検出される直前の画像もタイムラプス撮影された画像として記録するというものである。
図２８について説明する。同図はＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理の第七の例の処理内容をフローチャートで示した図である。なお、図２８において図６に示したものと同様の処理が行われる処理ステップには同一のステップ番号を付しており、その詳細な説明は省略する。
【０１３７】
Ｓ１０３において録画ボタン２０４の押されたことが検出されると、Ｓ１０４では録画ボタン２０４の押されたことが検出されたときにライブ像２０２として表示されていたフレームｎ＝１の画像がメモリ１０７に格納されるが、この実施例におけるメモリ１０７のメモリマップは図２９に示されているものとされる。
【０１３８】
図２９に示すメモリマップの第五の例と図７に示したメモリマップの第一の例とは、図２９には一時保存領域１６１が設けられている点のみにおいて異なっている。なお、Ｓ１０４の処理でメモリ１０７に格納されるフレームｎ＝１の画像は奇数フレームの画像であるから、この画像は図２９に示すフレーム奇数用保存領域１２１に格納される。
【０１３９】
続くＳ１０５において、Ｓ１０１の処理によって取得された撮影間隔に相当する時間が経過するまで処理の進行が待機となり、その待機時間が経過すると、処理はＳ１７１に進み、Ｓ１０４の処理によってメモリ１０７のフレーム奇数用保存領域１２１に格納されたフレームｎ＝１の画像がフレームｋ＝０の画像としてメモリ１０７の一時保存領域１６１に格納される。
【０１４０】
続くＳ１７２では、ｎの値が１だけ増やされると共に、ｋの値に１を加えた値を１０で除算したときの剰余が改めてｋの値とされる。
Ｓ１０７では、このときにライブ像２０２として表示されていた画像がフレームｎの画像として、メモリ１０７に格納される。ここで、ｎの値が偶数であるときにはこの画像は図２９に示すフレーム偶数用保存領域１２２に格納され、ｎの値が奇数であるときにはこの画像は図２９に示すフレーム奇数用保存領域１２１に格納される。
【０１４１】
Ｓ１０８では、Ｓ１０７の処理によってメモリ１０７に格納されたフレームｎの画像と、その画像が格納される直前にメモリ１０７に格納されたフレームｎ−１の画像との比較を画像変化検出器１１１に行わせる。このときに画像変化検出器１１１に行わせる比較の手法は、前述した実施例１、２、及び３で説明したいずれの手法を用いてもよい。
【０１４２】
Ｓ１０９では、この比較結果に基づき、フレームｎ−１からフレームｎにかけて画像に変化が生じたか否かの判定が行われる。そして、この結果、画像に変化が生じたと判定したとき（Ｓ１０９の判定結果がＹｅｓのとき）にはＳ１７３に処理を進め、一方、画像に変化が生じていないと判定したとき（Ｓ１０９の判定結果がＮｏのとき）にはＳ１７４に処理を進める。
【０１４３】
Ｓ１７３では、メモリ１０７の一時保存領域１６１に格納されているフレームｋ＝０からフレームｋ＝９にかけての画像をそれらが一時保存領域１６１に格納された順に並べられてハードディスク１０８に格納される。その後は図６のＳ１１１に処理を進め、以降は図６のＳ１１１からＳ１１５にかけての処理であるタイムラプス画像のハードディスク１０８への格納処理が行われ、その後はこのタイムラプス撮影処理が終了する。
【０１４４】
一方、Ｓ１７４の判定結果がＮｏであったときには、Ｓ１７４において、直前に行われたＳ１０７の処理によってメモリ１０７に格納されたフレームｎの画像がフレームｋの画像としてメモリ１０７の一時保存領域１６１に格納され、続くＳ１７５において、前述したＳ１０１の処理によって取得された撮影間隔に相当する時間が経過するまで処理の進行が待機となる。その後はＳ１７２へと処理を戻して上述した処理が繰り返される。
【０１４５】
以上のようにすることにより、ハードディスク１０８には、画像変化の生じた直前の１０フレームを含めて画像変化があった前後の画像が撮影枚数設定メニュー２１１に対して設定された画像の記録枚数だけ記録されるようになるので、変化前後の被写体５の様子が記録画像の再生によって観察することができ、タイムラプス撮影の利便性が更に向上する。
【０１４６】
なお、上述した実施例においては、図２９のＳ１７５の処理を設けることにより、画像に変化が生じる前の画像の取得間隔を撮影間隔設定メニュー２１０に対して設定された画像の撮影間隔に一致させていたが、このＳ１７５の待機時間をライブ像２０２の通常通りの表示更新間隔、例えば１０〜３０フレーム／秒での表示更新間隔としてもよい。こうすることにより、ハードディスク１０８には、画像変化があった直前の１０フレームの画像についてはライブ像２０２のフレームレートで取得されたものが記録され、画像変化があった後の画像は撮影間隔設定メニュー２１０に対して設定された画像の撮影間隔で取得されたものが記録されることとなり、撮影間隔設定メニュー２１０に対して設定された画像の撮影間隔が長い場合でも画像変化直前の様子を確実に捉えて記録することができるようになる。
【０１４７】
また、前述した実施例１１のように、画像に変化が生じたことが検出されたことによって開始されたタイムラプス撮影を、画像の変化が生じなくなったことが検出されることによって所定枚数の撮影完了前であっても自動的に終了させるようにしてもよく、このときに画像の変化が生じなくなったことが検出された直後の画像についても例えば１０フレーム分はハードディスク１０８に記録するようにしてもよい。こうすることにより、被写体５の変化の収束具合がより観察しやすくなる。
【０１４８】
［実施例１４］
前述した実施例１３においては、画像変化が検出された直前の画像の記録枚数が１０フレームで固定されていたが、これに対し、これより説明する実施例１４においてはこの記録枚数をユーザが設定できるようにするものである。
【０１４９】
この実施例においてモニタ１０４に表示されるアプリケーションソフト画面２００の画面例を図３０に示す。図３０に示した画面例は、タイムラプス前設定スライダバー２２４が含まれている点において図４に示した画面例と異なっている。このタイムラプス前設定スライダバー２２４は右端が０、左端が５０となっており、矢印の位置を移動させることにより画像変化が検出された直前の画像の記録枚数が設定される。そのためには、矢印が右端の位置に配置されたときには画像変化が検出された直前の画像は記録されないようにし、その位置を左端の５０までの任意位置に移動させたときには、ｋの値に１を加えた値をその移動後の位置に応じた数で除算したときの剰余を改めてｋの値とするように図２８のＳ１７２の処理を変更すればよい。
【０１５０】
こうすることにより、被写体５の状況に応じ、被写体５に生じる変化の前後の様子をよりユーザの所望する状態にて記録することができる。
なお、画像変化が検出された直前の画像の記録枚数を設定する代わりに、画像変化が検出された時からどのくらい前の時間の画像までを記録するかを設定可能としてもよい。
【０１５１】
この場合にアプリケーションソフト画面２００に設けられるタイムラプス前設定スライダバー２２４の例を図３１に示す。このタイムラプス前設定スライダバー２２４の軸は０から６０分までの時間を示しており、例えば、「０分」の位置に矢印を配置すれば画像変化が検出された直前の画像は記録されず、「３０分」の位置に矢印を移動させれば、画像変化が検出された時から３０分前の画像までを記録する設定となる。
【０１５２】
なお、この場合にハードディスク１０８に記録される画像の取得間隔は、前述した各実施例でも説明したように、ライブ像２０２の表示更新間隔でもよいし、ユーザによって設定されたタイムラプス撮影の撮影間隔でもよい。例えば、ユーザによって設定された撮影間隔で取得された画像の記録を行う場合には、タイムラプス前設定スライダバー２２４に設定された時間をこの設定されている時間間隔で除算することによって得られる記録枚数が記録されることになる。
【０１５３】
このように画像変化の検出前の画像取得の設定を時間単位で行えるようにすることで、この設定をユーザが容易に行えるようになる。
［実施例１５］
この実施例は、タイムラプス撮影によって記録される画像のデータ総量が所定量に達したときには自動的にタイムラプス撮影を終了させるというものである。
【０１５４】
今、１回のタイムラプス撮影によって記録可能なデータ量を３００Ｍｂｙｔｅまでとする。この場合には、ユーザによるタイムラプス撮影枚数の設定の状況やタイムラプスの自動終了設定の状態に拘らず、記録画像のデータ総量が３００Ｍｂｙｔｅに達した時点でタイムラプス撮影を終了させる。このためには、例えば図６のＳ１１３の処理とＳ１１４の処理との間に、ハードディスク１０８の記録した画像のデータ総量を取得する処理ステップを設け、このデータ総量が３００Ｍｂｙｔｅを超えたときにはＳ１１４には処理を進めずに直ちにタイムラプス撮影処理を終了させるようにすればよい。
【０１５５】
こうすることにより、長時間に渡るタイムラプス撮影によってハードディスク１０８の記憶容量を圧迫することが防止でき、また、複数人で１台のＰＣを様々な用途に共用している場合などに、画像データでハードディスク１０８の記憶容量を占有してしまうといったことも防止できる。
【０１５６】
なお、この実施例における自動的にタイムラプス撮影を終了させる基準となる記録画像のデータ総量をユーザが任意に設定できるようにしてもよく、こうすることにより、ユーザの使用状況、ハードディスク１０８の空き容量や使用ポリシーなどに応じて適切に画像データの量的制限を行うことが可能となる。
【０１５７】
また、このようにタイムラプス撮影を終了させる基準となる記録画像のデータ総量をユーザが設定する代わりに、このデータ総量がハードディスク１０８の空き容量に基づいて自動的に決定されるようにしてもよい。
例えば、ハードディスク１０８の空き容量を常に５００Ｍｂｙｔｅだけ確保するとした場合、タイムラプス撮影は、ハードディスク１０８の空き容量が５００Ｍｂｙｔｅを割る時点で強制的に終了させるようにする。
【０１５８】
こうすることにより、ユーザがハードディスク１０８の空き容量について特に気をかけることなくタイムラプス撮影を行ってしまっても、画像の記録によってハードディスク１０８の空き容量が全く消滅してしまうようなことが防止される。
【０１５９】
ところで、各実施例で説明したＰＣ−ＣＰＵ１１０によって行われるタイムラプス撮影処理は、この処理をＰＣ１０３に行わせる制御プログラムをコンピュータ読み取り可能な記録媒体に記録させておき、その制御プログラムを記録媒体からＰＣ１０３に読み込ませてＰＣ−ＣＰＵ１１０で実行させることで実現される。記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、フレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体等が利用できる。
【０１６０】
また、記録媒体は通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータシステムへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムを実行できるようになる。
【０１６１】
その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、上述した実施形態においては、顕微鏡一体型のカメラをＰＣ１０３により制御していたが、ＰＣ１０３によって行われている制御機能を実現する制御部を顕微鏡本体に備えるようにすれば、ＰＣ１０３は不要となる。
【０１６２】
また、携帯式デジタルカメラや、撮像処理部分と表示操作部分が別体になったカメラヘッド分離型顕微鏡用デジタルカメラなどに本発明を適用することもできるし、ＰＣ１０３と接続可能な携帯式デジタルカメラをＰＣ１０３で制御して本発明を実現してもよい。
【０１６３】
（付記１） 前記試料変化検出手段は、異なる時刻に撮像された前記試料が表されている２枚の画像の比較の結果に基づいて前記検出を行うことを特徴とする請求項１に記載の顕微鏡システム。
（付記２） 前記試料変化検出手段は、前記２枚の画像の間に所定の閾値以上の違いを認めたときに前記試料に変化が生じたと判定することを特徴とする付記１に記載の顕微鏡システム。
【０１６４】
（付記３） 前記閾値の設定指示を取得する閾値設定指示取得手段を更に有することを特徴とする付記２に記載の顕微鏡システム。
（付記４） 前記２枚の画像は、連続して撮像された画像であることを特徴とする付記１に記載の顕微鏡システム。
【０１６５】
（付記５） 前記２枚の画像のうちの一方は、前記許可指示取得手段が前記指示を取得する前に撮像された画像であることを特徴とする付記１に記載の顕微鏡システム。
（付記６） 前記試料変化検出手段は、前記２枚の画像の各々における所定の領域内に含まれる部分画像の比較の結果に基づいて前記検出を行うことを特徴とする付記１に記載の顕微鏡システム。
【０１６６】
（付記７） 前記所定の領域の位置を設定する指示を取得する領域位置設定指示取得手段を更に有することを特徴とする付記６に記載の顕微鏡システム。
（付記８） 前記領域位置設定指示取得手段は、前記所定の領域の位置を設定する指示を、前記許可指示取得手段が前記タイムラプス撮影の動作開始を許可する旨の指示を取得する前に取得することを特徴とする付記７に記載の顕微鏡システム。
【０１６７】
（付記９） 前記領域位置設定指示取得手段は、前記許可指示取得手段が前記タイムラプス撮影の動作開始を許可する旨の指示を取得した後に、前記所定の領域の位置を再設定する指示を取得し、
前記前記試料変化検出手段は、再設定された前記位置に係る所定の領域内に含まれる部分画像の比較の結果に基づいて前記検出を行うことを特徴とする付記８に記載の顕微鏡システム。
【０１６８】
（付記１０） 前記所定の領域の位置を設定する指示は、前記画像に対して予め設定されている複数の部分領域からの選択の結果であることを特徴とする付記７に記載の顕微鏡システム。
（付記１１） 前記所定の領域の位置を設定する指示は、前記画像を構成する画素の位置を示す情報でなされることを特徴とする付記７に記載の顕微鏡システム。
【０１６９】
（付記１２） 前記タイムラプス撮影の動作を開始させる指示を取得するタイムラプス撮影動作開始指示取得手段を更に有し、
前記タイムラプス撮影動作開始制御手段は、前記許可指示取得手段によってタイムラプス撮影の動作開始を許可する旨の指示が取得された後に前記タイムラプス撮影動作開始指示取得手段によって前記タイムラプス撮影の動作を開始させる指示が取得されたときには、前記試料を被写体として行われる前記タイムラプス撮影の動作を開始させる制御を行う、
ことを特徴とする請求項１に記載の顕微鏡システム。
【０１７０】
（付記１３） 前記試料変化検出手段は、異なる時刻に撮像された前記試料が表されている２枚の画像の比較の結果に基づいて前記試料の変化が止んだことの検出を行うことを特徴とする請求項２に記載の顕微鏡システム。
（付記１４） 前記試料変化検出手段は、前記２枚の画像の間に所定の閾値以上には違いが認められなかったときには前記試料の変化が止んだと判定することを特徴とする付記１３に記載の顕微鏡システム。
【０１７１】
（付記１５） 前記閾値の設定指示を取得する閾値設定指示取得手段を更に有することを特徴とする付記１４に記載の顕微鏡システム。
（付記１６） 前記試料変化検出手段は、前記２枚の画像の各々における所定の領域内に含まれる部分画像の比較の結果に基づいて前記試料に変化が生じたことの検出を行い、該２枚の画像の各々における該所定の領域とは異なる所定の領域内に含まれる部分画像の比較の結果に基づいて前記試料の変化が止んだことの検出を行うことを特徴とする付記１３に記載の顕微鏡システム。
【０１７２】
（付記１７） 前記タイムラプス撮影動作開始制御手段が前記制御を行ったことを報知するタイムラプス撮影動作開始報知手段を更に有することを特徴とする請求項１に記載の顕微鏡システム。
（付記１８） 前記タイムラプス撮影動作開始制御手段が前記タイムラプス撮影の動作を終了させる制御を行ったことを報知するタイムラプス撮影動作終了報知手段を更に有することを特徴とする請求項２に記載の顕微鏡システム。
【０１７３】
（付記１９） 前記許可指示取得手段によってタイムラプス撮影の動作開始を許可する旨の指示が取得されてから所定の時間間隔をおいて間欠的に前記試料を被写体として撮影して得られた被写体の画像を格納する制御を行うタイムラプス撮影動作開始前画像格納制御手段を更に有することを特徴とする請求項１に記載の顕微鏡システム。
【０１７４】
（付記２０） 前記所定の間隔は前記タイムラプス撮影の撮影間隔と同一であることを特徴とする付記１９に記載の顕微鏡システム。
（付記２１） タイムラプス撮影動作開始前画像格納制御手段による制御によって格納される画像の枚数を設定する指示を取得するタイムラプス撮影動作開始前画像格納枚数指示取得手段を更に有し、
前記タイムラプス撮影動作開始前画像格納制御手段は、前記被写体の画像のうち、前記許可指示取得手段がタイムラプス撮影の動作開始を許可する旨の指示を取得した時刻以前に撮影された画像を該時刻に近い順に前記枚数分だけ格納する制御を行う、
ことを特徴とする付記１９に記載の顕微鏡システム。
【０１７５】
（付記２２） 前記タイムラプス撮影の動作によって撮影された画像が格納される画像格納手段と、
前記画像格納手段に前記画像を格納する余裕がなくなったときに前記制御によって開始させたタイムラプス撮影の動作を終了させる制御を行うタイムラプス撮影動作終了制御手段と、
を更に有することを特徴とする請求項１に記載の顕微鏡システム。
【０１７６】
【発明の効果】
以上詳細に説明したように、本発明は、タイムラプス撮影の動作開始を許可する旨の指示を取得し、該指示を取得した後に観察対象である試料に変化の生じたことが検出されたときに、該試料を被写体として行われる該タイムラプス撮影の動作を開始させるようにする。
【０１７７】
こうすることにより、システムの使用者がタイムラプス撮影の動作開始を許可する指示を行ったのみではタイムラプス撮影の動作は開始されず、その指示の後に観察対象である試料に変化が生じたときにタイムラプス撮影の動作が開始されるので、使用者がその指示をした後に試料の監視を続けなくても記録媒体が無駄に消費されることなく試料の変化の様子を確実にタイムラプス撮影することが可能となる結果、タイムラプス撮影の使いやすさが向上するという効果を奏する。
【図面の簡単な説明】
【図１】本発明を実施する顕微鏡システムの構成を示す図である。
【図２】図１に示した顕微鏡システムの機能構成を示す図である。
【図３】調光ボリュームの回転角度とＣＣＤが受光する光量との関係をグラフで示した図である。
【図４】アプリケーションソフト画面の画面例を示す図（その１）である。
【図５】アプリケーションソフト画面の画面例を示す図（その２）である。
【図６】タイムラプス撮影処理の第一の例の処理内容を示すフローチャートである。
【図７】メモリ１０７のメモリマップの第一の例を示す図である。
【図８】アプリケーションソフト画面の画面例を示す図（その３）である。
【図９】変化検出レベル設定バーの変形例を示す図である。
【図１０】タイムラプス撮影処理の第二の例の処理内容を示すフローチャートである。
【図１１】メモリ１０７のメモリマップの第二の例を示す図である。
【図１２】タイムラプス撮影処理の第三の例の処理内容を示すフローチャートである。
【図１３】メモリ１０７のメモリマップの第三の例を示す図である。
【図１４】アプリケーションソフト画面の画面例を示す図（その４）である。
【図１５】タイムラプス撮影処理の第四の例の処理内容を示すフローチャートである。
【図１６】画像比較の対象とする領域を示す図である。
【図１７】アプリケーションソフト画面の画面例を示す図（その５）である。
【図１８】タイムラプス撮影処理の第五の例の処理内容を示すフローチャートである。
【図１９】メモリ１０７のメモリマップの第四の例を示す図である。
【図２０】アプリケーションソフト画面の画面例を示す図（その６）である。
【図２１】タイムラプス撮影処理の第五の例に追加される処理内容を示すフローチャートである。
【図２２】タイムラプス撮影処理の第一の例に追加される処理内容を示すフローチャートである。
【図２３】分割表示されているライブ像を示す図である。
【図２４】タイムラプス撮影処理の第六の例の処理内容を示すフローチャートである。
【図２５】実施例１２に係る顕微鏡システムの構成を示す図である。
【図２６】タイムラプス撮影動作の表示例を示す図（その１）である。
【図２７】タイムラプス撮影動作の表示例を示す図（その２）である。
【図２８】タイムラプス撮影処理の第七の例の処理内容を示すフローチャートである。
【図２９】メモリ１０７のメモリマップの第五の例を示す図である。
【図３０】アプリケーションソフト画面の画面例を示す図（その７）である。
【図３１】タイムラプス前設定バーの他の例を示す図である。
【符号の説明】
１ ＬＥＤ照明ユニット
２ ＬＥＤ
３ コレクタレンズ
４ ステージ
５ 被写体
６、７ 結像レンズ群
８ ＣＣＤ
１０ ズーム機構
１１ ズームボリューム
１２ ズームレンズ
１３ 調光ボリューム
１６ ＣＰＵ
２１ ＬＥＤ駆動パルス発生器
１０１ 回路
１０２ 通信制御系
１０３ パーソナルコンピュータ
１０４ モニタ
１０５ 通信ケーブル
１０６ ＰＣ−通信制御系
１０７ メモリ（ＲＡＭ）
１０８ ハードディスク（ＨＤ）
１０９ モニタ制御系
１１０ ＰＣ−ＣＰＵ
１１１ 画像変化検出器
１２１ フレーム奇数用保存領域
１２２ フレーム偶数用保存領域
１２３ ライブ像表示用領域
１２４ アプリケーション使用領域
１３１ ライブフレーム奇数用保存領域
１３２ ライブフレーム偶数用保存領域
１４１ ライブフレーム０用保存領域
１４２ ライブフレームｎ用保存領域
１５１ 比較領域情報保存領域
１６１ 一時保存領域
２００ アプリケーションソフト画面
２０１ 機種名表示
２０２ ライブ像
２０３ 撮影ボタン
２０４ 録画ボタン
２０６ 露出バー
２０８ 終了ボタン
２０９ 画面切り替えボタン
２１０ 撮影間隔設定メニュー
２１１ 撮影枚数設定メニュー
２１２ タイムラプス選択ボタン
２１３ 撮影画像
２１４、２１５ 変化検出レベル設定バー
２１６ フレーム０画像入力
２１７ フレーム０画像設定ボタン
２１８ 領域指定実行ボタン
２１９ 領域指定設定ボタン
２２０、２２１ エリア
２２２ 領域指定取消ボタン
２２３ スピーカ
２２４ タイムラプス前設定スライダバー[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique used in a microscope system, and more particularly, to a time-lapse photography technique of intermittently photographing a sample to be observed at predetermined time intervals and recording an obtained image of the sample.
[0002]
[Prior art]
Regarding time-lapse photography (also referred to as interval photography) in which a subject is intermittently photographed at predetermined time intervals and an obtained image of the subject is recorded, for example, the following technology has been conventionally proposed.
[0003]
Patent Literature 1 discloses a dual-use camera in which an electronic still camera and a silver halide film camera that capture a subject image using a common optical system are housed in the same housing. The dual-use camera allows the photographer to arbitrarily set the photographing order, the number of frames, the delay time from photographing by one camera to photographing by the other camera, and time interval in time-lapse photographing. It is described that it is configured.
[0004]
Patent Document 2 discloses a camera having a time-lapse shooting function, in which a shooting interval is changed based on a change in a subject recognized based on a difference between an image shot this time and an image shot last time, and There has been disclosed an imaging apparatus configured to be able to present a shooting interval to a user during reproduction.
[0005]
Patent Document 3 discloses that when a shooting start time and a shadow ending time of time-lapse shooting are set, a shooting interval is automatically determined from the remaining number of images that can be recorded on a recording medium, and time-lapse shooting is performed at the time interval from the shooting start time. Is disclosed.
[0006]
[Patent Document 1]
JP-A-5-134312
[Patent Document 2]
JP-A-2002-218309
[Patent Document 3]
JP-A-11-112852
[0007]
[Problems to be solved by the invention]
In the dual-use camera disclosed in Patent Document 1, it is necessary for the photographer to set all photographing conditions for time-lapse photography, and the photographer has to give an instruction to start photographing. Therefore, for example, in the case of performing time-lapse photography at the moment of hatching of an egg, the observer constantly monitors the subject, and when a change occurs in the subject, the observer needs to immediately issue a photographing command to this camera. .
[0008]
Further, the photographing device disclosed in Patent Document 2 performs time-lapse photographing and recording even while no change occurs in the subject, so that the photographer once instructs the start of the time-lapse photographing operation. In such a case, the recording medium is wastefully consumed for recording an unnecessary image, and a desired image may be missed.
[0009]
In addition, when an image captured by time-lapse photography with this photographing device is reproduced, the photographing interval is presented to the user, but the presentation of the photographing interval is merely displayed by the hands, and the uniformity of the speed at which time flows is shown. Is lost, and it is not easy to grasp the change of the subject per unit time from the reproduced image.
[0010]
Further, in the digital still camera disclosed in Patent Document 3, since the observer must set in advance the time of the start of the time-lapse photography, the subject whose time at which the change starts to be uncertain is time-lapsed. It was difficult to shoot.
[0011]
The present invention has been made in view of the above problems, and a problem to be solved is to improve the usability of time-lapse photography.
[0012]
[Means for Solving the Problems]
A microscope system according to one aspect of the present invention includes a sample change detection unit that detects that a change has occurred in a sample to be observed and a permission instruction acquisition that acquires an instruction to permit an operation start of time-lapse imaging. Means, and time-lapse imaging operation start control means for performing control to start the time-lapse imaging operation performed on the sample as a subject when the detection is performed after obtaining the instruction. Solves the above-described problem.
[0013]
According to this configuration, the operation of the time-lapse imaging is not started only by the user of the system instructing to start the operation of the time-lapse imaging, and when the sample to be observed changes after the instruction. Since the operation of time-lapse photography is started, even if the user does not continue to monitor the specimen after giving an instruction, it is possible to reliably perform time-lapse photography of the change of the specimen without wasting the recording medium. As a result, the usability of time-lapse shooting is improved.
[0014]
In the above-described microscope system according to the present invention, when the sample change detecting means detects that the change of the sample has stopped, the control for terminating the time-lapse imaging operation started by the above-described control is performed. You may comprise so that it may further have a time-lapse imaging | photography operation completion | finish control means.
[0015]
By doing so, the time-lapse imaging operation ends after the change of the sample stops, so that wasteful consumption of the recording medium is prevented.
According to another aspect of the present invention, there is provided a microscope system control method, which obtains an instruction to permit an operation start of time-lapse imaging, and that after the instruction is obtained, a change occurs in a sample to be observed. By starting the operation of the time-lapse photography performed by using the sample as a subject when detected, the same operation and effect as the microscope system according to the above-described present invention can be obtained. Will be resolved.
[0016]
Note that even with a control program for causing a computer to execute the control method of the microscope system described above, by executing the control program on the computer, the same operations and effects as those of the microscope system according to the present invention described above are obtained. As a result obtained from the computer, the above-mentioned problem is solved.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration of a microscope system embodying the present invention, and FIG. 2 shows a functional configuration of the microscope system shown in FIG.
[0018]
The LED lighting unit 1 has an LED (light emitting diode) 2 and a collector lens 3, and collects light emitted from the LED 2 by the collector lens 3 to collect a sample 5 as a subject 5 fixed on a stage 4. Perform lighting.
The image of the subject 5 illuminated by the LED illumination unit 1 is imaged by the imaging lens groups 6 and 7 on the surface of a CCD (charge coupled device) 8 which is an image sensor. When the subject image is converted into an electric signal by the CCD 8, the electric signal is converted by an AD converter in the circuit 101 into digital data (image data) representing an image representing the subject image. This image data is transmitted to a personal computer (hereinafter, referred to as “PC”) 103 via a communication cable 105 via a communication control system 102.
[0019]
The PC 103 converts the received image data and generates an image signal for displaying an image represented by the image data on the monitor 104. The monitor 104 displays an image representing the subject 5 by receiving the image signal.
[0020]
Here, the size of the image of the subject 5 formed on the surface of the CCD 8 can be changed by the zoom mechanism 10. The zoom mechanism 10 is configured so that the position of the zoom lens 12 changes when the zoom volume 11 is rotated, and this configuration changes the projection magnification of the image of the subject 5.
[0021]
The zoom mechanism 10 has a configuration in which the zoom lens group 12 moves by rotating the zoom axis, and the projection magnification can be changed.
The circuit 101 has a functional configuration as shown in FIG.
The dimming volume 13 is rotated so that the user of the microscope system can adjust the brightness of the subject 5 illuminated by the LED illumination unit 1.
[0022]
When the user operates the zoom volume control 11 or the light control volume 13, the operation amount is input to a CPU (Central Processing Unit) 16. The CPU 16 outputs an LED control signal according to the input of the operation amount for these volumes. The LED drive pulse generator 21 generates a pulse signal (drive pulse) for driving the LED 2 based on the LED control signal. The light emitted from the LED lighting unit 1 is modulated by the driving pulse.
[0023]
The LED drive pulse generator 21 interrupts power supply to the LED 2 of the LED lighting unit 1. This dimming is performed by varying the energizing pulse width t at this time based on the amount of operation on the zoom volume 11 or the dimming volume 13. Here, the energization pulse width t is changed from the minimum pulse width tmin to the maximum pulse width according to, for example, a value from 0 to 255 indicated by the LED control signal input to the LED drive pulse generator 21.
[0024]
Note that the LED drive pulse generator 21 also generates a drive pulse for controlling the drive of the CCD 8. Note that the pulse width T of the drive pulse for the CCD 8 is synchronized with the above-described energization pulse width t, and the power supply to the LED 2 of the LED lighting unit 1 is turned off during the period in which the imaging operation by the CCD 8 is not performed. By doing so, waste of power consumption by the LED 2 can be reduced.
[0025]
The CPU 16 is connected to the PC 103 via the communication control system 102 and the communication cable 105.
As shown in FIG. 2, the functional configuration of the PC 103 includes a PC (communication control system) 106 that manages communication with the microscope main body, a memory (RAM) 107 that temporarily stores images and application software in operation, and the like. , A hard disk (HD) 108 for storing images and application software execution objects, a monitor 104 for providing various information to the user by display, information generated by executing images and application software in the memory 107, and the like. The monitor control system 109 converts the information of the subject 5 into an image signal that can be displayed on the monitor 104, compares the image represented by the image data stored in the memory 107, and based on the comparison result, Image change detector 111 for detecting changes, central actor for controlling the operation of PC 103 And a PC-CPU 110 is a processing unit.
[0026]
The hard disk 108 stores an execution object of microscope control application software that can communicate with the microscope main body, control imaging, display and edit a captured image, and the like.
Next, the operation of the microscope system shown in FIGS. 1 and 2 will be described.
[0027]
First, when the user rotates the light control volume 13, the resistance value of the light control volume 13 changes according to the rotation angle. The voltage input to the CPU 16 is determined based on the resistance value, and this voltage is digitized by an A / D converter included in the CPU 16. Further, a numerical value corresponding to the rotation angle of the zoom volume 11 is obtained by the CPU 16 in the same manner.
[0028]
The CPU 16 outputs an LED drive control signal such that an appropriate amount of light is emitted from the LED lighting unit 1 based on the positions of the light control volume 13 and the zoom volume 11.
The LED drive pulse generator 21 generates an LED drive pulse in which the energization pulse width t is changed according to the LED drive control signal. For example, when the position of the light control volume 13 is set to a position of 1/2 and the zoom volume 11 is set to a position indicating a projection magnification of 1, the value indicated by the LED drive control signal is one of 0 to 255. The value becomes 127 which is exactly half the value, and the energizing pulse width t of the LED driving pulse is controlled so that the energizing is performed for a time which is about half of the driving pulse width T of the CCD 8.
[0029]
Further, for example, when the position of the light control volume 13 is set to the minimum position, the value indicated by the LED drive control signal becomes the minimum value of 0, and in this case, the energizing pulse width t of the LED drive pulse becomes the minimum width tmin. And illumination of the subject 5 in the shortest time. On the other hand, for example, when the position of the light control volume 13 is set to the maximum position, the value indicated by the LED drive control signal is 255 which is the maximum value, and in this case, the energizing pulse width t of the LED drive pulse is the maximum. Thus, while the CCD 8 is being driven, the LED 2 is always turned on.
[0030]
That is, as shown in FIG. 3, by changing the rotation position of the light control volume 13, continuous light control of the illumination light becomes possible. In addition, since the change in color temperature is suppressed by performing light control by pulse control synchronized with the drive pulse of the CCD 8, it is possible to perform light control that can be observed on the monitor 104.
[0031]
Next, the operation of the microscope system when the application software for controlling the operation of the microscope system shown in FIG. 1 is executed by the PC-CPU 110 will be described.
First, the microscope main body and the PC 103 are connected via the communication cable 15 to configure the system shown in FIG.
[0032]
Here, when the user operates the PC 103 to execute the microscope control application software stored in the hard disk 108 on the PC-CPU 110, an application software screen 200 as shown in FIG. The contents of the processing performed in the microscope system by executing the microscope control application software will be described.
[0033]
When the execution of the microscope control application software is started, first, the PC 103 performs a process of acquiring the model name of the microscope connected via the communication cable 105. In this process, first, a microscope type acquisition command “GetCamera” is issued from the PC-CPU 110 via the PC-communication control system 106. This command is received by the communication control system 102 of the microscope main body and passed to the CPU 16.
[0034]
Upon receiving this command, the CPU 16 causes the communication control system 102 to transmit information indicating the model name of the microscope (here, the model name of the microscope is “DC-1”). Note that the reply command to be transmitted in this case is “GetCamera DC-1” because the received command has a format in which a space and a response value are added to the received command.
[0035]
The PC-CPU 110 receives this reply command and recognizes that the connected microscope is “DC-1”. When this reply command is received, the PC 110 displays the application software screen 200 on the PC monitor 104 using this information.
[0036]
The application software screen 200 shown in FIG. 4 will be described.
The model name display 201 displays a model name “DC-1” acquired by the above-described communication performed with the microscope main body.
The live image 202 is a moving image that displays an image of the subject 5 currently acquired by the CCD 8 in real time, and updates a still image by, for example, about 10 to 30 frames per second.
[0037]
Here, an operation of moving the position display cursor to the position of the shooting button 203 and clicking the same is performed by the user on the operation unit of the PC 103 (hereinafter, such an operation is simply referred to as “the shooting button 203 is pressed”). Then, the live image 202 displayed on the application software screen 200 at that time is stored in the hard disk 108 as a still image.
[0038]
Further, when the recording button 204 is pressed in a state in which the time lapse shooting button 212 is set to “not perform” the time lapse shooting, the recording of the live image 202 is started, and the moving image displayed on the live image 202 is displayed in the live image 202. Is recorded on the hard disk 108 at the same display frame rate. Here, when the recording button 204 is pressed again, the recording on the hard disk 108 ends.
[0039]
At this time, the number of frames of the moving image recorded on the hard disk is determined by a time (recording time) elapsed from when the recording button 204 is pressed to start recording to when the recording button 20 is pressed again and recording ends. Since the display frame rate of the live image 202 is multiplied, for example, if the frame rate is 10 frames / second and the recording time is 20 seconds, 10 frames / second × 20 seconds = 200 frames Is recorded on the hard disk 108 as one moving image file.
[0040]
When the moving image file is created, the display frame rate is recorded in the moving image file, and when the moving image file is reproduced, the moving image is reproduced according to the display frame rate. By doing so, the change of the subject 5 can be observed from the reproduced image as well as the live image 202.
[0041]
The exposure bar 206 is used to set the brightness of the image displayed as the live image 202. An exposure setting command “SetExp n” is transmitted from the PC 103 to the microscope according to the position of the arrow indicated by the bar. Is done. Here, n is a numerical value set according to the bar position of the exposure bar 206.
[0042]
The end button 208 is a button that is pressed when the execution of the microscope control application software ends.
A screen switching button 209 is used to display a “camera” button that is pressed to display a screen for controlling the operation of the microscope main body such as a shooting operation as an application software screen 200, and a screen for viewing a captured image later. And a “browse” button that is pressed to be displayed as the software screen 200. The application software screen 200 shown in FIG. 4 is a screen displayed when the “camera” button is pressed, and the screen displayed when the “view” button is pressed is shown in FIG. Have been.
[0043]
In FIG. 5, four images are displayed as captured images 213, and the captured images can be confirmed on this screen.
The shooting interval setting menu 210 is a pull-down menu used to set the shooting interval of a plurality of images recorded by time-lapse shooting, and can be set from 1 second to 60 minutes in the present embodiment. .
[0044]
The shooting number setting menu 211 is a pull-down menu used to set the number of images to be recorded by time-lapse shooting. In the present embodiment, setting from one to 2,000 is possible.
Hereinafter, the operation of the microscope system when the time-lapse shooting “Yes” is selected with the time-lapse selection button 212 on the screen illustrated in FIG. 4 will be described. Note that the time-lapse shooting in the present embodiment is to record a moving image at a rate lower than the display frame rate of the live image 202, and to designate the number of images to be recorded by recording, thereby allowing the user to instruct the recording end. An intermittent recording function that can automatically end recording without performing an operation for the recording. By using the display frame rate of the live image 202 as the frame rate at which the moving image recorded by the time-lapse shooting is reproduced, the change of the subject 5 over a long period of time can be seen at a fast-forward.
[0045]
[Example 1]
Referring to FIG. FIG. 4 is a flowchart showing the processing contents of a first example of the time-lapse photographing processing performed by the PC-CPU 110.
First, in S101, the setting contents of the photographing interval of the image made on the photographing interval setting menu 210 are acquired. In the example of the screen in FIG. 4, “5 seconds” is selected, so that an image every 5 seconds is recorded on the hard disk 108. That is, one frame is added to the recorded file every five seconds, and the recorded file grows.
[0046]
Next, in S102, the setting of the number of recorded images made on the shooting number setting menu 211 is acquired. In the example of the screen in FIG. 4, “200 images” is selected, so that the time-lapse photography in which the recording of the image for 200 frames is completed automatically ends. Therefore, an image for 200 frames is stored in the hard disk 108 as one moving image file.
[0047]
The time-lapse shooting when such a setting is performed will be described. When the frame rate of the time-lapse shooting is set to 0.2 frames / sec (= 5 seconds / frame) and the number of shots is set to 200 frames, The shooting time of time-lapse shooting is 200 [sheets] × 5 [sec / sheet] = 1000 seconds. When playing back a moving image file obtained by time-lapse shooting performed under this setting, if the frame rate of the playback display is set to, for example, 10 frames / second, which is the rate of the live image 202, a recording time of 1000 seconds is consumed. The damaged time-lapse recording file is reproduced at 50 × speed for 20 seconds. This makes it possible to observe a change in the subject 5 over a long period of time by recording and reproducing in a short time.
[0048]
Next, when it is detected in S103 that the recording button 204 has been pressed, in S104, image data representing an image of the subject 5 displayed as the live image 202 at that time (hereinafter simply referred to as “ “Image”) is stored in the memory 107. This image is defined as an image of frame 1 (n = 1).
[0049]
Here, FIG. 7 will be described. FIG. 3 shows a first example of a memory map of the memory 107. In the process of S104 described above, since the image of the odd frame is stored in the memory 107, the image displayed as the live image 202 is stored in the frame odd storage area 121 shown in FIG. The various images stored in the live image display area 123 and the application use area 124 used by the PC-CPU 110 to execute the application program are not affected by the image. .
[0050]
Next, in S105, the progress of the process is on standby until the time corresponding to the shooting interval acquired in the above-described process of S101 elapses. During this standby, the normal display update processing of the live image 202 at, for example, 10 to 30 frames / sec may be continued using the live image display area 123.
[0051]
Thereafter, when the time corresponding to the shooting interval acquired in the above-described processing of S101 elapses, the processing proceeds to S106, and the value of n is increased by one.
In S107, the image displayed as the live image 202 at this time is stored in the memory 107 as the image of the frame n. Here, when the value of n is even, this image is stored in the frame even number storage area 122 shown in FIG. 7, and when the value of n is odd, this image is stored in the frame odd number storage area 121 shown in FIG. Is stored.
[0052]
In S108, the image change detector 111 compares the image of the frame n stored in the memory 107 by the processing of S107 with the image of the frame n-1 stored in the memory 107 immediately before the image is stored. Let
In this embodiment, if the values (RGB values) of the pixels at the same position (pixels of interest) in each of the two images match for all the pixels constituting the images, the image change detector 111 It is determined that there is no difference between the two images.
[0053]
It should be noted that the frame odd storage area 121 and the frame even storage area 122 are provided in the memory map of the memory 107 shown in FIG. This is to enable comparison of two images.
[0054]
In S109, it is determined whether or not the image has changed from frame n-1 to frame n based on the comparison result. Then, as a result, when it is determined that a change has occurred in the image (when the determination result in S109 is Yes), the process proceeds to S111, and when it is determined that no change has occurred in the image (the determination result in S109) Is No), the process proceeds to S110.
[0055]
In S110, the process is on standby until the time corresponding to the shooting interval acquired in the process of S101 described above elapses. During this standby, the normal display update processing of the live image 202 at, for example, 10 to 30 frames / sec may be continued using the live image display area 123.
[0056]
After that, when the time corresponding to the shooting interval acquired in the above-described process of S101 elapses, the process returns to S106, and the above-described process is repeated.
By the way, when the result of the determination processing in S109 is Yes, the value “1” is substituted for the variable m in S111.
[0057]
In S112, the image displayed as the live image 202 at this time (when m = 1, the image of the frame n stored in the memory 107 by the immediately preceding process of S107) is stored in the hard disk 108 as a time-lapse image of the frame m. Is done.
[0058]
In S113, it is determined whether or not the value of the variable m has reached the set number of shots acquired in the process of S102 described above. If the determination result is Yes, the time-lapse shooting process ends.
On the other hand, if the result of the determination process in S113 is No, the value of m is increased by 1 in S114, and the process proceeds in S115 until a time corresponding to the shooting interval acquired in the process of S101 described above elapses. , The process returns to S112, and the process of storing the acquired image in the hard disk 108 is repeated.
[0059]
As described above, in the time-lapse shooting performed by the processing shown in FIG. 6, the user sets the time interval and the number of shots and then presses the recording button 204 to instruct the start of the time-lapse recording. Also, while no change occurs in the subject 5, the process of storing the image in the hard disk 108 is not performed. However, once it is detected that a change has occurred in the subject 5, thereafter, images sequentially acquired at the time intervals set by the user are stored in the hard disk 108.
[0060]
Therefore, for example, in the case of recording the hatching of an egg, if the start permission of the time-lapse recording is instructed before the change of the egg which is the subject 5 occurs, the change of the egg starts regardless of the time interval and the number of shots. Since time-lapse recording from the point of time becomes possible, it is not necessary for the observer to continue observing the subject and issue a recording start instruction at a timing when a change occurs.
[0061]
In the time-lapse photography realized by the processing shown in FIG. 6, the change of the subject 5 can be reliably captured as a recorded image regardless of the time interval and the number of shots set by the observer. When there is no change, for example, when recording the state of hatching of the egg, the recording is ended only with the egg having no change at all, and it is prevented that the moment of hatching is missed. Further, since the hatching scene starts from the beginning of the time-lapse image stored in the hard disk 108, it is not necessary to perform a task of searching for the scene by, for example, fast-forwarding the reproduced image.
[0062]
Further, since the image is not recorded on the hard disk 108 until the subject 5 changes, the recording capacity of the hard disk 108 can be saved.
In the first embodiment described above, the image comparison for determining whether there is a difference between the two images is performed by the image change detector 111 provided in the PC 103. An image change detection program that causes the PC-CPU 110 to perform the function of the detector 111 may be created, and this image comparison may be performed by causing the PC-CPU 110 to execute the program. It may be implemented in microscope control application software. By doing so, the image change detector 111 is deleted from the PC 103, so that a computer having a very standard configuration can be used as the PC 103.
[0063]
[Example 2]
The time-lapse photographing process performed by the PC-CPU 110 in the second embodiment is the same as that illustrated in FIG. 6 used in the first embodiment. However, the second embodiment differs from the first embodiment in the method of comparing two images performed by the image change detector 111.
[0064]
In the present embodiment, the value (RGB value) of the pixel existing at the position of the coordinate (x, y) in the image of the frame n is set to RGB (x, y) n = (Rn, Gn, Bn), and the value of the frame n + 1 If the value of the pixel at the same position in the image is RGB (x, y) n + 1 = (Rn + 1, Gn + 1, Bn + 1),
| RGB (x, y) n + 1-RGB (x, y) n |> h (h is a constant)
If even one pixel exists, it is determined that there is a change (there is a difference between the two images).
[0065]
In this case, the accuracy (probability) of the determination of “change” is determined by the threshold value h. By appropriately setting the value of the threshold h in advance, a malfunction that an image that should be originally determined to be “no change” is erroneously determined to be “changed” due to a noise component that may be included in the image may be prevented. Can be reduced.
[0066]
Here, the detection method by the image change detector 111 is as follows.
ΣΣ | RGB (x, y) n + 1−RGB (x, y) n |> H (H is a constant)
That is, the absolute value of the difference between the values of the pixels in both images is obtained, and when the sum of the obtained values of all the pixels exceeds the threshold value H, it is determined that “there is a change”. Good.
[0067]
By doing so, the presence or absence of a change in the entire image is detected, so that the above-described erroneous operation that can occur in the image change detector 111 can be more effectively reduced.
Further, an image change detection program that causes the PC-CPU 110 to perform the functions of the image change detector 111 may be created, and the image comparison may be performed by causing the PC-CPU 110 to execute the program. Further, this program may be implemented in microscope control application software.
[0068]
[Example 3]
In this embodiment, the user of the microscope system can freely set the threshold h or H used in the second embodiment.
FIG. 8 shows a screen example of the application software screen 200 displayed on the monitor 104 in this embodiment.
[0069]
The screen example shown in FIG. 8 differs from the screen example shown in FIG. 4 in that a change detection level setting bar 214 is included. In the change detection level setting bar 214, for example, h = 0 when an arrow is arranged at a “low” position, and h = 255 when an arrow is arranged at a “high” position.
[0070]
By doing so, when the change detection level setting bar 214 is set to “low”, the image change detector 111 detects “change” in both images even if there is a slight difference between the images, so that the time-lapse photographing is performed. Is started, while if the change detection level setting bar 214 is set to “high”, the time-lapse shooting is started only when there is an extremely large difference between the images.
[0071]
That is, the degree of the timing of starting the time-lapse recording due to the change in the image can be set according to the preference of the observer, so that the usability of the time-lapse recording is further improved.
Instead of the change detection level setting bar 214 shown in FIG. 8, a slider bar is displayed as a numerical value and the currently set value is displayed, that is, the change detection level setting bar shown in FIG. The bar 215 may be included in the application software screen 200. This makes it possible to numerically set the timing of the start of the time-lapse recording due to a change in the image, thereby further improving the operability. Also, the observer analyzes a plurality of captured images and time-lapse recorded images similar to the subject 5 in advance, and derives an appropriate change detection level value based on the analysis result in advance, and the values are shown in FIG. By setting with the change detection level setting bar 215, the start timing of lime-lapse recording can be made more viewer-friendly.
[0072]
[Example 4]
In this embodiment, time-lapse photography is started based on a comparison result between the live image 202 currently displayed on the application software screen 200 and the live image 202 displayed on the application software screen 200 until immediately before.
[0073]
Referring to FIG. FIG. 9 is a flowchart showing the processing contents of a second example of the time-lapse photographing processing performed by the PC-CPU 110. In FIG. 10, the same step numbers are given to the processing steps in which the same processing as that shown in FIG. 6 is performed, and the detailed description thereof will be omitted.
[0074]
If it is detected in S103 of FIG. 10 that the recording button 204 has been pressed, the image displayed as the live image 202 at that time is stored in the memory 107 in S121. This image is an image of the live frame 1 (n = 1).
Here, FIG. 11 will be described. FIG. 11 shows a second example of the memory map of the memory 107. The memory map shown in FIG. 7 and the first example of the memory map shown in FIG. 7 are different from those in FIG. 7 in that the odd storage area 121 and the even storage area 122 exist in FIG. 11 in that a live frame odd storage area 131 and a live frame even storage area 132 are provided in FIG. 11 instead of the live image display area 123 that was present in FIG.
[0075]
In the time lapse shooting process in the present embodiment, the images stored in the live frame storage area 131 and the live frame even storage area 132 in FIG. 11 are used as a reference for starting the time lapse shooting. It is also used as the display of 202.
[0076]
In the process of S121 described above, the image of the odd frame is stored in the memory 107. At this time, this image is stored in the live frame odd storage area 131 shown in FIG.
In subsequent S122, the value of n is advanced by one.
[0077]
In S123, the image displayed on the application software screen 200 as the live image 202 subsequent to the image stored in the memory 107 immediately before this processing is stored in the memory 107 as the image of the live frame n. Here, when the value of n is even, this image is stored in the live frame even storage area 132 shown in FIG. 11, and when the value of n is odd, this image is stored in the live frame odd storage area shown in FIG. 131 is stored.
[0078]
In S124, the image change detector 111 compares the image of the live frame n stored in the memory 107 by the processing of S123 with the image of the live frame n-1 stored in the memory 107 immediately before the image is stored. To be performed. At this time, the method of image comparison performed by the image change detector 111 may be either the method according to the first embodiment or the method according to the second embodiment.
[0079]
In S125, it is determined whether or not the two images have changed based on the comparison result. As a result, when it is determined that a change has occurred in the image (when the determination result in S125 is Yes), the process proceeds to S111 in FIG. 6, and thereafter, the time lapse which is the process from S111 to S115 in FIG. The process of storing the image in the hard disk 108 is performed, and then the time-lapse shooting process ends. On the other hand, when it is determined that no change has occurred in the image (when the determination result in S125 is No), the process returns to S122 and the above-described process is repeated.
[0080]
As described above, in the time-lapse shooting performed by the processing shown in FIG. 10, the live image 202 is displayed as a live image 202 displayed at a frame rate shorter than the shooting interval set in the shooting interval setting menu 210. Since the detection of the change of the subject 5 is performed using two images that are temporally continuous, it is possible to more reliably capture the moment when the change occurs in the subject 5 and use it as the timing of the start of the time-lapse shooting. It becomes possible.
[0081]
Further, since the memory map of the memory 107 can be changed from that shown in FIG. 7 to that shown in FIG. 11, the image storage area to be secured on the memory 107 is reduced accordingly. This saves the memory 107 used.
In the above-described embodiment, the criterion for starting the time lapse shooting is defined as a comparison result between the live image 202 currently displayed on the application software screen 200 and the live image 202 displayed on the application software screen 200 immediately before. However, this criterion may be a comparison result between the live image 202 currently displayed on the application software screen 200 and the live image 202 displayed on the application software screen 200 when the recording button 204 is pressed.
[0082]
FIG. 12 is a flowchart showing the content of a third example of the time-lapse photography process performed by the PC-CPU 110, which is a process for realizing this operation.
The difference between FIG. 12 and FIG. 10 already described is that in S131 following S103 in FIG. 12, the area of the memory 107 for storing the image displayed as the live image 202 when the recording button 204 is pressed is different. And that the area of the memory 107 that stores the image displayed on the application software screen 200 as the live image 202 at the time of execution of this processing differs in S132, and that the image change detector 111 performs the processing in S133. The comparison target is that the image of the live frame n stored in the memory 107 by the processing of S123 and the image of the live frame 0 stored in the memory 107 by the processing of S131.
[0083]
Here, FIG. 13 will be described. FIG. 11 shows a third example of the memory map of the memory 107. The memory map shown in the figure and the second example of the memory map shown in FIG. 11 are different from the live frame odd storage area 131 and the live frame even storage area 132 shown in FIG. The difference is that a storage area 141 for 0 and a storage area 142 for live frame n are provided.
[0084]
In the time lapse shooting process shown in FIG. 12, the image displayed as the live image 202 when the recording button 204 is pressed in the process of S131 is stored in the live frame 0 storage area 141 of the memory 107, and the process of S132 As a result, the image displayed on the application software screen 200 as the live image 202 at the time of executing this processing is stored in the storage area 141 for the live frame n of the memory 107. Then, in S133, the image change detector 111 is made to compare the images stored in both storage areas at this time. At this time, the method of image comparison performed by the image change detector 111 may be either the method according to the first embodiment or the method according to the second embodiment.
[0085]
By doing as described above, time-lapse photography is started based on a comparison result between the image at the time of pressing the recording button 204 and the current image, so that the subject 5 changes little by little with respect to the flow of time. Even in such a case, it is possible to start time-lapse recording by reliably capturing the change of the subject 5.
[0086]
Further, in addition to the above-described criteria for starting the time-lapse shooting, the image acquired according to the shooting interval set on the shooting interval setting menu 210 and the image that is acquired are displayed on the application software screen 200 when the recording button 204 is pressed. It can also be the result of comparison with the live image 202 that has been displayed. In this method, for example, the number of pixels of the CCD 8 is large, and a high-resolution image can be obtained at the shooting interval set for the shooting interval setting menu 210. This is especially effective when displaying a low-resolution image in which the number of pixels has been thinned out, and time-lapse shooting can be started based on the comparison result of the high-resolution image, so that the subject can be displayed. Even in the case where 5 changes only in a very small area on the surface, time-lapse recording can be started by reliably capturing the change in the subject 5.
[0087]
[Example 5]
In this embodiment, the user can designate an image before the change of the subject 5 as a reference for starting the time-lapse photography in the fourth embodiment.
FIG. 14 shows a screen example of the application software screen 200 displayed on the monitor 104 in this embodiment. The screen example shown in FIG. 14 differs from the screen example shown in FIG. 4 in that a frame 0 image input 216 and a frame 0 image setting button 217 are included.
[0088]
Here, FIG. 15 will be described. FIG. 9 is a flowchart showing the contents of a fourth example of the time-lapse photography process performed by the PC-CPU 110. The memory map of the memory 107 when this process is performed is as shown in FIG.
[0089]
The difference between FIG. 15 and FIG. 12 is that in S141 following S102 in FIG. 15, the file input to the frame 0 image input 216 when the frame 0 image setting button 217 in the screen example shown in FIG. The image data having the name is read from the hard disk 108 as the frame 0 image, and in the following S142, in order to compare the two images under the same condition, the image is thinned or interpolated as necessary to perform the frame. The point is that the process proceeds to S103 after the process of matching the 0 image with the format of the live frame image (the size of the image, the number of pixels, and the like) and then storing the image in the live frame 0 storage area 141 of the memory 107.
[0090]
By doing so, the user can arbitrarily designate one of the comparison images as a reference for the start of time-lapse photography, so that, for example, when time-lapse photography is repeatedly performed, the conditions for starting photography can be made uniform.
[Example 6]
This embodiment uses an image change detector in each of the processes of S108 of FIG. 6, S124 of FIG. 10, and S133 of FIGS. 12 and 14 in order to use as a reference of the start of time-lapse photography in each of the embodiments described above. The image comparison performed by 111 is performed not on the entire image but on a partial region of the image.
[0091]
In the image shown in FIG. 16A, a region of about 30% from the center position is surrounded by a broken line. The image change detector 111 performs image comparison of only the pixels included in the area surrounded by the broken line.
By doing so, even if there is a change in the image in the region outside the dotted line, the type labs shooting is not started, so that the time lapse shooting can be started only by the image change of the target part near the center of the image in the subject 5. In other words, it is possible to grasp the start timing of the time-lapse photography that is more desired by the user.
[0092]
The size of the range of the partial region in the image comparison performed by the image change detector 111 may be made selectable by the user.
In the live image 202 shown in FIG. 16B, dashed lines are drawn in regions of about 10%, 30% and 50% from the center position of the image. The user selects any of these broken lines from a pointing device such as a mouse or a setting menu provided on the application software screen 200. Then, the image change detector 111 compares only the pixels included in the area surrounded by the selected broken line.
[0093]
By doing so, it is possible to capture a more desirable time-lapse shooting start timing for the user.
[Example 7]
This embodiment allows the user to arbitrarily designate the position, size, and range of a partial area in the image comparison performed by the image change detector 111 on the live image 202.
[0094]
FIG. 17 shows a screen example of the application software screen 200 displayed on the monitor 104 in this embodiment. The screen example shown in FIG. 17 is different from the screen example shown in FIG. 4 in that an area designation execution button 218 and an area designation setting button 219 are included.
[0095]
Here, FIG. 18 will be described. FIG. 11 is a flowchart illustrating the content of a fifth example of the time-lapse photography process performed by the PC-CPU 110.
The difference between the first example shown in FIGS. 18 and 6 is that the process of S151 is inserted between the processes of S102 and S103.
[0096]
In S151, a process of setting a comparison area in the image comparison is performed. To explain this processing in more detail, first, when it is detected that the area designation execution button 218 has been pressed, it becomes possible to input designation of a partial area in image comparison. Here, the user operates a pointing device such as a mouse to specify a desired area on the live image 202. In FIG. 17, the area 220 specified in this manner is indicated by a circular broken line near the upper right of the live image 202. Thereafter, when it is detected that the area designation setting button 219 has been pressed, information (comparison area information) indicating the position, size, and range of this area is stored in the memory 107. The memory map of the memory 107 when this processing is performed is as shown in FIG. 19, and the comparison area information is stored in the comparison area information storage area 151.
[0097]
Thereafter, when the image change detector 111 performs the comparison of the images in the process of S108 in FIG. 18, the image change detector 111 is included in the area indicated by the comparison area information stored in the comparison area information storage area 151 of the memory 107. The image comparison is performed only for the pixel in question.
[0098]
By doing as described above, time-lapse shooting can be started only by an image change in the area set by the user, so that it is possible to capture a more desirable time-lapse shooting start timing for the user.
In the above-described seventh embodiment, it is possible to allow the user to specify a plurality of partial region ranges in the image comparison performed by the image change detector 111 on the live image 202. For this purpose, the processing contents of the comparison area setting processing in the image comparison performed in S151 in the flowchart showing the processing contents of the time lapse imaging processing shown in FIG. 18 may be changed.
[0099]
FIG. 20 shows a screen example of the application software screen 200 displayed on the monitor 104 at this time. The screen example shown in FIG. 20 differs from the screen example shown in FIG. 17 in that an area designation cancel button 222 is included.
The details of the processing of S151 performed at this time will be described.
[0100]
First, when it is detected that the region designation execution button 218 has been pressed, the designation of the partial region in the image comparison can be input. Here, the user operates a pointing device such as a mouse to specify a desired area on the live image 202. In the example of FIG. 20, it is assumed that the area 220 is designated in this way. Here, when it is detected that the area designation setting button 219 is pressed, the comparison area information on the area 220 is stored in the comparison area information storage area 151 of the memory 107.
[0101]
Thereafter, when it is detected again that the region designation execution button 218 is pressed, the designation of the partial region in the image comparison can be input again. Here, the user operates the pointing device to specify a desired area on the live image 202. In the example of FIG. 20, it is assumed that the area 221 has been designated in this manner. Thereafter, when it is detected that the area designation setting button 219 has been pressed, the comparison area information for the area 221 is stored in the comparison area information storage area 151 of the memory 107.
[0102]
When it is detected again that the area designation cancel button 222 has been pressed in a state where the already set partial area is selected by operating the pointing device, the selected partial area is released from the designation, and the selected partial area is released. The comparison area information corresponding to the partial area is deleted from the comparison area information storage area 151 of the memory 107. That is, the area designation cancel button 222 is used to change the designation of the partial area.
[0103]
Thereafter, when the image change detector 111 performs the comparison of the images in the process of S108 in FIG. 18, the image change detector 111 is included in the area indicated by the comparison area information stored in the comparison area information storage area 151 of the memory 107. The image comparison is performed only for the pixel in question.
[0104]
By doing as described above, it is possible to set a plurality of partial areas, so that even when the user cannot fully narrow the attention area to one place, for example, it is possible to capture the start timing of the time-lapse shooting desired by the user. It becomes possible.
Further, in the above-described embodiment, the comparison area information is stored in the comparison area information storage area 151 of the memory 107. However, this information is stored in the hard disk 108, and the execution of the time lapse shooting process is performed again. At the start, the comparison area information may be read from the hard disk 108 and used. By doing so, since the partial area previously set by the user is restored at the time of the time-lapse shooting, it is possible to eliminate the troublesome work of repeating the same setting each time the time-lapse shooting is performed. Become.
[0105]
Example 8
In the above-described seventh embodiment, the user can arbitrarily specify the range of the partial area in the image comparison performed by the image change detector 111 on the live image 202. This specification is performed by pressing the recording button 204. Before it was detected. On the other hand, in the eighth embodiment described below, the user can re-specify the range of the partial area even after the press of the recording button 204 is detected.
[0106]
FIG. 21 is a flowchart showing the contents of processing added to the fifth example of the time-lapse photographing processing shown in FIG. 18 in order to realize the re-designation. This flowchart is inserted between S106 and S107 in FIG.
In S152 following S106 in FIG. 18, a desired area is designated on the live image 202 in a state where the area designation execution button 218 is pressed to enable the designation of the partial area in the image comparison, and the area designation is performed. It is determined whether or not the pressing of the setting button 219 is detected after the pressing of the recording button 204 is detected. If the determination result is Yes, the comparison area information relating to this designation is stored in the comparison area of the memory 107 in S153. It is stored in the information storage area 151. Then, when the process in S153 is completed or when the result of the determination in S152 is No, the process proceeds to S107 in FIG.
[0107]
By doing so, if a change of the subject 5 of interest occurs in an area different from the area designated by the user before the recording button 204 is pressed after the recording button 204 is pressed or a sign of occurrence is generated, Can be specified again.
[0108]
[Example 9]
Each of the embodiments described so far compares two images and starts time-lapse photography only when it is detected that a change has occurred in the image. In the ninth embodiment to be described below, even when this change in the image is not detected after the recording button 204 is pressed, the time-lapse shooting can be forcibly started by an instruction from the user.
[0109]
FIG. 22 is a flowchart showing the contents of processing added to the first example of the time-lapse photographing processing shown in FIG. 6 to realize the re-designation. This flowchart is inserted between S106 and S107 in FIG.
In S116 following S106 in FIG. 6, it is determined whether or not the press of the recording button 204 is detected again after the detection in S103. If the determination result is Yes, the process proceeds to S111 in FIG. To start the storage processing of the image captured by the time-lapse photography. On the other hand, if the determination result in S106 is No, the process proceeds to S107.
[0110]
In this way, if a change that is interesting to the user occurs in the subject 5 or a sign of the occurrence occurs at a stage after the recording button 204 is pressed and the time-lapse shooting has not yet started, the recording is performed at that time. By pressing the button 204 again, time-lapse photography is forcibly started, so that time-lapse photography can be started at a timing closer to that desired by the user.
[0111]
It should be noted that the function for forcibly starting the time-lapse photography can be realized in the above-described embodiments other than the first embodiment.
[Example 10]
In the above-described sixth embodiment, a case has been described in which the user can select the size of the range of the partial region in the image comparison performed by the image change detector 111. In 10, the user can select the position of the partial area in the image comparison.
[0112]
In the live image 202 shown in FIG. 23, blocks divided into nine are indicated by solid lines. The user selects one of these blocks from a pointing device such as a mouse or a setting menu provided on the application software screen 200. Then, the image change detector 111 compares only the pixels included in the area of the selected block.
[0113]
By doing so, the operation of designating the comparison area is facilitated, and it is possible to capture the start timing of the time-lapse imaging desired by the user.
[Example 11]
In this embodiment, the time-lapse shooting started by detecting that a change has occurred in the image is completed even if the predetermined number of images have not yet been shot by detecting that the image has stopped changing. It is to let.
[0114]
FIG. 24 will be described. FIG. 11 is a flowchart showing the processing content of a sixth example of the time-lapse photography processing performed by the PC-CPU 110. Note that the process shown in FIG. 24 is performed following the process of S111 in the first example of the time lapse shooting process shown in FIG. 6, and the memory map of the memory 107 at this time is shown in FIG. It will be.
[0115]
In S161, the image of the frame n stored in the memory 107 by the immediately preceding process of S107 in FIG. 6 is stored in the hard disk 108 as a time-lapse image of the frame m (= 1).
In S162, the image displayed as the live image 202 at the time of executing this processing is stored in the memory 107 as the image of the frame 1.
[0116]
In S163, the progress of the process is on standby until the time corresponding to the shooting interval acquired in the above-described process of S101 elapses.
In S164, the values of m and n are each increased by one.
In S165, the image displayed as the live image 202 at this time is stored in the memory 107 as the image of the frame n. Here, when the value of n is even, this image is stored in the frame even storage area 122 of the memory 107, and when the value of n is odd, this image is stored in the frame odd storage area 121 of the memory 107. You.
[0117]
In S166, the image change detector 111 compares the image of the frame n stored in the memory 107 by the processing of S165 with the image of the frame n-1 stored in the memory 107 immediately before the image is stored. Let At this time, the image comparison performed by the image change detector 111 may use any of the methods described in the first, second, and third embodiments.
[0118]
In S167, it is determined whether or not the image has changed from frame n-1 to frame n based on the result of the comparison performed in the process of S166 described above, and when it is determined that the image has changed. If (the determination result in S167 is Yes), the process proceeds to S168. On the other hand, when it is determined that no change has occurred in the image, the time-lapse photographing process ends.
[0119]
In S168, the image displayed as the live image 202 at this time is stored in the hard disk 108 as a time lapse image of the frame m.
In S169, it is determined whether or not the value of the variable m has reached the set number of shots acquired in the above-described process of S102 in FIG. 6, and if the determination result is Yes, the time-lapse shooting process ends. On the other hand, if this determination result is No, the process returns to S163 and the above-described process is repeated.
[0120]
As described above, when the image does not change during the time-lapse shooting, the recording of the number of images set in the shooting number setting menu 211 has been completed. The time lapse ends automatically even if it is not. As a result, when the change of the subject 5 stops during the time-lapse photographing of the subject 5, an image without the change is not wastefully recorded on the hard disk 108, so that the storage capacity of the hard disk 108 is saved.
[0121]
In this embodiment, the processing from S103 to S110 in FIG. 6 is deleted, and the processing of S111 is performed by the PC-CPU 110 following the processing of S103, so that the recording button 204 is pressed. Time-lapse photography is started, and thereafter, it is detected that no change in the image has occurred, so that it is possible to end the photography even before the completion of photography of a predetermined number of images. For example, when the subject 5 converges from a changed state to a stationary state, the time-lapse shooting is started at the same time when the recording button 204 is pressed, and thus the image comparison processing at the start of the time-lapse shooting is performed. As a result, the delay time required from the time when the recording button 204 is pressed to the time when the time lapse shooting is started can be reduced.
[0122]
In the eleventh embodiment, the processing of S102 of FIG. 6 and the processing of S169 of FIG. 24 are deleted, the processing of S103 follows the processing of S101, and the repetition processing from S163 follows the processing of S168, respectively. -By performing the processing by the CPU 110, the setting of the number of recordings to be performed by the time-lapse photographing can be abolished, and the time-lapse photographing can be continued until it is detected that the image does not change. By doing so, an image from the start to the end of the state in which the subject 5 has changed is reliably recorded, so that a time-lapse shooting closer to that desired by the user can be performed.
[0123]
In the eleventh embodiment, when the method using the threshold shown in the second or third embodiment described above is adopted as the image comparison method to be performed by the image change detector 111, the time lapse shooting start timing is obtained. The threshold value used in the image comparison performed in S108 of FIG. 6 may be different from the threshold value used in the image comparison performed in S166 of FIG. 24 in order to obtain the end timing of the time-lapse imaging. By doing so, the start timing and the end timing of the time-lapse shooting can be set more precisely.
[0124]
Also, instead of performing the processing illustrated in FIG. 15 following the processing from S101 to S111 in FIG. 6, the processing in S111 in FIG. 6 is performed following the fifth example of the time lapse imaging processing illustrated in FIG. Is performed and then the processing shown in FIG. 15 is performed. At this time, the position, size, and range of the partial area in the image comparison performed by the image change detector 111 are determined in order to obtain the start timing of time-lapse imaging. The image comparison performed in S108 of FIG. 15 and the image comparison performed in S166 of FIG. 24 may be separately designated by the user in order to obtain the end timing of the time-lapse shooting. By doing so, the start timing and the end timing of the time-lapse shooting can be set more precisely.
[0125]
Further, at this time, by adding the same processing as that described in the eighth embodiment to this processing, it is possible to set the image area to be detected as the end of the time-lapse shooting after the time-lapse shooting is started. You can also. By doing so, for example, even when the subject 5 moves after the start of the time-lapse shooting, the detection of the end of the time-lapse shooting can be corrected to a state desired by the user.
[0126]
[Example 12]
In this embodiment, when a change in an image is detected after the recording button 204 is pressed and time-lapse shooting is automatically started, a notification indicating the start is made, and when the change in the image stops, the time-lapse shooting is stopped. Is automatically notified when the process is automatically terminated.
[0127]
First, FIG. 25 will be described. FIG. 19 shows the configuration of the microscope system according to the twelfth embodiment. The configuration shown in the figure differs from the configuration of the microscope system shown in FIG. 1 in that a speaker 223 that emits a sound according to an instruction from the PC-CPU 110 is provided in the PC 103.
[0128]
In this configuration, for example, the PC-CPU 110 performs the time-lapse photographing process shown in FIG. 24 (and FIG. 6). Here, when the determination result of S109 in FIG. 6 is Yes, a sound indicating that the time-lapse shooting has been automatically started is emitted from the speaker 223, and when the determination result in S167 of FIG. When the result is No or when the result of the determination in S169 in FIG. 24 is Yes, a sound indicating that the time-lapse shooting is automatically ended is emitted from the speaker 223.
[0129]
By doing so, the user can confirm whether or not time-lapse shooting has been started after pressing down the recording button 204, and furthermore, when and when time-lapse shooting has started.
In the above-described embodiment, the start and end of the time-lapse shooting are notified by sound. However, the notification may be performed by display on the application software screen 200.
[0130]
FIG. 26 shows a display example of the time-lapse shooting operation. In this display example, characters notifying the start and end of the time-lapse shooting operation and the date and time are displayed (overlaid) on the live image 202 on the application software screen 200.
[0131]
In FIG. 26A, the start of time-lapse photography and the start date and time are indicated by characters, and the user can know the start of time-lapse photography and the start date and time by looking at this screen. In FIG. 26B, the fact that the time-lapse shooting has been completed, the end date and time, and the number of images recorded on the hard disk 108 by the time-lapse shooting performed up to that time are indicated by characters. By looking at this screen, it is possible to know the end of time-lapse photography, the end date and time, and the number of images recorded by this time-lapse photography.
[0132]
Here, it is convenient to make this message disappear when the “OK” button displayed together with these messages is pressed, because it does not hinder the observation of the live image 202. Further, instead of displaying the "OK" button, the above-described message may be displayed when time-lapse shooting is started, and then the display of this message may be automatically turned off after a certain period of time. Good.
[0133]
By notifying the start and end of the time-lapse photography by displaying on the application software screen 200 in this way, the speaker 223 becomes unnecessary, so that the space and cost of the microscope system can be reduced. .
In addition, as a method of notifying the start and end of the time-lapse shooting by displaying on the application software screen 200, for example, instead of the above-described method, the change is performed by a visual change such as a shape, a pattern, or a color of the recording button 204. You may do so.
[0134]
FIG. 27 shows an example in which a time-lapse shooting operation is expressed by a visual change of the recording button 204.
In FIG. 27, due to the change in the character string displayed on the recording button 204, (a) before pressing the recording button, (b) before starting time-lapse after pressing the recording button, (c) during time-lapse recording, and (d) time-lapse recording After completion, is shown.
[0135]
Note that the color of the recording button 204 may be changed according to each of the above-mentioned states without changing the shape or pattern of the recording button 204. For example, (a) green before the recording button is pressed, (b) yellow before the time lapse after the recording button is pressed, (c) red during the time lapse recording, and (d) blue after the end of the time lapse recording.
[0136]
Example 13
In this embodiment, an image immediately before a change in the image is detected is also recorded as a time-lapse photographed image.
FIG. 28 will be described. FIG. 11 is a flowchart showing the processing contents of a seventh example of the time-lapse photography processing performed by the PC-CPU 110. In FIG. 28, the same step numbers are given to the processing steps in which the same processing as that shown in FIG. 6 is performed, and the detailed description thereof will be omitted.
[0137]
When it is detected in S103 that the recording button 204 has been pressed, in S104, the image of the frame n = 1 displayed as the live image 202 when the pressing of the recording button 204 is detected is stored in the memory 107. Although stored, the memory map of the memory 107 in this embodiment is as shown in FIG.
[0138]
The fifth example of the memory map shown in FIG. 29 is different from the first example of the memory map shown in FIG. 7 only in that a temporary storage area 161 is provided in FIG. Since the image of frame n = 1 stored in the memory 107 in the process of S104 is an image of an odd frame, this image is stored in the frame odd storage area 121 shown in FIG.
[0139]
In subsequent S105, the process is in a standby state until the time corresponding to the shooting interval acquired in the process of S101 elapses. When the standby time elapses, the process proceeds to S171, where the odd number of frames in the memory 107 is determined by the process of S104. The image of frame n = 1 stored in the storage area 121 is stored in the temporary storage area 161 of the memory 107 as the image of frame k = 0.
[0140]
In S172, the value of n is increased by one, and the remainder obtained by dividing the value obtained by adding 1 to the value of k by 10 is set as the value of k again.
In S107, the image displayed as the live image 202 at this time is stored in the memory 107 as the image of the frame n. Here, when the value of n is even, this image is stored in the frame even number storage area 122 shown in FIG. 29, and when the value of n is odd, this image is stored in the frame odd number storage area 121 shown in FIG. Is stored.
[0141]
In S108, the image change detector 111 compares the image of the frame n stored in the memory 107 by the processing of S107 with the image of the frame n-1 stored in the memory 107 immediately before the image is stored. Let At this time, as a comparison method performed by the image change detector 111, any of the methods described in the first, second, and third embodiments may be used.
[0142]
In S109, it is determined whether or not the image has changed from frame n-1 to frame n based on the comparison result. As a result, when it is determined that a change has occurred in the image (when the determination result in S109 is Yes), the process proceeds to S173, and when it is determined that no change has occurred in the image (the determination result in S109) If it is No), the process proceeds to S174.
[0143]
In S173, the images from frame k = 0 to frame k = 9 stored in the temporary storage area 161 of the memory 107 are arranged in the order in which they are stored in the temporary storage area 161 and stored on the hard disk 108. Thereafter, the process proceeds to S111 in FIG. 6, and thereafter, the process of storing the time lapse image on the hard disk 108, which is the process from S111 to S115 in FIG. 6, is performed, and thereafter, the time lapse shooting process ends.
[0144]
On the other hand, if the decision result in the step S174 is No, in the step S174, the image of the frame n stored in the memory 107 by the processing of the immediately preceding step S107 is stored in the temporary storage area 161 of the memory 107 as the image of the frame k. Then, in S175, the progress of the process is on standby until the time corresponding to the shooting interval acquired in the process of S101 described above elapses. Thereafter, the process returns to S172, and the above-described process is repeated.
[0145]
By doing as described above, the hard disk 108 stores the images before and after the image change including the 10 frames immediately before the image change occurs by the number of recorded images set in the shooting number setting menu 211. Since recording is performed, the state of the subject 5 before and after the change can be observed by reproducing the recorded image, and the convenience of time-lapse photography is further improved.
[0146]
In the above-described embodiment, by providing the process of S175 in FIG. 29, the image acquisition interval before the image is changed is made to match the image capturing interval set in the image capturing interval setting menu 210. However, the standby time in S175 may be set as a normal display update interval of the live image 202, for example, a display update interval at 10 to 30 frames / sec. In this way, the hard disk 108 records the image of the 10 frames immediately before the image change, which is obtained at the frame rate of the live image 202, and the image after the image change has the shooting interval setting. The image acquired at the shooting interval of the image set in the menu 210 is recorded, and even when the shooting interval of the image set in the shooting interval setting menu 210 is long, the state immediately before the image change is ensured. Can be captured and recorded.
[0147]
In addition, as in the eleventh embodiment, the time-lapse shooting started by detecting that a change has occurred in the image, and the predetermined number of shots has been completed by detecting that the image has stopped changing. The processing may be automatically terminated even before the previous processing. At this time, for example, 10 frames of the image immediately after the detection that the change of the image no longer occurs may be recorded on the hard disk 108. Good. By doing so, the degree of convergence of the change of the subject 5 becomes easier to observe.
[0148]
[Example 14]
In Embodiment 13 described above, the number of recorded images immediately before the image change was detected was fixed at 10 frames. In contrast, in Embodiment 14 described below, the number of recorded images is set by the user. To make it possible.
[0149]
FIG. 30 shows a screen example of the application software screen 200 displayed on the monitor 104 in this embodiment. The screen example shown in FIG. 30 is different from the screen example shown in FIG. 4 in that a time-lapse setting slider bar 224 is included. The slider bar 224 before time lapse has a right end of 0 and a left end of 50. By moving the position of the arrow, the number of recorded images immediately before an image change is detected is set. For this purpose, when the arrow is located at the right end position, the image immediately before the image change is detected is not recorded, and when the position is moved to an arbitrary position up to the left end 50, the value of k becomes 1 The processing of S172 in FIG. 28 may be changed so that the remainder obtained by dividing the value obtained by adding the value by the number corresponding to the moved position is set to the value of k.
[0150]
By doing so, it is possible to record the state before and after the change occurring in the subject 5 according to the situation of the subject 5 in a state more desired by the user.
Note that instead of setting the number of images to be recorded immediately before the image change is detected, it is possible to set how long before the image is detected from when the image change is detected.
[0151]
FIG. 31 shows an example of the pre-time-lapse setting slider bar 224 provided on the application software screen 200 in this case. The axis of the pre-time-lapse setting slider bar 224 indicates the time from 0 to 60 minutes. For example, if an arrow is arranged at the position of “0 minute”, the image immediately before the image change is detected is not recorded. If the arrow is moved to the position of “30 minutes”, the setting is to record the image 30 minutes before the image change is detected.
[0152]
Note that, in this case, the acquisition interval of the image recorded on the hard disk 108 may be the display update interval of the live image 202 or the time-lapse imaging interval set by the user, as described in each of the above-described embodiments. Good. For example, when recording an image acquired at the shooting interval set by the user, the number of recorded images obtained by dividing the time set in the pre-time-lapse setting slider bar 224 by the set time interval. Will be recorded.
[0153]
As described above, the setting of the image acquisition before the detection of the image change can be performed in units of time, so that the user can easily perform the setting.
[Example 15]
In this embodiment, when the total amount of data of an image recorded by time-lapse photography reaches a predetermined amount, time-lapse photography is automatically terminated.
[0154]
Now, it is assumed that the amount of data that can be recorded by one time lapse shooting is up to 300 Mbytes. In this case, the time-lapse shooting is terminated when the total amount of data of the recorded image reaches 300 Mbytes, regardless of the setting of the number of time-lapse shots by the user or the state of the time-lapse automatic end setting. For this purpose, for example, a processing step for acquiring the total data amount of the image recorded on the hard disk 108 is provided between the processing of S113 and the processing of S114 in FIG. 6, and when the total data amount exceeds 300 Mbytes, The time-lapse photographing process may be immediately terminated without proceeding.
[0155]
By doing so, it is possible to prevent the storage capacity of the hard disk 108 from being overwhelmed by time-lapse shooting for a long time. Also, when a plurality of persons share one PC for various purposes, image data can be used. Occupation of the storage capacity of the hard disk 108 can also be prevented.
[0156]
In this embodiment, the user may be able to arbitrarily set the total amount of recorded image data as a reference for automatically terminating the time-lapse shooting. It is possible to appropriately limit the quantity of image data according to the usage policy and the like.
[0157]
Instead of the user setting the total amount of data of the recorded image as a reference for terminating the time-lapse shooting, the total amount of data may be automatically determined based on the free space of the hard disk 108.
For example, if it is assumed that the free space of the hard disk 108 is always 500 Mbytes, the time lapse shooting is forcibly terminated when the free space of the hard disk 108 falls below 500 Mbytes.
[0158]
By doing so, even if the user performs time-lapse shooting without paying particular attention to the free space of the hard disk 108, it is possible to prevent the free space of the hard disk 108 from completely disappearing due to image recording. .
[0159]
By the way, in the time-lapse photographing process performed by the PC-CPU 110 described in each embodiment, a control program for causing the PC 103 to perform this process is recorded on a computer-readable recording medium, and the control program is transferred from the recording medium to the PC 103. This is realized by reading and causing the PC-CPU 110 to execute. Examples of a recording medium on which the recorded control program can be read by a computer include a storage device such as a ROM or a hard disk device provided as a built-in or external accessory device in the computer, a flexible disk, and an MO (magneto-optical disk). , A portable recording medium such as a CD-ROM, a DVD-ROM and the like can be used.
[0160]
Further, the recording medium may be a storage device included in a computer that functions as a program server and is connected to the computer via a communication line. In this case, a transmission signal obtained by modulating a carrier with a data signal representing a control program is transmitted from a program server to a computer system through a communication line that is a transmission medium, and the computer demodulates the received transmission signal. Then, by reproducing the control program, the control program can be executed.
[0161]
In addition, the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the gist of the present invention.
For example, in the above-described embodiment, the microscope-integrated camera is controlled by the PC 103. However, if the control unit that realizes the control function performed by the PC 103 is provided in the microscope main body, the PC 103 becomes unnecessary. Become.
[0162]
Further, the present invention can be applied to a portable digital camera, a digital camera for a camera head separated type microscope in which an imaging processing portion and a display operation portion are separated, and a portable digital camera connectable to the PC 103. May be controlled by the PC 103 to implement the present invention.
[0163]
(Supplementary Note 1) The sample change detection unit according to claim 1, wherein the sample change detection unit performs the detection based on a result of a comparison between two images representing the sample captured at different times. Microscope system.
(Supplementary note 2) The microscope according to Supplementary note 1, wherein the sample change detection unit determines that a change has occurred in the sample when a difference between the two images by a predetermined threshold value or more is recognized. system.
[0164]
(Supplementary note 3) The microscope system according to supplementary note 2, further comprising a threshold setting instruction acquisition unit configured to acquire the threshold setting instruction.
(Supplementary Note 4) The microscope system according to Supplementary Note 1, wherein the two images are images captured continuously.
[0165]
(Supplementary note 5) The microscope system according to supplementary note 1, wherein one of the two images is an image captured before the permission instruction acquiring unit acquires the instruction.
(Supplementary note 6) The microscope according to Supplementary note 1, wherein the sample change detection unit performs the detection based on a result of comparison of partial images included in a predetermined region in each of the two images. system.
[0166]
(Supplementary note 7) The microscope system according to supplementary note 6, further comprising an area position setting instruction obtaining unit configured to obtain an instruction to set a position of the predetermined area.
(Supplementary Note 8) The area position setting instruction obtaining means obtains an instruction to set the position of the predetermined area before the permission instruction obtaining means obtains an instruction to permit the start of the time lapse imaging operation. 8. The microscope system according to supplementary note 7, wherein
[0167]
(Supplementary Note 9) The area position setting instruction obtaining means obtains an instruction to reset the position of the predetermined area after the permission instruction obtaining means obtains an instruction to permit the start of the time-lapse imaging operation. ,
The microscope system according to claim 8, wherein the sample change detection unit performs the detection based on a result of comparison of partial images included in a predetermined area related to the reset position.
[0168]
(Supplementary note 10) The microscope system according to supplementary note 7, wherein the instruction to set the position of the predetermined area is a result of selection from a plurality of partial areas preset for the image.
(Supplementary note 11) The microscope system according to supplementary note 7, wherein the instruction to set the position of the predetermined area is made with information indicating a position of a pixel forming the image.
[0169]
(Supplementary Note 12) The apparatus further includes a time-lapse shooting operation start instruction obtaining unit that obtains an instruction to start the time-lapse shooting operation,
The time-lapse shooting operation start control unit is configured to issue an instruction to start the time-lapse shooting operation by the time-lapse shooting operation start instruction obtaining unit after the instruction to permit the start of the time-lapse shooting operation is obtained by the permission instruction obtaining unit. When acquired, perform control to start the operation of the time-lapse imaging performed using the sample as a subject,
The microscope system according to claim 1, wherein:
[0170]
(Supplementary Note 13) The sample change detection unit detects that the change of the sample has stopped based on a result of comparison between two images representing the sample captured at different times. The microscope system according to claim 2, wherein
(Supplementary note 14) The supplementary note 13, wherein the sample change detecting means determines that the change of the sample has stopped when no difference between the two images is equal to or more than a predetermined threshold. Microscope system as described.
[0171]
(Supplementary note 15) The microscope system according to supplementary note 14, further comprising a threshold setting instruction acquiring unit configured to acquire the threshold setting instruction.
(Supplementary Note 16) The sample change detecting means detects that a change has occurred in the sample based on a result of comparison of partial images included in a predetermined region in each of the two images, and The method according to claim 13, wherein the detection of the stop of the change of the sample is performed based on a result of comparison of partial images included in a predetermined area different from the predetermined area in each of the images. Microscope system.
[0172]
(Supplementary note 17) The microscope system according to claim 1, further comprising a time-lapse shooting operation start notifying unit that notifies that the time-lapse shooting operation start control unit has performed the control.
(Supplementary note 18) The microscope system according to claim 2, further comprising a time-lapse shooting operation end notification unit that notifies that the time-lapse shooting operation start control unit has performed control to end the time-lapse shooting operation. .
[0173]
(Supplementary Note 19) An image of the subject obtained by intermittently photographing the sample as a subject at predetermined time intervals after the instruction to permit the start of the time-lapse imaging operation is obtained by the permission instruction obtaining means. The microscope system according to claim 1, further comprising a time-lapse photographing operation start image storage control unit that performs control for storing image data.
[0174]
(Supplementary note 20) The microscope system according to supplementary note 19, wherein the predetermined interval is the same as an imaging interval of the time-lapse imaging.
(Supplementary Note 21) The image processing apparatus further includes a time-lapse shooting operation pre-start image storage number instruction obtaining unit configured to obtain an instruction to set the number of images to be stored under the control of the time-lapse shooting operation start image storage control unit,
The image storage control unit before the start of the time-lapse shooting operation, the image of the subject, the image obtained before the time when the permission instruction obtaining unit has obtained an instruction to permit the start of the time-lapse shooting operation, at the time, Perform control to store the number of sheets in the order of the distance,
20. The microscope system according to supplementary note 19, wherein:
[0175]
(Supplementary Note 22) Image storage means for storing an image shot by the time-lapse shooting operation,
Time-lapse shooting operation end control means for performing control to end the time-lapse shooting operation started by the control when there is no room to store the image in the image storage means,
The microscope system according to claim 1, further comprising:
[0176]
【The invention's effect】
As described in detail above, the present invention obtains an instruction to permit the start of operation of time-lapse imaging, and when it is detected that a change has occurred in the sample to be observed after obtaining the instruction. , The operation of the time-lapse photography performed using the sample as a subject is started.
[0177]
By doing so, the operation of the time-lapse imaging is not started only by the user of the system giving an instruction to start the operation of the time-lapse imaging, and the time-lapse imaging is performed when the sample to be observed changes after the instruction. Since the imaging operation is started, it is possible to reliably perform time-lapse imaging of the change in the sample without wasting the recording medium even if the user does not continue monitoring the sample after giving the instruction. As a result, there is an effect that the usability of time-lapse photography is improved.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a microscope system that embodies the present invention.
FIG. 2 is a diagram showing a functional configuration of the microscope system shown in FIG.
FIG. 3 is a graph showing the relationship between the rotation angle of a light control knob and the amount of light received by a CCD.
FIG. 4 is a diagram (part 1) illustrating a screen example of an application software screen.
FIG. 5 is a diagram (part 2) illustrating a screen example of an application software screen.
FIG. 6 is a flowchart showing the processing content of a first example of the time-lapse photography processing.
FIG. 7 is a diagram showing a first example of a memory map of a memory 107.
FIG. 8 is a diagram (part 3) illustrating a screen example of an application software screen.
FIG. 9 is a diagram showing a modification of the change detection level setting bar.
FIG. 10 is a flowchart showing processing contents of a second example of the time-lapse photographing processing.
FIG. 11 is a diagram showing a second example of a memory map of the memory 107.
FIG. 12 is a flowchart showing the processing content of a third example of the time-lapse photography processing.
FIG. 13 is a diagram showing a third example of a memory map of the memory 107.
FIG. 14 is a diagram (part 4) illustrating a screen example of an application software screen.
FIG. 15 is a flowchart showing the processing content of a fourth example of the time-lapse photography processing.
FIG. 16 is a diagram showing an area to be subjected to image comparison.
FIG. 17 is a diagram (part 5) illustrating a screen example of an application software screen;
FIG. 18 is a flowchart showing the processing content of a fifth example of the time-lapse photography processing.
FIG. 19 is a diagram showing a fourth example of the memory map of the memory 107.
FIG. 20 is a diagram (part 6) illustrating a screen example of the application software screen.
FIG. 21 is a flowchart illustrating processing contents added to the fifth example of the time-lapse photographing processing.
FIG. 22 is a flowchart illustrating processing contents added to the first example of the time-lapse photographing processing.
FIG. 23 is a diagram showing a live image that is divided and displayed.
FIG. 24 is a flowchart showing the processing contents of a sixth example of the time-lapse photography processing.
FIG. 25 is a diagram illustrating a configuration of a microscope system according to a twelfth embodiment.
FIG. 26 is a diagram (part 1) illustrating a display example of a time-lapse shooting operation.
FIG. 27 is a diagram (part 2) illustrating a display example of the time-lapse shooting operation.
FIG. 28 is a flowchart showing the processing contents of a seventh example of the time-lapse photography processing.
FIG. 29 is a diagram showing a fifth example of the memory map of the memory 107.
FIG. 30 is a diagram (part 7) illustrating a screen example of an application software screen;
FIG. 31 is a diagram showing another example of a pre-time-lapse setting bar.
[Explanation of symbols]
1 LED lighting unit
2 LED
3 Collector lens
4 stages
5 subject
6, 7 imaging lens group
8 CCD
10. Zoom mechanism
11 Zoom volume
12 Zoom lens
13 Light control volume
16 CPU
21 LED drive pulse generator
101 circuit
102 Communication control system
103 Personal computer
104 monitor
105 Communication cable
106 PC-communication control system
107 Memory (RAM)
108 Hard Disk (HD)
109 Monitor control system
110 PC-CPU
111 Image change detector
Storage area for 121 frames odd
122 frame even number storage area
123 Live image display area
124 Application Usage Area
131 Live Frame Odd Number Storage Area
132 Live frame even number storage area
141 Storage area for live frame 0
142 Storage area for live frame n
151 comparison area information storage area
161 Temporary storage area
200 Application Software Screen
201 Model name display
202 live image
203 Shooting button
204 Record button
206 Exposure Bar
208 Exit button
209 Screen switching button
210 Shooting interval setting menu
211 Number of shots setting menu
212 Time-lapse selection button
213 Picture taken
214, 215 Change detection level setting bar
216 Frame 0 image input
217 Frame 0 image setting button
218 Area designation execution button
219 Area specification setting button
220, 221 area
222 Cancel button
223 Speaker
224 Pre-time-lapse slider bar

Claims (4)

観察対象である試料に変化が生じたことの検出を行う試料変化検出手段と、
タイムラプス撮影の動作開始を許可する旨の指示を取得する許可指示取得手段と、
前記指示を取得した後に前記検出がされたときに、前記試料を被写体として行われる前記タイムラプス撮影の動作を開始させる制御を行うタイムラプス撮影動作開始制御手段と、
を有することを特徴とする顕微鏡システム。Sample change detecting means for detecting that a change has occurred in the sample to be observed,
Permission instruction obtaining means for obtaining an instruction to permit the start of the operation of time-lapse shooting,
When the detection is performed after the acquisition of the instruction, a time-lapse imaging operation start control unit that performs control to start the operation of the time-lapse imaging performed using the sample as a subject.
A microscope system comprising: 前記試料変化検出手段によって前記試料の変化が止んだことが検出されたときに、前記制御によって開始させたタイムラプス撮影の動作を終了させる制御を行うタイムラプス撮影動作終了制御手段を更に有することを特徴とする請求項１に記載の顕微鏡システム。When the change in the sample is detected to have stopped by the sample change detection unit, the system further includes a time-lapse imaging operation end control unit that performs control to end the operation of the time-lapse imaging started by the control. The microscope system according to claim 1, wherein: タイムラプス撮影の動作開始を許可する旨の指示を取得し、前記指示を取得した後に観察対象である試料に変化の生じたことが検出されたときに、該試料を被写体として行われる前記タイムラプス撮影の動作を開始させる、
ことを特徴とする顕微鏡システムの制御方法。Obtain an instruction to permit the start of time-lapse imaging operation, and when it is detected that a change has occurred in the sample to be observed after obtaining the instruction, the time-lapse imaging performed with the sample as a subject. Start operation,
A method for controlling a microscope system. タイムラプス撮影の動作開始を許可する旨の指示を取得する処理と、
前記指示を取得した後に観察対象である試料に変化の生じたことが検出されたときに、該試料を被写体として行われる前記タイムラプス撮影の動作を開始させる処理と、
をコンピュータに行わせることを特徴とする顕微鏡システムの制御プログラム。A process of obtaining an instruction to permit the start of the operation of time-lapse shooting,
When it is detected that a change has occurred in the sample to be observed after acquiring the instruction, a process of starting the time-lapse imaging operation performed on the sample as a subject,
A control program for a microscope system, wherein the control program causes a computer to execute the program.
JP2003101947A 2003-04-04 2003-04-04 Microscope system, control method for the same, and control program for the same Pending JP2004309719A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003101947A JP2004309719A (en) 2003-04-04 2003-04-04 Microscope system, control method for the same, and control program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003101947A JP2004309719A (en) 2003-04-04 2003-04-04 Microscope system, control method for the same, and control program for the same

Publications (1)

Publication Number Publication Date
JP2004309719A true JP2004309719A (en) 2004-11-04

Family

ID=33465580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003101947A Pending JP2004309719A (en) 2003-04-04 2003-04-04 Microscope system, control method for the same, and control program for the same

Country Status (1)

Country Link
JP (1) JP2004309719A (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178044A (en) * 2004-12-21 2006-07-06 Olympus Corp Microscope system, method for controlling microscope, and program
JP2006215260A (en) * 2005-02-03 2006-08-17 Olympus Corp Microscope imaging apparatus, microscope system, recording control method and recording control program
JP2006259630A (en) * 2005-03-18 2006-09-28 Olympus Corp Image recorder for microscope
JP2006350005A (en) * 2005-06-16 2006-12-28 Yokogawa Electric Corp Confocal microscope system
JP2006350004A (en) * 2005-06-16 2006-12-28 Yokogawa Electric Corp Confocal microscope system
WO2007132870A1 (en) 2006-05-15 2007-11-22 Nikon Corporation Time lapse photographing device
WO2008065751A1 (en) * 2006-11-30 2008-06-05 Nikon Corporation Microscope device
EP1977685A1 (en) * 2007-04-04 2008-10-08 Karl Storz Endovision, Inc. Video blade laryngoscope
US7515823B2 (en) 2005-02-16 2009-04-07 Nikon Corporation Intermittently photo taking device and microscope system having the same device
JP2009244561A (en) * 2008-03-31 2009-10-22 Olympus Corp Microscope imaging system
WO2010117052A1 (en) 2009-04-10 2010-10-14 株式会社ニコン Organism sample observation device
JP2011130074A (en) * 2009-12-16 2011-06-30 Sony Corp Image processing system, image processing apparatus, image processing method, and program
WO2011096181A1 (en) 2010-02-03 2011-08-11 株式会社ニコン Observation device and observation method
EP2696574A3 (en) * 2012-08-10 2014-04-02 Fluke Corporation Inc. Thermal imaging camera with intermittent image capture
JP2016095839A (en) * 2014-11-10 2016-05-26 ビー．ブラウン アビタム アーゲーＢ． Ｂｒａｕｎ Ａｖｉｔｕｍ Ａｇ Blood purification device feedback method
US9386914B2 (en) 2007-04-04 2016-07-12 Karl Storz Endovision, Inc. Video endoscopic device with detachable control circuit
JP2016533679A (en) * 2014-07-18 2016-10-27 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． Imaging method, apparatus, program, and recording medium
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device
JP2019169078A (en) * 2018-03-26 2019-10-03 朝日航洋株式会社 House change reading support system, house change reading support method and house change reading program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05219937A (en) * 1992-02-12 1993-08-31 Nec Corp System and method for observing biological specimen
JPH10126737A (en) * 1996-10-17 1998-05-15 Matsushita Electric Ind Co Ltd Digital camera
JPH1155563A (en) * 1997-08-01 1999-02-26 Nikon Corp Image acquiring device
JPH11261855A (en) * 1998-03-11 1999-09-24 Sony Corp Still image recorder
JP2000275539A (en) * 1999-03-24 2000-10-06 Olympus Optical Co Ltd Microscope photographing device
JP2002135724A (en) * 2000-10-23 2002-05-10 Casio Comput Co Ltd Methods for shooting and reproducing images and their device
JP2002267944A (en) * 2001-03-09 2002-09-18 National Institute Of Agrobiological Sciences Slow-speed moving picture creating device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05219937A (en) * 1992-02-12 1993-08-31 Nec Corp System and method for observing biological specimen
JPH10126737A (en) * 1996-10-17 1998-05-15 Matsushita Electric Ind Co Ltd Digital camera
JPH1155563A (en) * 1997-08-01 1999-02-26 Nikon Corp Image acquiring device
JPH11261855A (en) * 1998-03-11 1999-09-24 Sony Corp Still image recorder
JP2000275539A (en) * 1999-03-24 2000-10-06 Olympus Optical Co Ltd Microscope photographing device
JP2002135724A (en) * 2000-10-23 2002-05-10 Casio Comput Co Ltd Methods for shooting and reproducing images and their device
JP2002267944A (en) * 2001-03-09 2002-09-18 National Institute Of Agrobiological Sciences Slow-speed moving picture creating device

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178044A (en) * 2004-12-21 2006-07-06 Olympus Corp Microscope system, method for controlling microscope, and program
JP2006215260A (en) * 2005-02-03 2006-08-17 Olympus Corp Microscope imaging apparatus, microscope system, recording control method and recording control program
US7515823B2 (en) 2005-02-16 2009-04-07 Nikon Corporation Intermittently photo taking device and microscope system having the same device
JP2006259630A (en) * 2005-03-18 2006-09-28 Olympus Corp Image recorder for microscope
JP2006350005A (en) * 2005-06-16 2006-12-28 Yokogawa Electric Corp Confocal microscope system
JP2006350004A (en) * 2005-06-16 2006-12-28 Yokogawa Electric Corp Confocal microscope system
WO2007132870A1 (en) 2006-05-15 2007-11-22 Nikon Corporation Time lapse photographing device
US7990430B2 (en) 2006-05-15 2011-08-02 Nikon Corporation Time-lapse photographing device
JPWO2007132870A1 (en) * 2006-05-15 2009-09-24 株式会社ニコン Time-lapse photography device
WO2008065751A1 (en) * 2006-11-30 2008-06-05 Nikon Corporation Microscope device
US8139106B2 (en) 2006-11-30 2012-03-20 Nikon Corporation Microscope apparatus
EP2085806A1 (en) * 2006-11-30 2009-08-05 Nikon Corporation Microscope device
JP2008139488A (en) * 2006-11-30 2008-06-19 Nikon Corp Microscope device
EP2085806A4 (en) * 2006-11-30 2011-12-14 Nikon Corp Microscope device
EP1977685A1 (en) * 2007-04-04 2008-10-08 Karl Storz Endovision, Inc. Video blade laryngoscope
US9386914B2 (en) 2007-04-04 2016-07-12 Karl Storz Endovision, Inc. Video endoscopic device with detachable control circuit
US8029440B2 (en) 2007-04-04 2011-10-04 Karl Storz Endovision, Inc. Video blade laryngoscope
JP2008253783A (en) * 2007-04-04 2008-10-23 Karl Storz Endovision Inc Video blade laryngoscope
JP2009244561A (en) * 2008-03-31 2009-10-22 Olympus Corp Microscope imaging system
WO2010117052A1 (en) 2009-04-10 2010-10-14 株式会社ニコン Organism sample observation device
US10466465B2 (en) 2009-04-10 2019-11-05 Nikon Corporation Organism sample observation device
US10133054B2 (en) 2009-04-10 2018-11-20 Nikon Corporation Organism sample observation device
US9442282B2 (en) 2009-04-10 2016-09-13 Nikon Corporation Organism sample observation device
JP2011130074A (en) * 2009-12-16 2011-06-30 Sony Corp Image processing system, image processing apparatus, image processing method, and program
US9927605B2 (en) 2010-02-03 2018-03-27 Nikon Corporation Time lapse shooting apparatus and observation method
JP5397484B2 (en) * 2010-02-03 2014-01-22 株式会社ニコン Observation apparatus and observation method
WO2011096181A1 (en) 2010-02-03 2011-08-11 株式会社ニコン Observation device and observation method
US10634151B2 (en) 2010-02-03 2020-04-28 Nikon Corporation Time lapse shooting apparatus and observation method
US11236755B2 (en) 2010-02-03 2022-02-01 Nikon Corporation Time lapse shooting apparatus and observation method
EP2696574A3 (en) * 2012-08-10 2014-04-02 Fluke Corporation Inc. Thermal imaging camera with intermittent image capture
JP2016533679A (en) * 2014-07-18 2016-10-27 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． Imaging method, apparatus, program, and recording medium
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device
JP2016095839A (en) * 2014-11-10 2016-05-26 ビー．ブラウン アビタム アーゲーＢ． Ｂｒａｕｎ Ａｖｉｔｕｍ Ａｇ Blood purification device feedback method
JP2019169078A (en) * 2018-03-26 2019-10-03 朝日航洋株式会社 House change reading support system, house change reading support method and house change reading program

Similar Documents

Publication Publication Date Title
JP2004309719A (en) Microscope system, control method for the same, and control program for the same
US7248294B2 (en) Intelligent feature selection and pan zoom control
US20050134719A1 (en) Display device with automatic area of importance display
JP2012124916A (en) Electronic camera
JP2004260715A (en) Imaging unit
JP2009290817A (en) Camera, camera control program, and camera control method
US20060044460A1 (en) Method of controlling digital photographing apparatus, and digital photographing apparatus utilizing the method
US20220172746A1 (en) Image processing device, image processing method, and program
JP2011188318A (en) Camera, camera control program, and photographing teaching method
US20050083350A1 (en) Digital camera image editor
JP2005045798A (en) Photography system and photography method including digital camera and remote control
JP2010273166A (en) Photographic condition control device, camera and program
JP2007201566A (en) Image reproducing apparatus and image reproducing program
JP2009141709A (en) Moving image imaging apparatus and setting support device, setting method, and setting program thereof, and computer-readable recording medium
US20230069440A1 (en) Information processing apparatus, information processing method, and storage medium
KR20100093955A (en) Method of magnifying the image in digital image processing device
JP2008060676A (en) Image signal processing apparatus, imaging apparatus, image signal processing method
JP7243711B2 (en) IMAGING DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
JP2006094030A (en) Image pickup device, and composite image creating method, and program
JP3711119B2 (en) Imaging apparatus, imaging system, and imaging method
US20190198058A1 (en) Image recording control apparatus, image recording method, recording medium storing image recording program, image pickup apparatus, and image recording control system
JP2018148420A (en) Image processing device and image processing method
JP6344910B2 (en) Imaging apparatus, control method, and program thereof
JP2005229370A (en) Imaging apparatus, image processing method, and program
US10659696B2 (en) Electronic device, control method of electronic device, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091124